Lernprogramm zu Data Science und MLOps: Orchestrierung einer KI-Pipeline mit Modellüberwachung

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 02:37an.

Das Beispielprojekt enthält mehrere Assets, einschließlich einer Verbindung, einer Datendefinition, einem Data Refinery -Ablauf und einer Pipeline. Führen Sie die folgenden Schritte aus, um diese Assets anzuzeigen:

1. Klicken Sie auf die Registerkarte Assets im Projekt Data Science and MLOps und zeigen Sie dann Alle Assetsan.

2. Zeigen Sie die Liste der Datenassets an, die im Data Refinery -Ablauf und in der Pipeline verwendet werden. Diese Assets werden in einer Data Fabric Trial- Db2 Warehouse -Verbindung im Schema AI_MORTGAGE gespeichert. Klicken Sie auf Assets importierenund navigieren Sie dann zu Data Fabric Trial- Db2 Warehouse > AI_MORTGAGE. Die folgende Abbildung zeigt die Assets aus dieser Verbindung:

   

3. Der Data Refinery -Ablauf Mortgage_Data_Approvals_flow integriert Daten zu jedem Hypothekenantragsteller. Die integrierten Daten umfassen personenbezogene Daten, einschließlich ihrer Antragsdetails, Scorewerte, den Status als gewerblicher Käufer und schließlich die Preise für das von jedem Antragsteller gewählte Zuhause. Anschließend erstellt der Flow eine sequenzielle Datei mit dem Namen Mortgage_Data_with_Approvals_DS.csv in dem Projekt, das die verknüpften Daten enthält. Die folgende Abbildung zeigt den Data Refinery -Ablauf Mortgage_Data_Approvals_flow :

   

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 03:25an.

Das Beispielprojekt enthält Orchestrierungs-Pipelines, die die folgenden Tasks automatisieren:

• Führen Sie einen vorhandenen Job Data Refinery aus.

• Erstellen Sie ein AutoAI -Experiment.

• Führen Sie das Experiment AutoAI aus und speichern Sie das Modell mit der besten Leistung, das die resultierende Ausgabedatei des Jobs Data Refinery als Trainingsdaten verwendet.

• Erstellen Sie einen Bereitstellungsbereich.

• Stufen Sie das gespeicherte Modell in den Bereitstellungsbereich hoch.

Führen Sie die folgenden Schritte aus, um die Pipeline zu erkunden:

1. Zeigen Sie auf der Registerkarte Assets im Projekt Data Science und MLOps Alle Assetsan.

2. Klicken Sie auf Pipeline für Hypothekengenehmigung-Data Science , um die Pipeline zu öffnen.

3. Doppelklicken Sie auf den Job Integrate mortgage approval data Data Refinery , der verschiedene Tabellen aus der Db2 Warehouse on Cloud -Verbindung in einem zusammenhängenden gekennzeichneten Dataset kombiniert, das als Trainingsdaten für das AutoAI -Experiment verwendet wird. Klicken Sie auf Abbrechen , um zur Pipeline zurückzukehren.

4. Klicken Sie auf die Bedingung Status prüfen und wählen Sie Bearbeitenaus. Diese Bedingung ist ein Entscheidungspunkt in der Pipeline, um den Abschluss des Jobs Data Refinery mit dem Wert Abgeschlossen oder Mit Warnungen abgeschlossenzu bestätigen. Klicken Sie auf Abbrechen , um zur Pipeline zurückzukehren.

5. Doppelklicken Sie auf den Knoten AutoAI -Experiment erstellen , um die Einstellungen anzuzeigen. Dieser Knoten erstellt ein AutoAI -Experiment mit den Einstellungen.

   1. Überprüfen Sie die Werte für die folgenden Einstellungen:

      • Name des AutoAI-Experiments

      • Bereich

      • Vorhersagetyp

      • Vorhersagespalte

      • Positive Klasse

      • Aufteilungsverhältnis der Trainingsdaten

      • Einzuschließende Algorithmen

      • Zu verwendende Algorithmen

      • Metrik optimieren

   2. Klicken Sie auf Abbrechen , um die Einstellungen zu schließen.

6. Doppelklicken Sie auf den Knoten AutoAI -Experiment ausführen , um die Einstellungen anzuzeigen. Dieser Knoten führt das Experiment AutoAI aus, das vom Knoten AutoAI -Experiment erstellen erstellt wird, der die Ausgabe des Jobs Integrieren Mortgage Approval Data Refinery als Trainingsdaten verwendet.

   1. Überprüfen Sie die Werte für die folgenden Einstellungen:

      • AutoAI-Experiment

      • Trainingsdatenassets

      • Modellnamenspräfix

   2. Klicken Sie auf Abbrechen , um die Einstellungen zu schließen.

7. Klicken Sie zwischen den Knoten Experiment AutoAI ausführen und Bereitstellungsbereich erstellen auf Möchten Sie das Modell bereitstellen? und wählen Sie Bearbeitenaus. Der Wert True für diese Bedingung ist ein Entscheidungspunkt in der Pipeline, um mit der Erstellung des Bereitstellungsbereichs fortzufahren. Klicken Sie auf Abbrechen , um zur Pipeline zurückzukehren.

8. Doppelklicken Sie auf den Knoten Create Deployment Space , um die Einstellungen zu aktualisieren. Dieser Knoten erstellt einen neuen Bereitstellungsbereich mit dem angegebenen Namen und erfordert Eingaben für Ihre Cloud Object Storage -und Watson Machine Learning -Services.

   1. Überprüfen Sie den Wert für die Einstellung Neuer Bereichsname .

   2. Wählen Sie für das Feld CRN für neue COS-Bereichsinstanz Ihre Cloud Object Storage -Instanz aus der Liste aus.

   3. Wählen Sie für das Feld CRN für neue WML-Bereichsinstanz Ihre Watson Machine Learning -Instanz aus der Liste aus.

   4. Klicken Sie auf Speichern.

9. Doppelklicken Sie auf den Knoten Modell in Bereitstellungsbereich hochstufen , um die Einstellungen anzuzeigen. Dieser Knoten stuft das beste Modell vom Knoten AutoAI -Experiment ausführen in den Bereitstellungsbereich hoch, der vom Knoten Bereitstellungsbereich erstellen erstellt wurde.

   1. Überprüfen Sie die Werte für die folgenden Einstellungen:

      • Quellenassets

      • Ziel

   2. Klicken Sie auf Abbrechen , um die Einstellungen zu schließen.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 05:41an.

Die Pipeline erstellt das Modell, erstellt einen Bereitstellungsbereich und stuft ihn anschließend in einen Bereitstellungsbereich hoch. Sie müssen einen Knoten hinzufügen, um eine Onlinebereitstellung zu erstellen. Führen Sie die folgenden Schritte aus, um die Pipeline zu bearbeiten, um die Erstellung einer Onlinebereitstellung zu automatisieren:

1. Fügen Sie den Knoten Create Online Deployment (Onlinebereitstellung erstellen) zum Erstellungsbereich hinzu:

   1. Erweitern Sie den Abschnitt Erstellen in der Knotenpalette.

   2. Ziehen Sie den Knoten Onlinebereitstellung erstellen in den Erstellungsbereich und legen Sie den Knoten nach dem Knoten Modell in Bereitstellungsbereich hochstufen ab.

2. Bewegen Sie den Mauszeiger über den Knoten Modell in Bereitstellungsbereich hochstufen , um den Pfeil anzuzeigen. Verbinden Sie den Pfeil mit dem Knoten Create online deployment .

   Hinweis: Die Knotennamen in Ihrer Pipeline können sich von dem folgenden animierten Bild unterscheiden.

   

3. Verbinden Sie den Kommentar Create online deployment for promoted model mit dem Knoten Create online deployment , indem Sie den Kreis im Kommentarfeld mit dem Knoten verbinden.

   Hinweis: Die Knotennamen in Ihrer Pipeline können sich von dem folgenden animierten Bild unterscheiden.

   

4. Doppelklicken Sie auf den Knoten Create online deployment , um die Einstellungen anzuzeigen.

5. Ändern Sie den Knotennamen in Create Online Deployment.

6. Klicken Sie neben ML-Assetim Menü auf Aus einem anderen Knoten auswählen .

   

7. Wählen Sie in der Liste den Knoten Modell in Bereitstellungsbereich hochstufen aus. Die Knoten-ID winning_model ist ausgewählt.

8. Geben Sie für Neuer Implementierungsname Mortgage approval model deployment - Data Scienceein.

9. Wählen Sie für Erstellungsmodusdie Option Überschreibenaus.

10. Klicken Sie auf Speichern , um die Einstellungen des Knotens Onlinebereitstellung erstellen zu speichern.

Für eine Vorschau dieser Task sehen Sie sich das Video ab 06:57an.

Führen Sie nach Abschluss der Pipeline die folgenden Schritte aus, um die Pipeline auszuführen:

1. Klicken Sie in der Symbolleiste auf Pipeline ausführen > Testlauf.

2. Wählen Sie auf der Seite Pipelineparameter definieren True für die Bereitstellung aus.

   • Wenn Truefestgelegt ist, überprüft die Pipeline das bereitgestellte Modell und bewertet das Modell.

   • Wenn der Wert auf Falsegesetzt ist, überprüft die Pipeline, ob das Modell im Projekt vom Experiment AutoAI erstellt wurde, und überprüft die Modellinformationen und Trainingsmetriken.

3. Geben Sie einen API-Schlüssel an, wenn Sie zum ersten Mal eine Pipeline ausführen. Pipeline-Assets verwenden Ihren persönlichen IBM Cloud -API-Schlüssel, um Operationen ohne Unterbrechung sicher auszuführen.

   • Wenn Sie einen vorhandenen API-Schlüssel haben, klicken Sie auf Vorhandenen API-Schlüssel verwenden, fügen Sie den API-Schlüssel ein und klicken Sie auf Speichern.

   • Wenn kein API-Schlüssel vorhanden ist, klicken Sie auf Neuen API-Schlüssel generieren, geben Sie einen Namen an und klicken Sie auf Speichern. Kopieren Sie den API-Schlüssel und speichern Sie den API-Schlüssel zur späteren Verwendung. Klicken Sie anschließend auf Schließen.

4. Klicken Sie auf Ausführen , um die Ausführung der Pipeline zu starten.

5. Überwachen Sie den Fortschritt der Pipeline.

   1. Blättern Sie durch konsolidierte Protokolle, während die Pipeline ausgeführt wird. Die Testausführung kann bis zu 10 Minuten dauern.

   2. Wählen Sie nach Abschluss jeder Operation den Knoten für diese Operation im Erstellungsbereich aus.

   3. Zeigen Sie auf der Registerkarte Node Inspector die Details der Operation an.

   4. Klicken Sie auf die Registerkarte Knotenausgabe , um eine Zusammenfassung der Ausgabe für jede Knotenoperation anzuzeigen.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 08:58an.

Die Pipeline hat verschiedene Assets erstellt. Führen Sie die folgenden Schritte aus, um die Assets anzuzeigen:

1. Klicken Sie im Navigationspfad auf den Projektnamen Data Science und MLOps , um zum Projekt zurückzukehren.

   

2. Zeigen Sie auf der Registerkarte Assets Alle Assetsan.

3. Datenassets anzeigen.

   1. Klicken Sie auf das Datenasset Mortgage_Data_with_Approvals_DS.csv . Der Job Data Refinery hat dieses Asset erstellt.

   2. Klicken Sie im Navigationspfad auf den Projektnamen Data Science and MLOps , um zur Registerkarte Assets zurückzukehren.

4. Zeigen Sie das Modell an.

   1. Klicken Sie auf das Machine Learning-Modellasset, das mit ds_mortgage_approval_best_modelbeginnt. Das Experiment AutoAI hat mehrere Modellkandidaten generiert und dieses als das beste Modell ausgewählt. Speichern Sie diesen Modellnamen in einer Textdatei. Der Modellname ist erforderlich, um die Watson OpenScale -Überwachungen in der nächsten Task zu konfigurieren.

   2. Blättern Sie durch die Modellinformationen.

   3. Klicken Sie im Navigationspfad auf den Projektnamen Data Science and MLOps , um zur Registerkarte Assets zurückzukehren.

5. Klicken Sie auf die Registerkarte Jobs im Projekt, um Informationen über die Data Refinery -und Pipeline-Jobs anzuzeigen.

6. Öffnen Sie den Bereitstellungsbereich, den Sie mit der Pipeline erstellt haben.

   1. Wählen Sie im Navigationsmenü Cloud Pak for Data die Option Bereitstellungen.

   2. Klicken Sie auf die Registerkarte Bereiche .

   3. Klicken Sie auf den Bereitstellungsbereich Mortgage approval-Data Science and MLOps .

7. Klicken Sie auf die Registerkarte Assets und sehen Sie sich das bereitgestellte Modell beginnend mit ds_mortgage_approval_best_modelan.

8. Klicken Sie auf die Registerkarte Bereitstellungen.

9. Klicken Sie auf Mortgage approval model deployment-Data Science , um die Bereitstellung anzuzeigen.

   1. Zeigen Sie auf der Registerkarte API-Referenz API-Endpunkt und Code-Snippets an.

   2. Klicken Sie auf die Registerkarte Test.

   3. Klicken Sie die Registerkarte JSON-Eingabe an und ersetzen Sie den Beispieltext durch den folgenden JSON-Text.

      {
        "input_data": [
                {
                        "fields": [
                                "ID",
                                "NAME",
                                "STREET_ADDRESS",
                                "CITY",
                                "STATE",
                                "STATE_CODE",
                                "ZIP_CODE",
                                "EMAIL_ADDRESS",
                                "PHONE_NUMBER",
                                "GENDER",
                                "SOCIAL_SECURITY_NUMBER",
                                "EDUCATION",
                                "EMPLOYMENT_STATUS",
                                "MARITAL_STATUS",
                                "INCOME",
                                "APPLIEDONLINE",
                                "RESIDENCE",
                                "YRS_AT_CURRENT_ADDRESS",
                                "YRS_WITH_CURRENT_EMPLOYER",
                                "NUMBER_OF_CARDS",
                                "CREDITCARD_DEBT",
                                "LOANS",
                                "LOAN_AMOUNT",
                                "CREDIT_SCORE",
                                "CRM_ID",
                                "COMMERCIAL_CLIENT",
                                "COMM_FRAUD_INV",
                                "FORM_ID",
                                "PROPERTY_CITY",
                                "PROPERTY_STATE",
                                "PROPERTY_VALUE",
                                "AVG_PRICE"
                        ],
                        "values": [
                                [
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        "Bachelor",
                                        "Employed",
                                        null,
                                        144306,
                                        null,
                                        "Owner Occupier",
                                        15,
                                        19,
                                        2,
                                        7995,
                                        1,
                                        1483220,
                                        437,
                                        null,
                                        false,
                                        false,
                                        null,
                                        null,
                                        null,
                                        111563,
                                        null
                                ],
                                [
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        "High School",
                                        "Employed",
                                        null,
                                        45283,
                                        null,
                                        "Private Renting",
                                        11,
                                        13,
                                        1,
                                        1232,
                                        1,
                                        7638,
                                        706,
                                        null,
                                        false,
                                        false,
                                        null,
                                        null,
                                        null,
                                        54262,
                                        null
                                ]
                        ]
                }
        ]
      }
      

   4. Klicken Sie auf Vorhersage. Die Ergebnisse zeigen, dass der erste Antragsteller nicht genehmigt wird und der zweite Antragsteller genehmigt wird.

Eine Vorschau zu dieser Task sehen Sie, wenn Sie die Wiedergabe des Videos bei 10:40 starten.

Jetzt können Sie das im Beispielprojekt enthaltene Notebook ausführen. Das Notebook enthält den Code für Folgendes:

• Modell und Bereitstellungen abrufen.
• Konfigurieren Sie Watson OpenScale.
• Erstellen Sie den Service-Provider und das Abonnement für Ihren Machine Learning-Service.
• Konfigurieren Sie die Qualitätsüberwachung.
• Konfigurieren Sie die Fairnessüberwachung.
• Konfigurieren Sie die Erklärbarkeit.

Führen Sie die folgenden Schritte aus, um das Notebook auszuführen, das im Beispielprojekt enthalten ist. Nehmen Sie sich etwas Zeit, um die Kommentare im Notebook zu lesen, die den Code in jeder Zelle erklären.

1. Wählen Sie im Navigationsmenü Cloud Pak for Data Projekte > Alle Projekte anzeigenaus.

2. Klicken Sie auf den Projektnamen Data Science and MLOps .

3. Klicken Sie auf die Registerkarte Assets und navigieren Sie dann zu Notebooks.
   

4. Öffnen Sie das Notebook monitor-wml-model-with-watson-openscale-pipeline .

5. Klicken Sie auf das Symbol Bearbeiten , um das Notebook in den Bearbeitungsmodus zu versetzen.

6. Wenn Sie ein Projekt aus dem Ressourcenhub importieren, enthält die erste Zelle des Notebooks das Projektzugriffstoken. Wenn dieses Notebook keine erste Zelle mit einem Projektzugriffstoken enthält, müssen Sie das Token generieren. Wählen Sie im Menü Mehr die Option Projekttoken einfügen aus. Diese Aktion fügt eine neue Zelle als erste Zelle im Notebook ein, die das Projekttoken enthält.

7. Geben Sie Ihren API-Schlüssel im Abschnitt Geben Sie Ihren IBM Cloud -API-Schlüssel an an. Sie müssen Ihre Berechtigungsnachweise mithilfe eines API-Schlüssels an die API Watson Machine Learning übergeben. Wenn Sie noch keinen gespeicherten API-Schlüssel haben, führen Sie diese Schritte aus, um einen API-Schlüssel zu erstellen.
   Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 04:55an.

   1. Rufen Sie die API-Schlüsselseite der IBM Cloud -Konsoleauf.

   2. Klicken Sie auf IBM Cloud-API-Schlüssel erstellen. Wenn Sie über vorhandene API-Schlüssel verfügen, kann die Schaltfläche Erstellenlauten.

   3. Geben Sie einen Namen und eine Beschreibung ein.

   4. Klicken Sie auf Erstellen.

   5. Kopieren Sie den API-Schlüssel.

   6. Laden Sie den API-Schlüssel für die zukünftige Verwendung herunter.

   7. Kehren Sie zum Notebook zurück und fügen Sie Ihren API-Schlüssel in das Feld ibmcloud_api_key ein.

8. Im Abschnitt 3. Modell und Bereitstellungfügen Sie für die Variable Modellname den Modellnamen ein, den Sie in der vorherigen Aufgabe in einer Textdatei gespeichert haben. Der Bereichsname ( space_name ) und der Implementierungsname ( deployment_name ) werden automatisch mit den in der Pipeline angegebenen Namen gefüllt.

9. Klicken Sie auf Zelle > Alle ausführen , um alle Zellen im Notebook auszuführen. Alternativ können Sie auf das Symbol Ausführen klicken, um die Notebookzelle nach Zelle auszuführen, um jede Zelle und ihre Ausgabe zu untersuchen.

10. Überwachen Sie die Fortschrittszelle nach Zelle und beachten Sie dabei, dass sich der Stern "In [*]" in eine Zahl ändert, z. B. "In [1]". Die Ausführung des Notebooks dauert 1 bis 3 Minuten.

11. Verwenden Sie die folgenden Tipps, wenn beim Ausführen des Notebooks Fehler auftreten:

    • Klicken Sie auf Kernel > Restart & Clear Output , um den Kernel erneut zu starten, und führen Sie dann das Notizbuch erneut aus.
    • Stellen Sie sicher, dass Sie den Bereitstellungsnamen ohne führende oder nachgestellte Leerzeichen kopiert und eingefügt haben.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 13:35an.

Führen Sie die folgenden Schritte aus, um das Modell in Watson OpenScaleauszuwerten:

1. Klicken Sie im Navigationspfad auf das Projekt Data Science and MLOps .
   

2. Erweitern Sie auf der Registerkarte Assets den Assettyp Daten und klicken Sie dann auf Datenassets.

3. Klicken Sie auf das Menü Überlauf für das Datenasset mortgage_sample_test_data.csv und wählen Sie Downloadaus. Um zu prüfen, ob das Modell wie erforderlich funktioniert, benötigen Sie eine Gruppe beschrifteter Daten, die aus dem Modelltraining ausgeschlossen wurden. Diese CSV-Datei enthält diese ausgeschlossenen Daten.

4. Starten Sie Watson OpenScale.

   1. Wählen Sie im Navigationsmenü Cloud Pak for Data die Option Services > Serviceinstanzen.

   2. Klicken Sie auf den Namen Ihrer Watson OpenScale -Instanz. Melden Sie sich bei entsprechender Aufforderung mit denselben Berechtigungsnachweisen an, die Sie für die Registrierung für Cloud Pak for Dataverwendet haben.

   3. Klicken Sie auf der Seite für die Watson OpenScale-Serviceinstanz auf Anwendung starten.

5. Klicken Sie im Insights-Dashboardauf die Kachel Mortgage approval model deployment-Data Science .

6. Wählen Sie im Menü Aktionen die Option Jetzt auswerten aus.

7. Nehmen Sie in der Liste der Importoptionen Ihre Auswahl aus CSV-Datei vor.

8. Ziehen Sie die Datendatei mortgage_sample_test_data.csv , die Sie aus dem Projekt heruntergeladen haben, in die seitliche Anzeige.

9. Klicken Sie auf Hochladen und auswerten. Die Auswertung kann einige Minuten dauern.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 14:44an.

Die Watson OpenScale -Qualitätsüberwachung generiert eine Reihe von Metriken zur Bewertung der Qualität Ihres Modells. Mithilfe dieser Qualitätsmetriken können Sie ermitteln, wie gut Ihr Modell Ergebnisse vorhersagt. Wenn die Auswertung, die die Holdout-Daten verwendet, abgeschlossen ist, führen Sie die folgenden Schritte aus, um die Modellqualität oder -genauigkeit zu beobachten:

1. Klicken Sie im linken Navigationsfenster auf das Symbol Insights-Dashboard .

2. Suchen Sie die Kachel Mortgage approval model deployment-Data Science . Beachten Sie, dass die Bereitstellung 0 Probleme hat und dass sowohl bei Quality -als auch bei Fairness -Tests keine Fehler generiert wurden. Dies bedeutet, dass das Modell die erforderlichen Schwellenwerte erreicht hat.

   Hinweis: Möglicherweise muss das Dashboard aktualisiert werden, damit die Aktualisierungen nach der Auswertung angezeigt werden.

3. Klicken Sie auf die Kachel Mortgage approval model deployment-Data Science , um weitere Details anzuzeigen.

4. Klicken Sie im Abschnitt Qualität auf das Symbol Konfigurieren . Hier sehen Sie, dass der Qualitätsschwellenwert, der für diesen Monitor konfiguriert ist, 70% beträgt und dass die Messung der verwendeten Qualität eine Fläche unter der ROC-Kurve ist.

5. Klicken Sie auf Zur Modellzusammenfassung wechseln , um zur Anzeige mit den Modelldetails zurückzukehren.

6. Klicken Sie im Abschnitt Qualität auf das Symbol Details , um die detaillierten Ergebnisse der Modellqualität anzuzeigen. Hier sehen Sie eine Reihe von Qualitätsmetrikberechnungen und eine Wahrheitsmatrix mit korrekten Modellentscheidungen sowie falsch-positiven und falsch-negativen Ergebnissen. Der berechnete Bereich unter der ROC-Kurve ist 0.9 oder höher, was den Schwellenwert von 0.7 überschreitet, sodass das Modell seine Qualitätsanforderung erfüllt.

7. Klicken Sie im Navigationspfad auf Mortgage approval model deployment-Data Science , um zur Anzeige mit den Modelldetails zurückzukehren.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 15:59an.

Die Fairnessüberwachung von Watson OpenScale generiert eine Gruppe von Metriken, um die Fairness Ihres Modells zu bewerten. Mithilfe der Fairnessmetriken können Sie ermitteln, ob Ihr Modell verzerrte Ergebnisse erzeugt. Führen Sie die folgenden Schritte aus, um die Modellfairness zu beobachten:

1. Klicken Sie im Abschnitt Fairness auf das Symbol Konfigurieren . Hier sehen Sie, dass das Modell überprüft wird, um sicherzustellen, dass Antragsteller unabhängig von ihrem Geschlecht fair behandelt werden. Frauen werden als überwachte Gruppe identifiziert, für die Fairness gemessen wird, und der Schwellenwert für Fairness beträgt mindestens 80%. Bei der Fairnessüberwachung wird die Methode der ungleichen Auswirkung angewendet, um die Fairness zu ermitteln. Bei ungleichen Auswirkungen wird der Prozentsatz der günstigen Ergebnisse für eine überwachte Gruppe mit dem Prozentsatz der günstiger Ergebnisse für eine Referenzgruppe verglichen.

2. Klicken Sie auf Zur Modellzusammenfassung , um zur Anzeige mit den Modelldetails zurückzukehren.

3. Klicken Sie im Abschnitt Fairness auf das Symbol Details , um die detaillierten Ergebnisse der Modellfairness anzuzeigen. Hier sehen Sie den Prozentsatz männlicher und weiblicher Bewerber, die automatisch genehmigt werden, zusammen mit einem Fairness-Score von etwa 100%, sodass die Modellleistung den erforderlichen Fairnessschwellenwert von 80% weit überschreitet.

4. Beachten Sie die angegebenen Dateien in der Liste Datei . Um sicherzustellen, dass die Fairnessmetriken möglichst genau sind, verwendet Watson OpenScale die Perturbation, um die Ergebnisse zu ermitteln, bei denen nur die geschützten Attribute und die zugehörigen Modelleingaben geändert werden, während andere Features unverändert bleiben.Bei der Perturbation werden die Merkmalswerte der Referenzgruppe in die Überwachungsgruppe geändert oder umgekehrt. Diese zusätzlichen Guardrails werden zur Berechnung der Fairness verwendet, wenn das "ausgeglichene" Dataset verwendet wird, aber Sie können auch die Fairnessergebnisse anzeigen, indem Sie nur Nutzdaten oder Modelltrainingsdaten verwenden. Da sich das Modell fair verhält, müssen Sie nicht auf zusätzliche Details für diese Metrik eingehen.
   

5. Klicken Sie auf das Navigationspfad Mortgage approval model deployment-Data Science , um zur Anzeige mit den Modelldetails zurückzukehren.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 17:42an.

Sie müssen verstehen, wie das Modell zu seiner Entscheidung kam. Dieses Verständnis ist erforderlich, um Personen, die an der Kreditgenehmigung beteiligt sind, Entscheidungen zu erklären und sicherzustellen, dass die Modelleigentümer gültig sind. Um diese Entscheidungen zu verstehen, führen Sie die folgenden Schritte aus, um die Erklärbarkeit des Modells zu beobachten:

1. Klicken Sie im linken Navigationsfenster auf das Symbol Transaktion erklären .

2. Wählen Sie Implementierung des Hypothekengenehmigungsmodells-Data Science aus, um eine Liste der Transaktionen anzuzeigen.

3. Klicken Sie für jede Transaktion unter der Spalte Aktionen auf Erklären. Hier wird Sie die ausführliche Erläuterung dieser Entscheidung angezeigt.Es werden die wichtigsten Eingaben für das Modell zusammen mit der Bedeutung der Eingaben für das Endergebnis angezeigt. Blaue Balken stellen Eingaben dar, die tendenziell die Entscheidung des Modells unterstützen, während rote Balken Eingaben darstellen, die möglicherweise zu einer anderen Entscheidung geführt haben. Beispielsweise könnte ein Antragsteller über genügend Einkommen verfügen, um anderweitig genehmigt zu werden, aber seine schlechte Kreditgeschichte und hohe Schulden führen zusammen dazu, dass das Modell den Antrag zurückweist.Sehen Sie sich diese Erläuterung an, um Informationen zur Grundlage für die Modellentscheidung zu erhalten.

4. Optional: Wenn Sie genauer untersuchen möchten, wie das Modell seine Entscheidung getroffen hat, klicken Sie auf die Registerkarte Untersuchen . Verwenden Sie die Funktion Untersuchen , um die Entscheidung zu analysieren, um Sensitivitätsbereiche zu finden, in denen kleine Änderungen an einigen Eingaben zu einer anderen Entscheidung führen würden. Sie können die Sensitivität selbst testen, indem Sie einige der tatsächlichen Eingaben mit Alternativen überschreiben, um festzustellen, ob sich diese auf das Ergebnis auswirken würden.