Lernprogramm für KI-Governance: Modell testen und validieren

Führen Sie das zweite Notebook, das im Beispielprojekt enthalten ist, wie folgt aus:

• Modell und Bereitstellungen abrufen.
• Konfigurieren Sie Watson OpenScale.
• Erstellen Sie den Service-Provider und das Abonnement für Ihren Machine Learning-Service.
• Konfigurieren Sie die Qualitätsüberwachung.
• Konfigurieren Sie die Fairnessüberwachung.
• Konfigurieren Sie die Erklärbarkeit.

Führen Sie die folgenden Schritte aus, um das Notebook auszuführen, das im Beispielprojekt enthalten ist. Dieses Notebook richtet Überwachungen für Ihr Modell ein, die auch über die Benutzerschnittstelle konfiguriert werden können. Die Einrichtung mit einem Notebook ist jedoch schneller und weniger fehleranfällig. Nehmen Sie sich etwas Zeit, um die Kommentare im Notebook zu lesen, die den Code in jeder Zelle erklären.

1. Wählen Sie im Navigationsmenü Cloud Pak for Data Projekte > Alle Projekte anzeigenaus.

2. Öffnen Sie das Projekt AI governance .

   Hinweis: Sie sehen möglicherweise eine geführte Tour mit den Lernprogrammen, die in diesem Anwendungsfall enthalten sind. Die Links in der geführten Tour öffnen diese Lernprogrammanweisungen.

3. Klicken Sie auf die Registerkarte Assets und navigieren Sie dann zu Notebooks.
   

4. Öffnen Sie das Notebook 2-monitor-wml-modell-mit-watson-openscale.

5. Da sich das Notebook im Lesezugriffsmodus befindet, klicken Sie auf das Symbol Bearbeiten , um das Notebook in den Bearbeitungsmodus zu versetzen.

6. Wenn Sie das Projekt aus dem Ressourcenhub importiert haben, enthält die erste Zelle dieses Notebooks das Projektzugriffstoken. Wenn dieses Notebook keine erste Zelle mit einem Projektzugriffstoken enthält, wählen Sie zum Generieren des Tokens im Menü Mehr Projekttoken einfügenaus. Diese Aktion fügt eine neue Zelle als erste Zelle im Notebook ein, die das Projekttoken enthält.

7. Fügen Sie im Abschnitt IBM Cloud -API-Schlüssel einfügen Ihren API-Schlüssel in das Feld ibmcloud_api_key ein.

8. Klicken Sie auf Zelle > Alle ausführen , um alle Zellen im Notebook auszuführen. Alternativ können Sie die Notebookzelle nach Zelle ausführen, um jede Zelle und ihre Ausgabe zu untersuchen.

9. Die Ausführung des Notebooks dauert 1 bis 3 Minuten. Sie können die Fortschrittszelle überwachen, indem Sie den Stern "In [*]" in eine Zahl ändern, z. B. "In [1]".

10. Wenn während der Ausführung des Notebooks Fehler auftreten, verwenden Sie die folgenden Tipps zur Fehlerbehebung:

    • Klicken Sie auf Kernel > Restart & Clear Output , um den Kernel erneut zu starten, und führen Sie dann das Notizbuch erneut aus.

    • Löschen Sie alle vorhandenen Watson OpenScale -Bereitstellungen und stellen Sie eine neue Serviceinstanz bereit.

    • Überprüfen Sie, ob Sie den Modellanwendungsfall, den Bereitstellungsbereich und den Bereitstellungsnamen im Lernprogramm zum Erstellen und Bereitstellen eines Modells erstellt haben, indem Sie den angegebenen Artefaktnamen exakt ohne führende oder nachfolgende Leerzeichen kopieren und einfügen.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 03:40an.

Führen Sie die folgenden Schritte aus, um Holdout-Daten herunterzuladen und diese Daten zum Auswerten des Modells in Watson OpenScalezu verwenden:

1. Klicken Sie auf das Projekt AI governance im Navigationspfad.
   

2. Klicken Sie auf der Registerkarte Assets auf Daten > Datenassets.

3. Klicken Sie auf das Überlaufmenü für das Datenasset GoldenBank_HoldoutData.csv und wählen Sie Herunterladenaus. Um zu prüfen, ob das Modell wie erforderlich funktioniert, benötigen Sie eine Gruppe beschrifteter Daten, die aus dem Modelltraining ausgeschlossen wurden. Diese CSV-Datei enthält diese ausgeschlossenen Daten.

4. Starten Sie Watson OpenScale. Wählen Sie im Navigationsmenü die Optionen Services > Serviceinstanzenaus.

5. Öffnen Sie Ihre Watson OpenScale-Instanz. Melden Sie sich bei entsprechender Aufforderung mit denselben Berechtigungsnachweisen an, die Sie für die Registrierung für Cloud Pak for Dataverwendet haben.

6. Klicken Sie auf der Seite für die Watson OpenScale-Serviceinstanz auf Anwendung starten.

7. Klicken Sie im Insights-Dashboard auf die Kachel Mortgage Approval Model Deployment.

8. Wählen Sie im Menü Aktionen die Option Jetzt auswerten aus.

9. Nehmen Sie in der Liste der Importoptionen Ihre Auswahl aus CSV-Datei vor.

10. Ziehen Sie die Datendatei Golden Bank_HoldoutData.csv, die Sie aus dem Projekt heruntergeladen haben, in die Seitenanzeige.

11. Klicken Sie auf Hochladen und auswerten.

Eine Vorschau zu dieser Task sehen Sie, wenn Sie die Wiedergabe des Videos bei 04:44 starten.

Die Watson OpenScale -Qualitätsüberwachung generiert eine Reihe von Metriken zur Bewertung der Qualität Ihres Modells. Mithilfe dieser Qualitätsmetriken können Sie ermitteln, wie gut Ihr Modell Ergebnisse vorhersagt. Wenn die Auswertung, die die Holdout-Daten verwendet, abgeschlossen ist, führen Sie die folgenden Schritte aus, um die Modellqualität oder -genauigkeit zu beobachten:

1. Klicken Sie im linken Navigationsfenster auf das Symbol Insights-Dashboard .

2. Suchen Sie die Kachel Mortgage Approval Model Deployment. Beachten Sie, dass die Bereitstellung 0 Probleme aufweist und dass sowohl Quality -als auch Fairness -Tests bestanden wurden. Dies bedeutet, dass das Modell die erforderlichen Schwellenwerte erreicht hat.

3. Klicken Sie auf die Kachel Mortgage Approval Model Deployment , um weitere Details anzuzeigen.

4. Klicken Sie im Abschnitt Qualität auf das Symbol Konfigurieren . Hier sehen Sie, dass der Qualitätsschwellenwert, der für diesen Monitor konfiguriert ist, 70% beträgt und dass die Messung der verwendeten Qualität eine Fläche unter der ROC-Kurve ist.

5. Klicken Sie auf Zur Modellzusammenfassung wechseln , um zur Anzeige mit den Modelldetails zurückzukehren.

6. Klicken Sie im Abschnitt Qualität auf das Rechtspfeilsymbol , um die detaillierten Ergebnisse der Modellqualität anzuzeigen. Hier sehen Sie eine Reihe von Qualitätsmetrikberechnungen und eine Wahrheitsmatrix mit korrekten Modellentscheidungen sowie falsch-positiven und falsch-negativen Ergebnissen. Der berechnete Bereich unter der ROC-Kurve ist 0.9 oder höher, was den Schwellenwert von 0.7 überschreitet, sodass das Modell seine Qualitätsanforderung erfüllt.

7. Klicken Sie im Navigationspfad auf Mortgage Approval Model Deployment , um zur Anzeige mit den Modelldetails zurückzukehren.

Sehen Sie sich das Video ab 06:01an, um eine Vorschau dieser Aufgabe anzuzeigen.

Die Fairnessüberwachung von Watson OpenScale generiert eine Gruppe von Metriken, um die Fairness Ihres Modells zu bewerten. Mithilfe der Fairnessmetriken können Sie ermitteln, ob Ihr Modell verzerrte Ergebnisse erzeugt. Führen Sie die folgenden Schritte aus, um die Modellfairness zu beobachten:

1. Klicken Sie im Abschnitt Fairness auf Konfigurieren . Hier sehen Sie, dass das Modell überprüft wird, um sicherzustellen, dass Antragsteller unabhängig von ihrem Geschlecht fair behandelt werden.In dieser überwachten Gruppe wird der Wert der Fairness für Frauen ermittelt und der Schwellenwert für Fairness beträgt mindestens 80 %.Bei der Fairnessüberwachung wird die Methode der ungleichen Auswirkung angewendet, um die Fairness zu ermitteln. Bei ungleichen Auswirkungen wird der Prozentsatz der günstigen Ergebnisse für eine überwachte Gruppe mit dem Prozentsatz der günstiger Ergebnisse für eine Referenzgruppe verglichen.

2. Klicken Sie auf Zur Modellzusammenfassung wechseln , um zur Anzeige mit den Modelldetails zurückzukehren.

3. Klicken Sie im Abschnitt Fairness auf das Rechtspfeilsymbol , um die detaillierten Ergebnisse der Modellfairness anzuzeigen. Hier sehen Sie den Prozentsatz der männlichen und weiblichen Bewerber, die automatisch genehmigt werden, zusammen mit einem Fairness-Score von über 100%, sodass die Modellleistung den erforderlichen Fairnessschwellenwert von 80% bei weitem überschreitet.

4. Notieren Sie sich die angegebenen Dateien. Um sicherzustellen, dass die Fairnessmetriken möglichst genau sind, verwendet Watson OpenScale die Perturbation, um die Ergebnisse zu ermitteln, bei denen nur die geschützten Attribute und die zugehörigen Modelleingaben geändert werden, während andere Features unverändert bleiben.Bei der Perturbation werden die Merkmalswerte der Referenzgruppe in die Überwachungsgruppe geändert oder umgekehrt. Diese zusätzlichen Guardrails werden zur Berechnung der Fairness verwendet, wenn das "ausgeglichene" Dataset verwendet wird. Sie haben jedoch auch die Möglichkeit, die Fairnessergebnisse nur mit Nutzdaten oder Modelltrainingsdaten anzuzeigen.Da sich das Modell fair verhält, müssen Sie für diese Metrik keine zusätzlichen Details angeben.

   

5. Klicken Sie auf das Navigationspfad Mortgage Approval Model Deployment , um zur Anzeige mit den Modelldetails zurückzukehren.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 07:42an.

Es ist auch wichtig zu verstehen, wie das Modell zu seiner Entscheidung kam. Dieses Verständnis ist erforderlich, um Personen, die an der Kreditgenehmigung beteiligt sind, Entscheidungen zu erklären und sicherzustellen, dass die Modelleigentümer gültig sind. Um diese Entscheidungen zu verstehen, führen Sie die folgenden Schritte aus, um die Erklärbarkeit des Modells zu beobachten:

1. Klicken Sie im linken Navigationsfenster auf das Symbol Transaktion erklären .

2. Wählen Sie Mortgage Approval Model Deployment aus, um eine Liste der Transaktionen anzuzeigen.

3. Klicken Sie für jede Transaktion unter der Spalte Aktionen auf Erklären. Hier wird Sie die ausführliche Erläuterung dieser Entscheidung angezeigt.Es werden die wichtigsten Eingaben für das Modell zusammen mit der Bedeutung der Eingaben für das Endergebnis angezeigt. Blaue Balken stellen Eingaben dar, die tendenziell die Entscheidung des Modells unterstützen, während rote Balken Eingaben darstellen, die möglicherweise zu einer anderen Entscheidung geführt haben. Beispielsweise könnte ein Antragsteller über genügend Einkommen verfügen, um anderweitig genehmigt zu werden, aber seine schlechte Kreditgeschichte und hohe Schulden führen zusammen dazu, dass das Modell den Antrag zurückweist.Sehen Sie sich diese Erläuterung an, um Informationen zur Grundlage für die Modellentscheidung zu erhalten.

4. (Optional) Wenn Sie genauer untersuchen möchten, wie das Modell seine Entscheidung getroffen hat, klicken Sie auf die Registerkarte Untersuchen . Verwenden Sie die Funktion Untersuchen , um die Entscheidung zu analysieren, um Bereiche mit Sensitivität zu finden, in denen kleine Änderungen an einigen Eingaben zu einer anderen Entscheidung führen würden, und Sie können die Sensitivität selbst testen, indem Sie einige der tatsächlichen Eingaben mit Alternativen überschreiben, um festzustellen, ob diese Auswirkungen auf das Ergebnis haben würden.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 09:21an.

Gehen Sie wie folgt vor, um den Status des Modellanwendungsfalls im Modellbestand zu ändern und das Modell zu genehmigen:

1. Kehren Sie zu Cloud Pak for Datazurück und wählen Sie im Navigationsmenü Kataloge > Modellbestandaus.

2. Klicken Sie für Anwendungsfall für Hypothekengenehmigungsmodellauf Details anzeigen.

3. Klicken Sie auf die Registerkarte Asset. Unter Modellverfolgung sehen Sie, dass sich das Modell jetzt in der Stufe Validieren befindet.

4. Klicken Sie auf das Symbol Bearbeiten neben Status des Modellanwendungsfalls, wählen Sie Für Vorproduktion hochgestuftaus und klicken Sie auf Aktualisieren.

5. Kehren Sie zum Watson OpenScale Insights-Dashboard zurück.

6. Klicken Sie auf die Kachel Mortgage Approval Model Deployment.

7. Wählen Sie im Menü Aktionen die Option Für Produktion genehmigen aus und klicken Sie anschließend auf Genehmigen. Diese Aktion übermittelt dem KI-Betriebsteam, dass es das Modell jetzt in einem bestimmten Produktionsbereich bereitstellen kann.

8. Wählen Sie im Navigationsmenü Cloud Pak for Data Kataloge > Modellbestandaus.

9. Klicken Sie für Anwendungsfall für Hypothekengenehmigungsmodellauf Details anzeigen.

10. Klicken Sie auf die Registerkarte Asset. Unter Modellverfolgungwird der Modellanwendungsfall jetzt in der Phase Validieren als bewertet und genehmigt angezeigt.

11. Zeigen Sie die Bereitstellung des Hypothekengenehmigungsmodells an, um das von Watson OpenScaleerfasste Factsheet anzuzeigen.

12. Schließen Sie das Factsheet für die Modellbereitstellung.