Lernprogramm für KI-Governance: Modell testen und validieren
Verwenden Sie dieses Lernprogramm, um das im Lernprogramm zum Erstellen und Implementieren eines Modells erstellte und implementierte Modell mit dem AI-Governance-Anwendungsfall zu bewerten und zu überwachen. Ihr Ziel ist die Verwendung von Watson OpenScale zum Konfigurieren und Auswerten von Monitoren für ein bereitgestelltes Modell, das vorhersagt, welche Antragsteller für Hypotheken qualifiziert sind. Sie möchten sicherstellen, dass das Modell korrekt ist, und alle Antragsteller fair behandeln.
In diesem Lernprogramm möchte die Golden Bank ihren Geschäftsbereich ausbauen, indem sie kostengünstige Hypothekenverlängerungen für Online-Anwendungen anbietet.Online-Anwendungen erweitern die Kundenreichweite der Bank und reduzieren die Kosten der Antragsbearbeitung. Als Data-Scientist bei der Golden Bank müssen Sie ein Modell zur Genehmigung von Hypotheken erstellen, mit dem unerwartete Risiken vermieden und alle Antragsteller fair behandelt werden. Sie führen ein Jupyter-Notebook aus, um Monitore für ein Modell des maschinellen Lernens einzurichten, so dass Sie sie im produktiven Einsatz mit der Gewissheit einsetzen können, dass sie effektiv und wie vorgesehen funktionieren. Diese Aufgabe wird durch Cloud Pak for Data-Services erfüllt, die zusammen das Vertrauen in Ihre Daten, in Ihre Modelle und in Ihre Prozesse gewährleisten, die erforderlich sind, um KI mit Sicherheit zu betreiben.
Das folgende animierte Bild bietet eine kurze Vorschau dessen, was Sie am Ende des Lernprogramms erreichen werden. Klicken Sie auf das Bild, um ein größeres Bild anzuzeigen.
Vorschau des Lernprogramms anzeigen
In diesem Lernprogramm werden Sie die folgenden Tasks ausführen:
- Konfigurieren Sie die Voraussetzungen.
- Task 1: Notebook ausführen, um die Überwachungen einzurichten
- Aufgabe 2: Modell auswerten
- Aufgabe 3: Modellüberwachungen auf Qualität überwachen.
- Aufgabe 4: Modellüberwachungen auf Fairness überwachen.
- Aufgabe 5: Modellüberwachungen auf Erklärbarkeit überwachen.
- Aufgabe 6: Modell in Vorproduktion hochstufen und Modell genehmigen.
- Bereinigung (Optional)
Sehen Sie sich dieses Video an, um eine Vorschau der Schritte in diesem Lernprogramm anzuzeigen.
Dieses Video bietet eine visuelle Methode zum Erlernen der Konzepte und Tasks in dieser Dokumentation.
Tipps zum Durcharbeiten dieses Lernprogramms
Im Folgenden finden Sie einige Tipps für den erfolgreichen Abschluss dieses Lernprogramms.
Verwenden Sie das Videobild im Bild
Die folgende animierte Abbildung zeigt, wie die Funktionen für Videobilder und Inhaltsverzeichnisse verwendet werden:
Hilfe in der Community anfordern
Wenn Sie Hilfe bei diesem Lernprogramm benötigen, können Sie eine Frage stellen oder eine Antwort im Diskussionsforum derCloud Pak for Data Communityfinden.
Browserfenster einrichten
Damit Sie dieses Lernprogramm optimal nutzen können, öffnen Sie Cloud Pak for Data in einem Browserfenster und lassen Sie diese Lernprogrammseite in einem anderen Browserfenster geöffnet, um einfach zwischen den beiden Anwendungen zu wechseln. Es empfiehlt sich, die beiden Browserfenster nebeneinander anzuordnen, um die weitere Arbeit zu erleichtern.
Voraussetzungen einrichten
Lernprogramm Modell erstellen und bereitstellen ausführen
Eine Vorschau zu dieser Aufgabe sehen Sie, wenn Sie die Wiedergabe des Videos bei 00:47 starten.
Führen Sie das Lernprogramm Modell erstellen und bereitstellen aus, um das in diesem Lernprogramm verwendete Modell für maschinelles Lernen zu erstellen, hochzustufen und bereitzustellen.
Bereitstellung der Services
Eine Vorschau zu dieser Task sehen Sie, wenn Sie die Wiedergabe des Videos bei 01:14 starten.
Zusätzlich zu den Services, die zum Durcharbeiten des Lernprogramms Modell erstellen und bereitstellenerforderlich sind, müssen Sie auch den Service Watson OpenScale bereitstellen. Führen Sie die folgenden Schritte aus, um die erforderlichen Services zu überprüfen oder bereitzustellen:
Überprüfen Sie in Cloud Pak for Data, ob Sie sich in der Region Dallas befinden. Ist dies nicht der Fall, klicken Sie auf die Dropdown-Liste für die Region und wählen Sie dann Dallasaus.
Wählen Sie im Navigationsmenü Dienste > Dienstinstanzen.
Zeigen Sie die Liste der Services an, um festzustellen, ob eine Serviceinstanz von watsonx.governance oder Watson OpenScale vorhanden ist.
Wenn Sie eine Serviceinstanz von watsonx.governance erstellen müssen, klicken Sie auf Service hinzufügen.
Wählen Sie watsonx.governanceaus. Beachten Sie, dass watsonx.governance Watson OpenScaleumfasst.
Wählen Sie für die Region Dallasaus.
Wählen Sie den Plan Lite aus.
Klicken Sie auf Erstellen.
Die folgenden zusätzlichen Services waren für das Lernprogramm zum Erstellen und Bereitstellen eines Modellserforderlich:
- Watson Studio
- Watson Machine Learning
- IBM Knowledge Catalog
- Cloud Object Storage
Fortschritt überprüfen
Die folgende Abbildung zeigt die bereitgestellten Serviceinstanzen. Sie können dieses Lernprogramm jetzt starten.
Task 1: Notebook ausführen, um die Überwachungen einzurichten
Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 01:55an.
Führen Sie das zweite Notebook, das im Beispielprojekt enthalten ist, wie folgt aus:
- Modell und Bereitstellungen abrufen.
- Konfigurieren Sie Watson OpenScale.
- Erstellen Sie den Service-Provider und das Abonnement für Ihren Machine Learning-Service.
- Konfigurieren Sie die Qualitätsüberwachung.
- Konfigurieren Sie die Fairnessüberwachung.
- Konfigurieren Sie die Erklärbarkeit.
Führen Sie die folgenden Schritte aus, um das Notebook auszuführen, das im Beispielprojekt enthalten ist. Dieses Notebook richtet Überwachungen für Ihr Modell ein, die auch über die Benutzerschnittstelle konfiguriert werden können. Die Einrichtung mit einem Notebook ist jedoch schneller und weniger fehleranfällig. Nehmen Sie sich etwas Zeit, um die Kommentare im Notebook zu lesen, die den Code in jeder Zelle erklären.
Wählen Sie im Navigationsmenü Projekte > Alle Projekte anzeigen.
Öffnen Sie das Projekt AI governance .
Hinweis: Sie sehen möglicherweise eine geführte Tour mit den Lernprogrammen, die in diesem Anwendungsfall enthalten sind. Die Links in der geführten Tour öffnen diese Lernprogrammanweisungen.Klicken Sie auf die Registerkarte Assets und navigieren Sie dann zu Notebooks.
Öffnen Sie das Notebook 2-monitor-wml-modell-mit-watson-openscale.
Da sich das Notebook im Lesezugriffsmodus befindet, klicken Sie auf das Symbol Bearbeiten , um das Notebook in den Bearbeitungsmodus zu versetzen.
Wenn Sie das Projekt aus dem Ressourcenhub importiert haben, enthält die erste Zelle dieses Notebooks das Projektzugriffstoken. Wenn dieses Notebook keine erste Zelle mit einem Projektzugriffstoken enthält, wählen Sie zum Generieren des Tokens im Menü Mehr Projekttoken einfügenaus. Diese Aktion fügt eine neue Zelle als erste Zelle im Notebook ein, die das Projekttoken enthält.
Fügen Sie im Abschnitt IBM Cloud -API-Schlüssel einfügen Ihren API-Schlüssel in das Feld ibmcloud_api_key ein.
Klicken Sie auf Zelle > Alle ausführen , um alle Zellen im Notebook auszuführen. Alternativ können Sie die Notebookzelle nach Zelle ausführen, um jede Zelle und ihre Ausgabe zu untersuchen.
Die Ausführung des Notebooks dauert 1 bis 3 Minuten. Sie können die Fortschrittszelle überwachen, indem Sie den Stern "In [
*
]" in eine Zahl ändern, z. B. "In [1
]".Wenn während der Ausführung des Notebooks Fehler auftreten, verwenden Sie die folgenden Tipps zur Fehlerbehebung:
Klicken Sie auf Kernel > Restart & Clear Output , um den Kernel erneut zu starten, und führen Sie dann das Notizbuch erneut aus.
Löschen Sie alle vorhandenen Watson OpenScale -Bereitstellungen und stellen Sie eine neue Serviceinstanz bereit.
Überprüfen Sie, ob Sie den KI-Anwendungsfall, den Bereitstellungsbereich und den Bereitstellungsnamen im Lernprogramm zum Erstellen und Bereitstellen eines Modells erstellt haben, indem Sie den angegebenen Artefaktnamen exakt ohne führende oder nachfolgende Leerzeichen kopieren und einfügen.
Fortschritt überprüfen
Die folgende Abbildung zeigt das Notebook, wenn die Ausführung abgeschlossen ist. Das Notebook richtet Überwachungen für Ihr Modell ein, sodass Sie jetzt die Implementierung in Watson OpenScaleanzeigen können
Aufgabe 2: Modell auswerten
Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 03:40an.
Führen Sie die folgenden Schritte aus, um Holdout-Daten herunterzuladen und diese Daten zum Auswerten des Modells in Watson OpenScalezu verwenden:
Klicken Sie auf das Projekt AI governance im Navigationspfad.
Klicken Sie auf der Registerkarte Assets auf Daten > Datenassets.
Klicken Sie auf das Menü Überlauf für das Datenelement GoldenBank_HoldoutData.csv und wählen Sie Herunterladen. Um zu prüfen, ob das Modell wie erforderlich funktioniert, benötigen Sie eine Gruppe beschrifteter Daten, die aus dem Modelltraining ausgeschlossen wurden. Diese CSV-Datei enthält diese ausgeschlossenen Daten.
Starten Sie Watson OpenScale. Wählen Sie im Navigationsmenü Dienste > Dienstinstanzen.
Öffnen Sie Ihre Watson OpenScale-Instanz. Melden Sie sich bei entsprechender Aufforderung mit denselben Berechtigungsnachweisen an, die Sie für die Registrierung für Cloud Pak for Dataverwendet haben.
Klicken Sie auf der Seite Watson OpenScale der Serviceinstanz auf Watson OpenScale.
Klicken Sie im Insights-Dashboard auf die Kachel Mortgage Approval Model Deployment.
Wählen Sie im Menü Aktionen die Option Jetzt auswerten aus.
Nehmen Sie in der Liste der Importoptionen Ihre Auswahl aus CSV-Datei vor.
Ziehen Sie die Datendatei Golden Bank_HoldoutData.csv, die Sie aus dem Projekt heruntergeladen haben, in die Seitenanzeige.
Klicken Sie auf Hochladen und auswerten.
Überprüfen Sie Ihren Fortschritt
Die folgende Abbildung zeigt das Ergebnis der Auswertung für das bereitgestellte Modell in Watson OpenScale. Nachdem Sie das Modell bewertet haben, können Sie nun die Modellqualität beobachten.
Aufgabe 3: Modellüberwachungen auf Qualität überwachen
Eine Vorschau zu dieser Task sehen Sie, wenn Sie die Wiedergabe des Videos bei 04:44 starten.
Die Watson OpenScale -Qualitätsüberwachung generiert eine Reihe von Metriken zur Bewertung der Qualität Ihres Modells. Mithilfe dieser Qualitätsmetriken können Sie ermitteln, wie gut Ihr Modell Ergebnisse vorhersagt. Wenn die Auswertung, die die Holdout-Daten verwendet, abgeschlossen ist, führen Sie die folgenden Schritte aus, um die Modellqualität oder -genauigkeit zu beobachten:
Klicken Sie im linken Navigationsbereich auf das Symbol Insights Dashboard .
Suchen Sie die Kachel Mortgage Approval Model Deployment. Beachten Sie, dass die Bereitstellung 0 Probleme aufweist und dass sowohl Quality -als auch Fairness -Tests bestanden wurden. Dies bedeutet, dass das Modell die erforderlichen Schwellenwerte erreicht hat.
Klicken Sie auf die Kachel Mortgage Approval Model Deployment , um weitere Details anzuzeigen.
Klicken Sie im Abschnitt Qualität auf das Symbol Konfigurieren . Hier sehen Sie, dass der Qualitätsschwellenwert, der für diesen Monitor konfiguriert ist, 70% beträgt und dass die Messung der verwendeten Qualität eine Fläche unter der ROC-Kurve ist.
Klicken Sie auf Zur Modellzusammenfassung wechseln , um zur Anzeige mit den Modelldetails zurückzukehren.
Klicken Sie im Abschnitt Qualität auf das Symbol Einzelheiten, um die detaillierten Ergebnisse der Modellqualität anzuzeigen. Hier sehen Sie eine Reihe von Qualitätsmetrikberechnungen und eine Wahrheitsmatrix mit korrekten Modellentscheidungen sowie falsch-positiven und falsch-negativen Ergebnissen. Der berechnete Bereich unter der ROC-Kurve ist 0.9 oder höher, was den Schwellenwert von 0.7 überschreitet, sodass das Modell seine Qualitätsanforderung erfüllt.
Klicken Sie im Navigationspfad auf Mortgage Approval Model Deployment , um zur Anzeige mit den Modelldetails zurückzukehren.
Überprüfen Sie Ihren Fortschritt
Die folgende Abbildung zeigt die Qualitätsdetails in Watson OpenScale. Nachdem Sie nun die Modellqualität beobachtet haben, können Sie die Modellfairness beobachten.
Task 4: Modellüberwachungen auf Fairness überwachen
Um eine Vorschau auf diese Aufgabe zu erhalten, sehen Sie sich das Video ab 06:01 an.
Die Fairnessüberwachung von Watson OpenScale generiert eine Gruppe von Metriken, um die Fairness Ihres Modells zu bewerten. Mithilfe der Fairnessmetriken können Sie ermitteln, ob Ihr Modell verzerrte Ergebnisse erzeugt. Führen Sie die folgenden Schritte aus, um die Modellfairness zu beobachten:
Klicken Sie im Abschnitt Fairness auf das Symbol Konfigurieren . Hier sehen Sie, dass das Modell überprüft wird, um sicherzustellen, dass Antragsteller unabhängig von ihrem Geschlecht fair behandelt werden.In dieser überwachten Gruppe wird der Wert der Fairness für Frauen ermittelt und der Schwellenwert für Fairness beträgt mindestens 80 %.Bei der Fairnessüberwachung wird die Methode der ungleichen Auswirkung angewendet, um die Fairness zu ermitteln. Bei ungleichen Auswirkungen wird der Prozentsatz der günstigen Ergebnisse für eine überwachte Gruppe mit dem Prozentsatz der günstiger Ergebnisse für eine Referenzgruppe verglichen.
Klicken Sie auf Zur Modellzusammenfassung wechseln , um zur Anzeige mit den Modelldetails zurückzukehren.
Klicken Sie im Abschnitt Fairness auf das Symbol Details , um die detaillierten Ergebnisse des Modells Fairness anzuzeigen. Hier sehen Sie den Prozentsatz der männlichen und weiblichen Bewerber, die automatisch genehmigt werden, zusammen mit einem Fairness-Score von über 100%, sodass die Modellleistung den erforderlichen Fairnessschwellenwert von 80% bei weitem überschreitet.
Notieren Sie sich die angegebenen Dateien. Um sicherzustellen, dass die Fairnessmetriken möglichst genau sind, verwendet Watson OpenScale die Perturbation, um die Ergebnisse zu ermitteln, bei denen nur die geschützten Attribute und die zugehörigen Modelleingaben geändert werden, während andere Features unverändert bleiben.Bei der Perturbation werden die Merkmalswerte der Referenzgruppe in die Überwachungsgruppe geändert oder umgekehrt. Diese zusätzlichen Guardrails werden zur Berechnung der Fairness verwendet, wenn das "ausgeglichene" Dataset verwendet wird. Sie haben jedoch auch die Möglichkeit, die Fairnessergebnisse nur mit Nutzdaten oder Modelltrainingsdaten anzuzeigen.Da sich das Modell fair verhält, müssen Sie für diese Metrik keine zusätzlichen Details angeben.
Klicken Sie auf das Navigationspfad Mortgage Approval Model Deployment , um zur Anzeige mit den Modelldetails zurückzukehren.
Überprüfen Sie Ihren Fortschritt
In der folgenden Abbildung sind die Fairnessdetails in Watson OpenScaledargestellt. Nachdem Sie nun die Modellfairness beobachtet haben, können Sie die Modellerklärbarkeit beobachten.
Aufgabe 5: Modellüberwachungen auf Erklärbarkeit überwachen
Um eine Vorschau auf diese Aufgabe zu erhalten, sehen Sie sich das Video ab 07:42 an.
Es ist auch wichtig zu verstehen, wie das Modell zu seiner Entscheidung kam. Dieses Verständnis ist erforderlich, um Personen, die an der Kreditgenehmigung beteiligt sind, Entscheidungen zu erklären und sicherzustellen, dass die Modelleigentümer gültig sind. Um diese Entscheidungen zu verstehen, führen Sie die folgenden Schritte aus, um die Erklärbarkeit des Modells zu beobachten:
Klicken Sie im linken Navigationsbereich auf das Symbol Erklären Sie eine Transaktion .
Wählen Sie Mortgage Approval Model Deployment aus, um eine Liste der Transaktionen anzuzeigen.
Klicken Sie für jede Transaktion unter der Spalte Aktionen auf Erklären. Hier wird Sie die ausführliche Erläuterung dieser Entscheidung angezeigt.Es werden die wichtigsten Eingaben für das Modell zusammen mit der Bedeutung der Eingaben für das Endergebnis angezeigt. Blaue Balken stellen Eingaben dar, die tendenziell die Entscheidung des Modells unterstützen, während rote Balken Eingaben darstellen, die möglicherweise zu einer anderen Entscheidung geführt haben. Beispielsweise könnte ein Antragsteller über genügend Einkommen verfügen, um anderweitig genehmigt zu werden, aber seine schlechte Kreditgeschichte und hohe Schulden führen zusammen dazu, dass das Modell den Antrag zurückweist.Sehen Sie sich diese Erläuterung an, um Informationen zur Grundlage für die Modellentscheidung zu erhalten.
(Optional) Wenn Sie genauer untersuchen möchten, wie das Modell seine Entscheidung getroffen hat, klicken Sie auf die Registerkarte Untersuchen . Verwenden Sie die Funktion Untersuchen , um die Entscheidung zu analysieren, um Bereiche mit Sensitivität zu finden, in denen kleine Änderungen an einigen Eingaben zu einer anderen Entscheidung führen würden, und Sie können die Sensitivität selbst testen, indem Sie einige der tatsächlichen Eingaben mit Alternativen überschreiben, um festzustellen, ob diese Auswirkungen auf das Ergebnis haben würden.
Überprüfen Sie Ihren Fortschritt
Die folgende Abbildung zeigt die Erklärbarkeit einer Transaktion in Watson OpenScale. Sie haben festgestellt, dass das Modell korrekt ist und alle Antragsteller fair behandelt. Jetzt können Sie das Modell in die nächste Phase seines Lebenszyklus fortführen.
Aufgabe 6: Modell in Vorproduktion hochstufen und Modell genehmigen
Um eine Vorschau auf diese Aufgabe zu erhalten, sehen Sie sich das Video ab 09:21 an.
Führen Sie die folgenden Schritte aus, um den Status des AI-Anwendungsfalls im Modellbestand zu ändern und das Modell zu genehmigen:
Kehren Sie zu Cloud Pak for Data zurück, und wählen Sie im Navigationsmenü Kataloge > KI-Anwendungsfälle.
Öffnen Sie den Anwendungsfall Hypothekengenehmigungsmodell.
Klicken Sie auf die Registerkarte Lebenszyklus , um anzuzeigen, dass sich das Modell jetzt in der Stufe Validieren befindet.
Klicken Sie auf das Symbol Bearbeiten neben Status, wählen Sie Validierung abgeschlossen, und klicken Sie auf Aktualisieren.
Kehren Sie zum Watson OpenScale Insights-Dashboard zurück.
Klicken Sie auf die Kachel Mortgage Approval Model Deployment.
Wählen Sie im Menü Aktionen die Option Für Produktion genehmigen aus und klicken Sie anschließend auf Genehmigen. Diese Aktion übermittelt dem KI-Betriebsteam, dass es das Modell jetzt in einem bestimmten Produktionsbereich bereitstellen kann.
Wählen Sie im Navigationsmenü Kataloge > KI-Anwendungsfälle.
Klicken Sie für den Anwendungsfall Hypothekengenehmigungauf Details anzeigen.
Klicken Sie auf die Registerkarte Lebenszyklus . Unter Modellverfolgungwird der KI-Anwendungsfall jetzt in der Phase Validieren als bewertet und genehmigt angezeigt.
Zeigen Sie die Bereitstellung des Hypothekengenehmigungsmodells an, um das von Watson OpenScaleerfasste Factsheet anzuzeigen.
Schließen Sie das Factsheet für die Modellbereitstellung.
Überprüfen Sie Ihren Fortschritt
Die folgende Abbildung zeigt den KI-Anwendungsfall mit dem Modell in der Validierungsphase. Ihr Modell befindet sich jetzt in der Produktion.
Überprüfen Sie Ihren Fortschritt
Die folgende Abbildung zeigt den vollständigen Bericht für den Anwendungsfall Hypothekengenehmigungsmodell. Sie können diesen Bericht jetzt mit Ihren Kollegen teilen.
Als Data-Scientist bei der Golden Bank haben Sie ein Hypothekengenehmigungsmodell erstellt, das unerwartete Risiken vermeidet und alle Antragsteller fair behandelt. Sie haben ein Jupyter-Notizbuch ausgeführt, um Monitore für Ihr Modell für maschinelles Lernen einzurichten, das Sie mit der Gewissheit, dass das Modell effektiv und wie beabsichtigt funktioniert, in den produktiven Einsatz gebracht haben.
Bereinigung (optional)
Wenn Sie die Lernprogramme im AI-Governance-Anwendungsfall erneut nutzen möchten, löschen Sie die folgenden Artefakte.
Artefakt | Vorgehensweise zum Löschen |
---|---|
Bereitstellung des Hypothekengenehmigungsmodells im Vorproduktionsbereich der Goldenen Bank | Bereitstellung löschen |
Goldene Bank Vorproduktionsfläche | Bereitstellungsbereich löschen |
Anwendungsfall: Hypothekengenehmigungsmodell | Löschen eines Modellanwendungsfalls |
Hypothekengenehmigungskatalog | Katalog löschen |
Beispielprojekt für KI-Governance | Projekt löschen |
Nächste Schritte
Testen Sie das Lernprogramm Orchestrate an AI pipeline with model monitoring.
Melden Sie sich für einen anderen Anwendungsfallan.
Testen Sie weitere Lernprogramme zum Erstellen, Bereitstellen und Vertrauen von Modellen.
Erstellen Sie ein Modell mit AutoAI.
Erkunden Sie End-to-End-Beispiele von Industry Accelerators.
Weitere Informationen
Sehen Sie sich an, wie man IBM OpenPages verwendet, um das Modell durch seine Lebenszyklusoperation zu verwalten.
Dieses Video bietet eine visuelle Methode zum Erlernen der Konzepte und Tasks in dieser Dokumentation.
Übergeordnetes Thema: Lernprogramme für Anwendungsfälle