Lernprogramm 'MLOps und Vertrauenswürdige KI': Modell testen und validieren

Verwenden Sie dieses Lernprogramm, um ein bereitgestelltes Modell mit dem Anwendungsfall 'MLOps und Vertrauenswürdige KI' der Data Fabric-Testversion zu bewerten und zu überwachen. Ihr Ziel ist die Verwendung von Watson OpenScale zum Auswerten und Konfigurieren von Überwachungen für ein bereitgestelltes Modell, das vorhersagt, welche Antragsteller für Hypotheken qualifiziert sind. Sie möchten sicherstellen, dass das Modell korrekt ist, und alle Antragsteller fair behandeln.

In diesem Lernprogramm möchte die Golden Bank ihren Geschäftsbereich ausbauen, indem sie kostengünstige Hypothekenverlängerungen für Online-Anwendungen anbietet.Online-Anwendungen erweitern die Kundenreichweite der Bank und reduzieren die Kosten der Antragsbearbeitung. Als Data-Scientist bei der Golden Bank müssen Sie ein Modell zur Genehmigung von Hypotheken erstellen, mit dem unerwartete Risiken vermieden und alle Antragsteller fair behandelt werden. Durch die Ausführung von Jupyter Notebook werden Überwachungen für ein Modell für maschinelles Lernen eingerichtet, damit Sie diese in der produktiven Nutzung bereitstellen und dabei sicher sein können, dass sie effektiv und wie beabsichtigt funktionieren. Dies wird durch Cloud Pak for Data-Services erreicht, die gemeinsam dazu beitragen, dass Ihre Daten, Modelle und Prozesse, die für den zuverlässigen Betrieb von KI erforderlich sind, auch vertrauenswürdig sind.

In den folgenden Schritten wird gezeigt, wie Sie ein Modell für maschinelles Lernen in einer Vorproduktionsumgebung mit Watson OpenScale überwachen und testen, wo Sie die Fairness des Modells bewerten, eine Erklärung für die Leistung des Modells generieren und das Modell als für die Produktionsbereitstellung genehmigt markieren.

In diesem Lernprogramm führen Sie folgende Tasks aus:

  1. Notebook zum Einrichten der Überwachungen ausführen.
  2. Werten Sie das Modell aus.
  3. Die Qualität der Modellüberwachungen beobachten.
  4. Die Fairness der Modellüberwachungen beobachten.
  5. Die Erklärbarkeit der Modellüberwachungen beobachten.
  6. Modell in Vorproduktion hochstufen und Modell genehmigen

Wenn Sie Hilfe bei diesem Lernprogramm benötigen, können Sie im Diskussionsforum der Cloud Pak for Data-Community Fragen stellen oder eine Antwort finden.

Tipp: Um dieses Lernprogramm optimal zu nutzen, öffnen Sie Cloud Pak for Data as a Service in einer Browserregisterkarte und lassen Sie diese Lernprogrammseite in einer anderen Browserregisterkarte geöffnet, damit Sie einfach zwischen den beiden Anwendungen wechseln können.

Vorschau des Lernprogramms anzeigen

Video ansehen Sehen Sie sich dieses Video an, um eine Vorschau der Schritte in diesem Lernprogramm anzuzeigen.

Dieses Video bietet eine visuelle Darstellung als Alternative zu den im Folgenden schriftlich dokumentierten Schritten.

Voraussetzung

Sie müssen sich für Cloud Pak for Data as a Service registrieren und die erforderlichen Services für den Anwendungsfall 'Multicloud Data Integration' bereitstellen.

Sie können sich auf eine der folgenden Arten bei Cloud Pak for Data as a Service anmelden:

Modell für maschinelles Lernen erstellen und bereitstellen

Video ansehen Eine Vorschau zu dieser Task sehen Sie, wenn Sie die Wiedergabe des Videos bei 00:47 starten.

Führen Sie das Lernprogramm Modell erstellen und bereitstellen aus, um das in diesem Lernprogramm verwendete Modell für maschinelles Lernen zu erstellen, hochzustufen und bereitzustellen.

Bereitstellung der erforderlichen Services

Führen Sie die folgenden Schritte aus, um die erforderlichen Services zu überprüfen oder bereitzustellen.

  1. Wählen Sie im Navigationsmenü von Cloud Pak for Data die Option Services > Serviceinstanzen aus.
  2. Ermitteln Sie über die Dropdown-Liste Produkt, ob bereits eine Watson OpenScale-Serviceinstanz vorhanden ist.
  3. Wenn Sie eine Watson OpenScale-Serviceinstanz erstellen müssen, klicken Sie auf Service hinzufügen.
  4. Wählen Sie Watson OpenScale aus.
  5. Wählen Sie den Lite-Plan aus.
  6. Klicken Sie auf Erstellen.
  7. Wiederholen Sie diese Schritte, um die folgenden zusätzlichen Services zu überprüfen oder bereitzustellen:
    • Watson Studio
    • Watson Machine Learning
    • Watson Knowledge Catalog
    • Cloud Object Storage

Schritt 1: Notebook zum Einrichten der Überwachungen ausführen

Video ansehen Eine Vorschau zu dieser Task sehen Sie, wenn Sie die Wiedergabe des Videos bei 01:14 starten.

Führen Sie die folgenden Schritte aus, um das Notebook auszuführen, das im Beispielprojekt enthalten ist. Dieses Notebook richtet Überwachungen für Ihr Modell ein, die auch über die Benutzerschnittstelle konfiguriert werden können. Die Einrichtung mit einem Notebook ist jedoch schneller und weniger fehleranfällig.

  1. Wählen Sie im Navigationsmenü von Cloud Pak for Data die Option Projekte > Alle Projekte anzeigen aus.
  2. Öffnen Sie das Projekt MLOps und Vertrauenswürdige KI.
  3. Klicken Sie auf der Registerkarte Assets auf Quellcode > Notebook.
  4. Öffnen Sie das Notebook 2-monitor-wml-modell-mit-watson-openscale.
  5. Da sich das Notebook im Lesezugriffsmodus befindet, klicken Sie auf das Stiftsymbol, um das Notebook in den Bearbeitungsmodus zu versetzen.
  6. Befolgen Sie die Anweisungen oben im Notebook, um ein Projekttoken zu importieren.
    1. Wählen Sie im Menü Mehr die Option Projekttoken einfügen aus. Dadurch wird eine neue Zelle am Anfang von Notebook eingefügt, die das Projekttoken enthält.
  7. Fügen Sie im Abschnitt IBM Cloud-API-Schlüssel einfügen Ihren API-Schlüssel im Feld ibmcloud_api_key ein.
  8. Um alle Zellen im Notebook auszuführen, klicken Sie auf Zelle > Alle ausführen. Alternativ können Sie die Zellen im Notebook nacheinander ausführen, wenn Sie jede Zelle und ihre Ausgabe untersuchen möchten.
  9. Die Ausführung des Notebooks dauert 1-3 Minuten. Sie können den Fortschritt in allen Zellen nacheinander überwachen, indem Sie den Stern "In [*]" in eine Zahl ändern, z. B. "In [1]".
  10. Wenn während der Ausführung des Notebooks Fehler auftreten, klicken Sie auf Kernel > Erneut starten & Ausgabe löschen, um den Kernel erneut zu starten. Führen Sie dann das Notebook erneut aus.

Schritt 2: Modell auswerten

Video ansehen Eine Vorschau zu dieser Task sehen Sie, wenn Sie die Wiedergabe des Videos bei 02:58 starten.

Führen Sie die folgenden Schritte aus, um ausgeschlossene Daten herunterzuladen und diese Daten zum Auswerten des Modells in Watson OpenScale zu verwenden.

  1. Klicken Sie im Navigationspfad auf das Projekt MLOps und Vertrauenswürdige KI.
  2. Klicken Sie auf der Registerkarte Assets auf Daten > Datenasset.
  3. Wählen Sie im Überlaufmenü für das Datenasset GoldenBank_HoldoutData.csv die Option Herunterladen aus. Um zu überprüfen, ob das Modell ordnungsgemäß funktioniert, benötigen Sie eine Gruppe von beschrifteten Daten, die aus dem Modelltraining ausgeschlossen wurden. Diese CSV-Datei enthält diese ausgeschlossenen Daten.
  4. Wählen Sie zum Starten von Watson OpenScale im Navigationsmenü von Cloud Pak for Data Services > Serviceinstanzen aus.
  5. In der Dropdown-Liste Produkt können Sie die vorhandene Watson OpenScale-Serviceinstanz anzeigen.
  6. Öffnen Sie Ihre Watson OpenScale-Instanz. Wenn Sie dazu aufgefordert werden, melden Sie sich mit denselben Berechtigungsnachweisen an, die Sie für die Anmeldung bei Cloud Pak for Data verwendet haben.
  7. Klicken Sie auf der Seite für die Watson OpenScale-Serviceinstanz auf Anwendung starten.
  8. Klicken Sie im Insights-Dashboard auf die Kachel Mortgage Approval Model Deployment.
  9. Wählen Sie im Menü Aktionen die Option Jetzt auswerten aus.
  10. Nehmen Sie in der Liste der Importoptionen Ihre Auswahl aus CSV-Datei vor.
  11. Ziehen Sie die Datendatei Golden Bank_HoldoutData.csv, die Sie aus dem Projekt heruntergeladen haben, in die Seitenanzeige.
  12. Klicken Sie auf Hochladen und auswerten.

Schritt 3: Die Qualität der Modellüberwachungen beobachten

Video ansehen Eine Vorschau zu dieser Task sehen Sie, wenn Sie die Wiedergabe des Videos bei 04:00 starten.

Wenn die Auswertung mit den ausgeschlossenen Daten abgeschlossen ist, führen Sie die folgenden Schritte aus, um die Qualität oder Genauigkeit des Modells zu beobachten.

  1. Klicken Sie im linken Navigationsfenster auf das Symbol für das Insights-Dashboard.
  2. Suchen Sie die Kachel Mortgage Approval Model Deployment. Beachten Sie, dass es 0 Probleme gibt und dass Test zu Qualität und Fairness bestanden wurden, was bedeutet, dass das Modell die erforderlichen Schwellenwerte erreicht hat.
  3. Klicken Sie auf die Kachel Mortgage Approval Model Deployment, um weitere Details anzuzeigen.
  4. Klicken Sie im Abschnitt Qualität auf das Symbol Konfigurieren .Hier wird angezeigt, dass der für diese Überwachung konfigurierte Grenzwert für die Qualität 70 % beträgt und die Messung der verwendeten Qualität im Bereich unterhalb der ROC-Kurve liegt.
  5. Um zur Anzeige mit den Modelldetails zurückzukehren, klicken Sie auf Zur Modellzusammenfassung wechseln.
  6. Um die detaillierten Ergebnisse der Modellqualität anzuzeigen, klicken Sie im Abschnitt Qualität auf das Rechtspfeilsymbol Rechtspfeil.Hier sehen Sie eine Reihe von Berechnungen zu Qualitätsmetriken und eine Fehlermatrix mit korrekten Modellentscheidungen sowie falsch-positiven und falsch-negativen Ergebnissen.Die berechnete Fläche unter der ROC-Kurve beträgt 0,9 oder höher, deutlich über dem Schwellenwert von 0,7, sodass das Modell die entsprechenden Qualitätsanforderungen erfüllt.
  7. Klicken Sie auf den Navigationspfad für Mortgage Approval Model Deployment, um zur Anzeige der Modelldetails zurückzukehren.

Schritt 4: Die Fairness der Modellüberwachungen beobachten

Video ansehen Eine Vorschau zu dieser Task sehen Sie, wenn Sie die Wiedergabe des Videos bei 05:19 starten.

Führen Sie die folgenden Schritte aus, um die Modellfairness zu beobachten.

  1. Klicken Sie im Abschnitt Fairness auf das Symbol Konfigurieren . Hier sehen Sie, dass das Modell überprüft wird, um sicherzustellen, dass Antragsteller unabhängig von ihrem Geschlecht fair behandelt werden.In dieser überwachten Gruppe wird der Wert der Fairness für Frauen ermittelt und der Schwellenwert für Fairness beträgt mindestens 80 %.Bei der Fairnessüberwachung wird die Methode der ungleichen Auswirkung angewendet, um die Fairness zu ermitteln.
  2. Um zur Anzeige mit den Modelldetails zurückzukehren, klicken Sie auf Zur Modellzusammenfassung wechseln.
  3. Um die detaillierten Ergebnisse zur Fairness des Modells anzuzeigen, klicken Sie im Abschnitt Fairness auf das Rechtspfeilsymbol Rechtspfeil. Hier sehen Sie den Prozentsatz der männlichen und weiblichen Antragsteller, die automatisch genehmigt werden, zusammen mit einem Fairness-Score von über 100 %, d. h. das Modell liegt weit über dem erforderlichen Schwellenwert für die Fairness von 80 %.
  4. Beachten Sie die Dateien, die oben in der Anzeige angegeben sind.Um sicherzustellen, dass die Metriken zur Fairness so genau wie möglich sind, verwendet Watson OpenScale zusätzlich zu den tatsächlichen Modellvorhersagen die Perturbation, um die Ergebnisse zu ermitteln, in denen nur die geschützten Attribute und die zugehörigen Modelleingaben geändert werden und andere Merkmale unverändert bleiben.Diese zusätzlichen Guardrails werden zur Berechnung der Fairness verwendet, wenn das "ausgeglichene" Dataset verwendet wird. Sie haben jedoch auch die Möglichkeit, die Fairnessergebnisse nur mit Nutzdaten oder Modelltrainingsdaten anzuzeigen.Da sich das Modell fair verhält, müssen Sie für diese Metrik keine zusätzlichen Details angeben.
  5. Klicken Sie auf den Navigationspfad für Mortgage Approval Model Deployment, um zur Anzeige der Modelldetails zurückzukehren.

Schritt 5: Die Erklärbarkeit der Modellüberwachungen beobachten

Video ansehen Eine Vorschau zu dieser Task sehen Sie, wenn Sie die Wiedergabe des Videos bei 07:00 starten.

Es ist auch wichtig zu verstehen, wie das Modell zu seiner Entscheidung gekommen ist. Dies ist erforderlich, um Personen, die an der Kreditgenehmigung beteiligt sind, Entscheidungen zu erklären und Modelleigentümer zuzusichern, dass die Entscheidungen gültig sind. Zum Verstehen dieser Entscheidungen befolgen Sie diese Schritte, um die Erklärbarkeit des Modells zu beobachten.

  1. Klicken Sie im linken Navigationsfenster auf das Symbol Transaktion erklären.
  2. Wählen Sie Mortgage Approval Model Deployment aus, um eine Liste der Transaktionen für dieses bereitgestellte Modell anzuzeigen.
  3. Klicken Sie für jede Transaktion unter der Spalte Aktionen auf Erklären. Hier wird Sie die ausführliche Erläuterung dieser Entscheidung angezeigt.Es werden die wichtigsten Eingaben für das Modell zusammen mit der Bedeutung der Eingaben für das Endergebnis angezeigt.Blaue Balken stellen Eingaben dar, die tendenziell die Entscheidung des Modells unterstützen, während violette Balken Eingaben anzeigen, die möglicherweise zu einer anderen Entscheidung geführt haben.Zum Beispiel könnte ein Antragsteller über genügend Einkommen verfügen, um ansonsten eine Genehmigung zu erhalten, aber die schlechte Kredithistorie und hohe Schulden führen zusammen dazu, dass das Modell den Antrag ablehnt.Sehen Sie sich diese Erläuterung an, um Informationen zur Grundlage für die Modellentscheidung zu erhalten.
  4. (Optional) Wenn Sie weiter erforschen möchten, wie das Modell seine Entscheidung getroffen hat, klicken Sie auf die Registerkarte Überprüfen. Hier können Sie die Entscheidung analysieren und sensible Bereiche suchen, in denen geringe Änderungen an einigen wenigen Eingaben zu einer anderen Entscheidung führen würden. Sie können die Sensitivität auch selbst testen, indem Sie einige der tatsächlichen Eingaben mit anderen Werten überschreiben und schauen, ob sich dies auf das Ergebnis auswirkt.

Schritt 6: Modell in Vorproduktion hochstufen und Modell genehmigen

Video ansehen Eine Vorschau zu dieser Task sehen Sie, wenn Sie die Wiedergabe des Videos bei 08:38 starten.

Gehen Sie wie folgt vor, um den Status des Modelleintrags im Modellbestand zu ändern und das Modell zu genehmigen.

  1. Wählen Sie im Navigationsmenü von Cloud Pak for Data die Option Kataloge > Modellbestand aus.
  2. Klicken Sie für Mortgage Approval Model Entry auf Details anzeigen.
  3. Klicken Sie auf die Registerkarte Asset. Unter Modellverfolgung sehen Sie, dass sich das Modell jetzt in der Stufe Validieren befindet.
  4. Klicken Sie auf das Stiftsymbol neben Modelleintragsstatus, wählen Sie In Vorproduktion hochgestuft aus und klicken Sie auf Aktualisieren.
  5. Kehren Sie zum Watson OpenScale Insights-Dashboard zurück.
  6. Klicken Sie auf die Kachel Mortgage Approval Model Deployment.
  7. Wählen Sie im Menü Aktionen die Option Für Produktion genehmigen aus und klicken Sie anschließend auf Genehmigen. Dadurch wird dem KI-Betriebsteam übermittelt, dass das Modell nun in einem vorgesehenen Produktionsbereich bereitgestellt werden kann.

Weitere Informationen

Übergeordnetes Thema: Data Fabric-Lernprogramme