Schnelleinstieg: Modell für maschinelles Lernen bewerten

Sehen Sie sich das Video ab 00:06an, um eine Vorschau dieser Task anzuzeigen.

In diesem Lernprogramm wird ein Beispielprojekt verwendet, das ein Modell für maschinelles Lernen und ein Notizbuch zum Konfigurieren der Überwachungen enthält. Führen Sie die folgenden Schritte aus, um ein Projekt auf der Basis eines Beispiels zu erstellen.

1. Rufen Sie das Projekt Evaluate an ML model sample project im Ressourcenhub auf.

2. Klicken Sie auf Projekt erstellen.

3. Wenn Sie aufgefordert werden, das Projekt einer Cloud Object Storage-Instanz zuzuordnen, wählen Sie in der Liste eine Cloud Object Storage-Instanz aus.

4. Klicken Sie auf Erstellen.

5. Warten Sie, bis der Projektimport abgeschlossen ist, und klicken Sie auf Neues Projekt anzeigen , um zu überprüfen, ob das Projekt und die Assets erfolgreich erstellt wurden.

6. Klicken Sie auf die Registerkarte Assets , um die Assets im Beispielprojekt anzuzeigen.

Bevor Sie das Modell bereitstellen können, müssen Sie es in einen neuen Bereitstellungsbereich hochstufen. Bereitstellungsbereiche helfen Ihnen, unterstützende Ressourcen wie Eingabedaten und Umgebungen zu organisieren, Modelle oder Funktionen bereitzustellen, um Vorhersagen oder Lösungen zu generieren, und Bereitstellungsdetails anzuzeigen oder zu bearbeiten.

Führen Sie das zweite Notebook, das im Beispielprojekt enthalten ist, wie folgt aus:

• Modell und Bereitstellungen abrufen.
• Konfigurieren Sie Watson OpenScale.
• Erstellen Sie den Service-Provider und das Abonnement für Ihren Machine Learning-Service.
• Konfigurieren Sie die Qualitätsüberwachung.
• Konfigurieren Sie die Fairnessüberwachung.
• Konfigurieren Sie Erklärbarkeit.

Führen Sie die folgenden Schritte aus, um das Notebook auszuführen, das im Beispielprojekt enthalten ist. Dieses Notebook richtet Überwachungen für Ihr Modell ein, die auch über die Benutzerschnittstelle konfiguriert werden können. Die Einrichtung mit einem Notebook ist jedoch schneller und weniger fehleranfällig. Nehmen Sie sich Zeit, die Kommentare im Notizbuch zu lesen, die den Code in jeder Zelle erklären.

1. Wählen Sie im Navigationsmenü Projekte > Alle Projekte anzeigenaus.

2. Öffnen Sie das Projekt Evaluate an ML model .

3. Klicken Sie auf die Registerkarte Assets und navigieren Sie dann zu Notebooks.
   

4. Öffnen Sie das Notizbuch monitor-wml-model-with-watson-openscale .

5. Da sich das Notebook im Lesezugriffsmodus befindet, klicken Sie auf das Symbol Bearbeiten , um das Notebook in den Bearbeitungsmodus zu versetzen.

6. Wenn Sie das Projekt aus dem Ressourcenhub importiert haben, enthält die erste Zelle dieses Notebooks das Projektzugriffstoken. Wenn dieses Notebook keine erste Zelle mit einem Projektzugriffstoken enthält, wählen Sie zum Generieren des Tokens im Menü Mehr Projekttoken einfügenaus. Diese Aktion fügt eine neue Zelle als erste Zelle im Notebook ein, die das Projekttoken enthält.

7. Unter dem Abschnitt Geben Sie Ihren IBM Cloud -API-Schlüssel an müssen Sie Ihre Berechtigungsnachweise mithilfe eines API-Schlüssels an die Watson Machine Learning -API übergeben. Wenn Sie noch keinen gespeicherten API-Schlüssel haben, führen Sie diese Schritte aus, um einen API-Schlüssel zu erstellen.

   1. Rufen Sie die API-Schlüsselseite der IBM Cloud -Konsoleauf.

   2. Klicken Sie auf IBM Cloud-API-Schlüssel erstellen. Wenn Sie über vorhandene API-Schlüssel verfügen, kann die Schaltfläche Erstellenlauten.

   3. Geben Sie einen Namen und eine Beschreibung ein.

   4. Klicken Sie auf Erstellen.

   5. Kopieren Sie den API-Schlüssel.

   6. Laden Sie den API-Schlüssel für die zukünftige Verwendung herunter.

   7. Kehren Sie zum Notebook zurück und fügen Sie Ihren API-Schlüssel in das Feld ibmcloud_api_key ein.

8. In 3. Überprüfen Sie im Abschnitt für Modell und Bereitstellung die Werte, die den Variablen space_name, model_nameund deployment_name zugeordnet sind.

9. Klicken Sie auf Zelle > Alle ausführen , um alle Zellen im Notebook auszuführen. Klicken Sie alternativ auf das Symbol Ausführen neben jeder Zelle, um die Notebookzelle nach Zelle auszuführen, um die einzelnen Zellen und ihre Ausgabe zu untersuchen.

10. Die Ausführung des Notebooks dauert 1 bis 3 Minuten. Sie können die Fortschrittszelle nach Zelle überwachen, indem Sie den Stern "In [*]" in eine Zahl ändern, z. B. "In [1]".

11. Wenn während der Ausführung des Notebooks Fehler auftreten, verwenden Sie die folgenden Tipps zur Fehlerbehebung:

    • Klicken Sie auf Kernel > Restart & Clear Output , um den Kernel erneut zu starten, und führen Sie dann das Notizbuch erneut aus.

    • Löschen Sie alle vorhandenen Watson OpenScale -Bereitstellungen und stellen Sie eine neue Serviceinstanz bereit.

    • Stellen Sie sicher, dass Sie den Bereitstellungsbereich und den Bereitstellungsnamen erstellt haben, indem Sie den angegebenen Artefaktnamen exakt ohne führende oder nachgestellte Leerzeichen kopieren und einfügen.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 03:35an.

Führen Sie die folgenden Schritte aus, um Holdout-Daten herunterzuladen und diese Daten zum Auswerten des Modells in Watson OpenScalezu verwenden:

1. Klicken Sie auf das Projekt ML-Modell auswerten im Navigationspfad.

   

2. Klicken Sie auf der Registerkarte Assets auf Daten > Datenassets.

3. Klicken Sie auf das Überlaufmenü für das Datenasset GoldenBank_HoldoutData.csv und wählen Sie Herunterladenaus. Um zu überprüfen, ob das Modell ordnungsgemäß funktioniert, benötigen Sie eine Gruppe beschrifteter Daten, die aus dem Modelltraining herausgenommen wurden. Diese CSV-Datei enthält diese ausgeschlossenen Daten.

4. Starten Sie Watson OpenScale.

   1. Wählen Sie im Navigationsmenü die Option Services > Serviceinstanzenaus.

   2. Klicken Sie auf Ihre Watson OpenScale -Instanz, um die Seite der Serviceinstanz zu öffnen. Melden Sie sich bei entsprechender Aufforderung mit denselben Berechtigungsnachweisen an, die Sie für die Registrierung für Cloud Pak for Dataverwendet haben.

      Hinweis:Ihre Instanz kann einen anderen Namen haben, z. B.watsonx.governance-xx.

   3. Klicken Sie auf der Seite Watson OpenScale auf Watson OpenScale.
      

5. Klicken Sie im Insights-Dashboard auf die Kachel Mortgage Approval Model Deployment.

6. Wählen Sie im Menü Aktionen die Option Jetzt auswerten aus.

7. Nehmen Sie in der Liste der Importoptionen Ihre Auswahl aus CSV-Datei vor.

8. Ziehen Sie die Datendatei Golden Bank_HoldoutData.csv, die Sie aus dem Projekt heruntergeladen haben, in die Seitenanzeige.

9. Klicken Sie auf Hochladen und auswerten und warten Sie, bis die Auswertung abgeschlossen ist.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 04:40an.

Die Watson OpenScale -Qualitätsüberwachung generiert eine Reihe von Metriken zur Bewertung der Qualität Ihres Modells. Mithilfe dieser Qualitätsmetriken können Sie ermitteln, wie gut Ihr Modell Ergebnisse vorhersagt. Wenn die Auswertung, die die Holdout-Daten verwendet, abgeschlossen ist, führen Sie die folgenden Schritte aus, um die Modellqualität oder -genauigkeit zu beobachten:

1. Klicken Sie im Abschnitt Qualität auf das Symbol Konfigurieren . Hier sehen Sie, dass der Qualitätsschwellenwert, der für diesen Monitor konfiguriert ist, 70% beträgt und dass die Messung der verwendeten Qualität eine Fläche unter der ROC-Kurve ist.

2. Klicken Sie auf Zur Modellzusammenfassung wechseln , um zur Anzeige mit den Modelldetails zurückzukehren.

3. Klicken Sie im Abschnitt Qualität auf das Symbol Details , um die detaillierten Ergebnisse der Modellqualität anzuzeigen. Hier sehen Sie eine Reihe von Qualitätsmetrikberechnungen und eine Wahrheitsmatrix mit korrekten Modellentscheidungen sowie falsch-positiven und falsch-negativen Ergebnissen. Der berechnete Bereich unter der ROC-Kurve ist 0.9 oder höher, was den Schwellenwert von 0.7 überschreitet, sodass das Modell seine Qualitätsanforderung erfüllt.

4. Klicken Sie im Navigationspfad auf Mortgage Approval Model Deployment , um zur Anzeige mit den Modelldetails zurückzukehren.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 05:41an.

Die Fairnessüberwachung von Watson OpenScale generiert eine Gruppe von Metriken, um die Fairness Ihres Modells zu bewerten. Mithilfe der Fairnessmetriken können Sie ermitteln, ob Ihr Modell verzerrte Ergebnisse erzeugt. Führen Sie die folgenden Schritte aus, um die Modellfairness zu beobachten:

1. Klicken Sie im Abschnitt Fairness auf das Symbol Konfigurieren . Hier sehen Sie, dass das Modell überprüft wird, um sicherzustellen, dass Antragsteller unabhängig von ihrem Geschlecht fair behandelt werden. In dieser überwachten Gruppe wird der Wert der Fairness für Frauen ermittelt und der Schwellenwert für Fairness beträgt mindestens 80 %. Bei der Fairnessüberwachung wird die Methode der ungleichen Auswirkung angewendet, um die Fairness zu ermitteln. Bei ungleichen Auswirkungen wird der Prozentsatz der günstigen Ergebnisse für eine überwachte Gruppe mit dem Prozentsatz der günstiger Ergebnisse für eine Referenzgruppe verglichen.

2. Klicken Sie auf Zur Modellzusammenfassung wechseln , um zur Anzeige mit den Modelldetails zurückzukehren.

3. Klicken Sie im Abschnitt Fairness auf das Symbol Details , um die detaillierten Ergebnisse der Modellfairness anzuzeigen. Hier sehen Sie den Prozentsatz der männlichen und weiblichen Bewerber, die automatisch genehmigt werden, zusammen mit einem Fairness-Score von über 100%, sodass die Modellleistung den erforderlichen Fairnessschwellenwert von 80% bei weitem überschreitet.

4. Notieren Sie sich die angegebenen Dateien. Um sicherzustellen, dass die Fairnessmetriken möglichst genau sind, verwendet Watson OpenScale die Perturbation, um die Ergebnisse zu ermitteln, bei denen nur die geschützten Attribute und die zugehörigen Modelleingaben geändert werden, während andere Features unverändert bleiben. Bei der Perturbation werden die Merkmalswerte der Referenzgruppe in die Überwachungsgruppe geändert oder umgekehrt. Diese zusätzlichen Guardrails werden zur Berechnung der Fairness verwendet, wenn das "ausgeglichene" Dataset verwendet wird. Sie haben jedoch auch die Möglichkeit, die Fairnessergebnisse nur mit Nutzdaten oder Modelltrainingsdaten anzuzeigen. Da sich das Modell fair verhält, müssen Sie für diese Metrik keine zusätzlichen Details angeben.

   

5. Klicken Sie auf das Navigationspfad Mortgage Approval Model Deployment , um zur Anzeige mit den Modelldetails zurückzukehren.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 07:25an.

Die Abweichungsüberwachung von Watson OpenScale misst Änderungen in Ihren Daten im Zeitverlauf, um konsistente Ergebnisse für Ihr Modell sicherzustellen. Mithilfe von Driftauswertungen können Sie Änderungen in der Modellausgabe, die Genauigkeit Ihrer Vorhersagen und die Verteilung Ihrer Eingabedaten ermitteln. Führen Sie die folgenden Schritte aus, um die Modelldrift zu beobachten:

1. Klicken Sie im Abschnitt Abweichung auf das Symbol Konfigurieren . Hier sehen Sie die Driftschwellenwerte. Die Ausgabedrift misst die Änderung in der Modellkonfidenzverteilung. Die Modellqualitätsdrift misst den Rückgang der Genauigkeit, indem sie die geschätzte Laufzeitgenauigkeit mit der Trainingsgenauigkeit vergleicht. Die Merkmaldrift misst die Änderung der Wertverteilung für wichtige Merkmale. Die Konfiguration zeigt auch die Anzahl der ausgewählten Features und die wichtigsten Features.

2. Klicken Sie auf Zur Modellzusammenfassung wechseln , um zur Anzeige mit den Modelldetails zurückzukehren.

3. Klicken Sie im Abschnitt Drift auf das Symbol Details , um die detaillierten Ergebnisse der Modelldrift anzuzeigen. Mit einem Zeitreihendiagramm können Sie den Verlauf anzeigen, wie sich die einzelnen Metrikbewertungen im Zeitverlauf ändern. Niedrigere Werte sind besser, sodass in diesem Fall die Ergebnisse oberhalb der oberen Schwellenwerte liegen, die in der Konfiguration festgelegt sind. Zeigen Sie anschließend Details zur Berechnung der Scoreausgabe und der Merkmaldriften an. Sie können auch Details zu jeder Funktion anzeigen, um zu verstehen, wie sie zu den Scores beitragen, die Watson OpenScale generiert.

4. Klicken Sie auf das Navigationspfad Mortgage Approval Model Deployment , um zur Anzeige mit den Modelldetails zurückzukehren.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 08:46an.

Es ist auch wichtig zu verstehen, wie das Modell zu seiner Entscheidung kam. Dieses Verständnis ist erforderlich, um Personen, die an der Kreditgenehmigung beteiligt sind, Entscheidungen zu erklären und sicherzustellen, dass die Modelleigentümer gültig sind. Um diese Entscheidungen zu verstehen, führen Sie die folgenden Schritte aus, um die Erklärbarkeit des Modells zu beobachten:

1. Klicken Sie im linken Navigationsfenster auf das Symbol Transaktion erklären .

2. Wählen Sie Mortgage Approval Model Deployment aus, um eine Liste der Transaktionen anzuzeigen.

3. Klicken Sie für jede Transaktion unter der Spalte Aktionen auf Erklären. Hier wird Sie die ausführliche Erläuterung dieser Entscheidung angezeigt. Es werden die wichtigsten Eingaben für das Modell zusammen mit der Bedeutung der Eingaben für das Endergebnis angezeigt. Blaue Balken stellen Eingaben dar, die tendenziell die Entscheidung des Modells unterstützen, während rote Balken Eingaben darstellen, die möglicherweise zu einer anderen Entscheidung geführt haben. Beispielsweise könnte ein Antragsteller über genügend Einkommen verfügen, um anderweitig genehmigt zu werden, aber seine schlechte Kreditgeschichte und hohe Schulden führen zusammen dazu, dass das Modell den Antrag zurückweist. Sehen Sie sich diese Erläuterung an, um Informationen zur Grundlage für die Modellentscheidung zu erhalten.

4. (Optional) Wenn Sie genauer untersuchen möchten, wie das Modell seine Entscheidung getroffen hat, klicken Sie auf die Registerkarte Untersuchen . Verwenden Sie die Funktion Untersuchen , um die Entscheidung zu analysieren, um Bereiche mit Sensitivität zu finden, in denen kleine Änderungen an einigen Eingaben zu einer anderen Entscheidung führen würden, und Sie können die Sensitivität selbst testen, indem Sie einige der tatsächlichen Eingaben mit Alternativen überschreiben, um festzustellen, ob diese Auswirkungen auf das Ergebnis haben würden.