Schnelleinstieg: Bereitstellung in Bereichen auswerten

Sehen Sie sich das Video ab 00:06an, um eine Vorschau dieser Task anzuzeigen.

Sie benötigen ein Projekt, um die zum Erstellen des Modells verwendeten Assets zu speichern. Zum Beispiel die Trainingsdaten, die AutoAI -Erfahrung oder das Jupyter-Notebook und das gespeicherte Modell. Führen Sie die folgenden Schritte aus, um ein Projekt auf der Basis eines Beispiels zu erstellen:

1. Rufen Sie das Projekt Evaluate an ML model sample project im Ressourcenhub auf.

2. Klicken Sie auf Projekt erstellen.

3. Wenn Sie aufgefordert werden, das Projekt einer Cloud Object Storage-Instanz zuzuordnen, wählen Sie in der Liste eine Cloud Object Storage-Instanz aus.

4. Klicken Sie auf Erstellen.

5. Warten Sie, bis der Projektimport abgeschlossen ist, und klicken Sie auf Neues Projekt anzeigen , um zu überprüfen, ob das Projekt und die Assets erfolgreich erstellt wurden.

6. Klicken Sie auf die Registerkarte Assets , um die Assets im Beispielprojekt anzuzeigen.

7. Zeigen Sie das Vorhersagemodell für Hypothekengenehmigungan. Dieses Modell sagt voraus, ob ein Hypothekenantragsteller auf der Basis mehrerer Faktoren genehmigt werden sollte, z. B. Kredithistorie, Gesamtschulden, Einkommen, Kreditbetrag und Beschäftigungsverlauf.

8. Kehren Sie zur Registerkarte Assets des Projekts zurück.

Bevor Sie das Modell bereitstellen können, müssen Sie es in einen neuen Bereitstellungsbereich hochstufen. Bereitstellungsbereiche helfen Ihnen, unterstützende Ressourcen wie Eingabedaten und Umgebungen zu organisieren, Modelle oder Funktionen bereitzustellen, um Vorhersagen oder Lösungen zu generieren, und Bereitstellungsdetails anzuzeigen oder zu bearbeiten. Die nächste Aufgabe besteht darin, die Auswertungsdaten und das Modell in einen Bereitstellungsbereich hochzustufen und anschließend eine Onlinebereitstellung zu erstellen.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 01:19an.

Führen Sie die folgenden Schritte aus, um Auswertungen in diesem Bereitstellungsbereich zu konfigurieren:

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 06:22an.

Führen Sie die folgenden Schritte aus, um Holdout-Daten zum Auswerten des Modells zu verwenden:

1. Wählen Sie im Menü Aktionen die Option Jetzt auswerten aus.

2. Nehmen Sie in der Liste der Importoptionen Ihre Auswahl aus CSV-Datei vor.

3. Ziehen Sie die Datendatei Golden Bank_HoldoutData.csv, die Sie aus dem Projekt heruntergeladen haben, in die Seitenanzeige.

4. Klicken Sie auf Hochladen und auswerten und warten Sie, bis die Auswertung abgeschlossen ist.

5. Nach Abschluss der Auswertung wird die Anzahl der ausgeführten Tests, die Anzahl der bestandenen Tests und die Anzahl der fehlgeschlagenen Tests angezeigt. Blättern Sie zu den Ergebnissen für Fairness, Qualität, Abweichungund Globale Erläuterung.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 06:36an.

Die Watson OpenScale -Qualitätsüberwachung generiert eine Reihe von Metriken zur Bewertung der Qualität Ihres Modells. Mithilfe dieser Qualitätsmetriken können Sie ermitteln, wie gut Ihr Modell Ergebnisse vorhersagt. Wenn die Auswertung, die die Holdout-Daten verwendet, abgeschlossen ist, führen Sie die folgenden Schritte aus, um die Modellqualität oder -genauigkeit zu beobachten:

1. Klicken Sie im Abschnitt Qualität auf das Symbol Konfigurieren . Hier sehen Sie, dass der Qualitätsschwellenwert, der für diesen Monitor konfiguriert ist, 70% beträgt und dass die Messung der verwendeten Qualität eine Fläche unter der ROC-Kurve ist.

2. Klicken Sie auf das X , um das Fenster zu schließen und zur Anzeige für die Modellauswertung zurückzukehren.

3. Klicken Sie im Abschnitt Qualität auf das Symbol Details , um die detaillierten Ergebnisse der Modellqualität anzuzeigen. Hier sehen Sie eine Reihe von Qualitätsmetrikberechnungen und eine Wahrheitsmatrix mit korrekten Modellentscheidungen sowie falsch-positiven und falsch-negativen Ergebnissen. Der berechnete Bereich unter der ROC-Kurve ist 0.9 oder höher, was den Schwellenwert von 0.7 überschreitet, sodass das Modell seine Qualitätsanforderung erfüllt.

4. Klicken Sie auf Zurück zur Zusammenfassung , um zur Anzeige "Modelldetails" zurückzukehren.

Zur Vorschau dieser Task sehen Sie sich das Video ab 07:20an.

Die Fairnessüberwachung von Watson OpenScale generiert eine Gruppe von Metriken, um die Fairness Ihres Modells zu bewerten. Mithilfe der Fairnessmetriken können Sie ermitteln, ob Ihr Modell verzerrte Ergebnisse erzeugt. Führen Sie die folgenden Schritte aus, um die Modellfairness zu beobachten:

1. Klicken Sie im Abschnitt Fairness auf das Symbol Konfigurieren . Hier sehen Sie, dass das Modell überprüft wird, um sicherzustellen, dass Antragsteller unabhängig von ihrem Geschlecht fair behandelt werden. In dieser überwachten Gruppe wird der Wert der Fairness für Frauen ermittelt und der Schwellenwert für Fairness beträgt mindestens 80 %. Bei der Fairnessüberwachung wird die Methode der ungleichen Auswirkung angewendet, um die Fairness zu ermitteln. Bei ungleichen Auswirkungen wird der Prozentsatz der günstigen Ergebnisse für eine überwachte Gruppe mit dem Prozentsatz der günstiger Ergebnisse für eine Referenzgruppe verglichen.

2. Klicken Sie auf das X , um das Fenster zu schließen und zur Anzeige für die Modellauswertung zurückzukehren.

3. Klicken Sie im Abschnitt Fairness auf Details , um die detaillierten Ergebnisse der Modellfairness anzuzeigen. Hier sehen Sie den Prozentsatz der männlichen und weiblichen Bewerber, die automatisch genehmigt werden, zusammen mit einem Fairness-Score von über 100%, sodass die Modellleistung den erforderlichen Fairnessschwellenwert von 80% bei weitem überschreitet.

4. Notieren Sie sich die angegebenen Dateien. Um sicherzustellen, dass die Fairnessmetriken möglichst genau sind, verwendet Watson OpenScale die Perturbation, um die Ergebnisse zu ermitteln, bei denen nur die geschützten Attribute und die zugehörigen Modelleingaben geändert werden, während andere Features unverändert bleiben. Bei der Perturbation werden die Merkmalswerte der Referenzgruppe in die Überwachungsgruppe geändert oder umgekehrt. Diese zusätzlichen Guardrails werden zur Berechnung der Fairness verwendet, wenn das "ausgeglichene" Dataset verwendet wird. Sie haben jedoch auch die Möglichkeit, die Fairnessergebnisse nur mit Nutzdaten oder Modelltrainingsdaten anzuzeigen. Da sich das Modell fair verhält, müssen Sie für diese Metrik keine zusätzlichen Details angeben.

   

5. Klicken Sie auf Zurück zur Zusammenfassung , um zur Anzeige "Modelldetails" zurückzukehren.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 08:25an.

Die Abweichungsüberwachung von Watson OpenScale misst Änderungen in Ihren Daten im Zeitverlauf, um konsistente Ergebnisse für Ihr Modell sicherzustellen. Mithilfe von Driftauswertungen können Sie Änderungen in der Modellausgabe, die Genauigkeit Ihrer Vorhersagen und die Verteilung Ihrer Eingabedaten ermitteln. Führen Sie die folgenden Schritte aus, um die Modelldrift zu beobachten:

1. Klicken Sie im Abschnitt Abweichung auf das Symbol Konfigurieren . Hier sehen Sie die Driftschwellenwerte. Die Ausgabedrift misst die Änderung in der Modellkonfidenzverteilung. Die Modellqualitätsdrift misst den Rückgang der Genauigkeit, indem sie die geschätzte Laufzeitgenauigkeit mit der Trainingsgenauigkeit vergleicht. Die Merkmaldrift misst die Änderung der Wertverteilung für wichtige Merkmale. Die Konfiguration zeigt auch die Anzahl der ausgewählten Features und die wichtigsten Features.

2. Klicken Sie auf das X , um das Fenster zu schließen und zur Anzeige für die Modellauswertung zurückzukehren.

3. Klicken Sie im Abschnitt Drift auf das Symbol Details , um die detaillierten Ergebnisse der Modelldrift anzuzeigen. Mit einem Zeitreihendiagramm können Sie den Verlauf anzeigen, wie sich die einzelnen Metrikbewertungen im Zeitverlauf ändern. Niedrigere Werte sind besser, sodass in diesem Fall die Ergebnisse oberhalb der oberen Schwellenwerte liegen, die in der Konfiguration festgelegt sind. Zeigen Sie anschließend Details zur Berechnung der Scoreausgabe und der Merkmaldriften an. Sie können auch Details zu jeder Funktion anzeigen, um zu verstehen, wie sie zu den Scores beitragen, die Watson OpenScale generiert.

4. Klicken Sie auf Zurück zur Zusammenfassung , um zur Anzeige "Modelldetails" zurückzukehren.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 09:10an.

Es ist auch wichtig zu verstehen, wie das Modell zu seiner Entscheidung kam. Dieses Verständnis ist erforderlich, um Personen, die an der Kreditgenehmigung beteiligt sind, Entscheidungen zu erklären und sicherzustellen, dass die Modelleigentümer gültig sind. Um diese Entscheidungen zu verstehen, führen Sie die folgenden Schritte aus, um die Erklärbarkeit des Modells zu beobachten:

1. Klicken Sie auf die Registerkarte Transaktionen .

2. Wählen Sie im Diagramm einen Zeitrahmen aus, um eine Liste der Transaktionen in diesem Zeitraum anzuzeigen.

3. Klicken Sie für jede Transaktion unter der Spalte Aktionen auf Erklären. Hier wird Sie die ausführliche Erläuterung dieser Entscheidung angezeigt. Es werden die wichtigsten Eingaben für das Modell zusammen mit der Bedeutung der Eingaben für das Endergebnis angezeigt. Blaue Balken stellen Eingaben dar, die tendenziell die Entscheidung des Modells unterstützen, während rote Balken Eingaben darstellen, die möglicherweise zu einer anderen Entscheidung geführt haben. Beispielsweise könnte ein Antragsteller über genügend Einkommen verfügen, um anderweitig genehmigt zu werden, aber seine schlechte Kreditgeschichte und hohe Schulden führen zusammen dazu, dass das Modell den Antrag zurückweist. Sehen Sie sich diese Erläuterung an, um Informationen zur Grundlage für die Modellentscheidung zu erhalten.

4. Optional: Wenn Sie genauer untersuchen möchten, wie das Modell seine Entscheidung getroffen hat, klicken Sie auf die Registerkarte Untersuchen . Verwenden Sie die Funktion Untersuchen , um die Entscheidung zu analysieren, um Bereiche mit Sensitivität zu finden, in denen kleine Änderungen an einigen Eingaben zu einer anderen Entscheidung führen würden, und Sie können die Sensitivität selbst testen, indem Sie einige der tatsächlichen Eingaben mit Alternativen überschreiben, um festzustellen, ob diese Auswirkungen auf das Ergebnis haben würden. Klicken Sie auf Analyse ausführen , damit Watson OpenScale die Mindeständerungen sichtbar macht, die zum Bereitstellen eines anderen Ergebnisses erforderlich sind. Wählen Sie Nur steuerbare Features analysieren aus, um Änderungen auf die steuerbaren Features zu begrenzen.