Schnelleinstieg: Bereitstellung in Bereichen auswerten
Sie können Modellbereitstellungen in einem Bereitstellungsbereich bewerten, um Einblicke in die Leistung Ihres Modells zu erhalten. Wenn Sie Bewertungen konfigurieren, können Sie Auswertungsergebnisse analysieren und Transaktionsdatensätze direkt in Ihren Bereichen modellieren.
- Erforderliche Services
- watsonx.governance
- watsonx.ai
Ihr grundlegender Workflow umfasst die folgenden Tasks:
- Öffnen Sie ein Projekt. Projekte sind der Ort, an dem Sie gemeinsam mit anderen mit Daten arbeiten.
- Erstellen und speichern Sie ein Modell für maschinelles Lernen. Es gibt verschiedene Tools, um ein Modell zu erstellen, z. B. ein AutoAI -Experiment, ein Jupyter-Notebook, einen SPSS Modeler -Ablauf oder eine Pipeline. Siehe Daten analysieren und mit Modellen arbeiten.
- Implementieren und testen Sie Ihr Modell in einem Bereitstellungsbereich.
- Konfigurieren Sie Bewertungen im Bereitstellungsbereich.
- Bewerten Sie die Leistung Ihres Modells.
Informationen zum Bewerten von Bereitstellungen in Bereichen
watsonx.governance bewertet Ihre Modellbereitstellungen, um Sie bei der Leistungsmessung und beim Verständnis Ihrer Modellvorhersagen zu unterstützen. Wenn Sie Modellevaluierungen konfigurieren, generiert watsonx.governance Metriken für jede Bewertung, die verschiedene Einblicke bieten, die Sie überprüfen können. watsonx.governance protokolliert auch die Transaktionen, die bei Auswertungen verarbeitet werden, damit Sie verstehen, wie Ihre Modellvorhersagen bestimmt werden.
Weitere Informationen zum Auswerten von Bereitstellungen in Bereichen
Weitere Informationen zu anderen Methoden für die Bewertung von Modellen in Watson OpenScale
Sehen Sie sich ein Video zur Bewertung von Bereitstellungen in Bereichen an
Sehen Sie sich dieses Video an, um eine Vorschau der Schritte in diesem Lernprogramm anzuzeigen. Möglicherweise gibt es geringfügige Unterschiede in der Benutzerschnittstelle, die im Video angezeigt wird. Das Video ist als Begleiter zum schriftlichen Lernprogramm gedacht.
Dieses Video bietet eine visuelle Methode zum Erlernen der Konzepte und Tasks in dieser Dokumentation.
Lernprogramm zum Auswerten von Bereitstellungen in Bereichen ausprobieren
In diesem Lernprogramm werden Sie die folgenden Tasks ausführen:
- Aufgabe 1: Projekt auf der Basis eines Beispiels erstellen
- Task 2: Modell bereitstellen
- Aufgabe 3: Bewertungen in einem Bereitstellungsbereich konfigurieren
- Aufgabe 4: Modell auswerten
- Task 5: Qualitätsüberwachung beobachten
- Aufgabe 6: Modellüberwachungen auf Fairness überwachen
- Task 7: Modellüberwachungen auf Drift überwachen
- Task 8: Modellüberwachungen auf Erklärbarkeit überwachen
Tipps zum Durcharbeiten dieses Lernprogramms
Im Folgenden finden Sie einige Tipps für den erfolgreichen Abschluss dieses Lernprogramms.
Verwenden Sie das Videobild im Bild
Die folgende animierte Abbildung zeigt, wie die Funktionen für Videobilder und Inhaltsverzeichnisse verwendet werden:
Hilfe in der Community anfordern
Wenn Sie Hilfe zu diesem Lernprogramm benötigen, können Sie eine Frage stellen oder eine Antwort im Diskussionsforum derwatsonx -Communityfinden.
Browserfenster einrichten
Damit Sie dieses Lernprogramm optimal nutzen können, öffnen Sie Cloud Pak for Data in einem Browserfenster und lassen Sie diese Lernprogrammseite in einem anderen Browserfenster geöffnet, um einfach zwischen den beiden Anwendungen zu wechseln. Es empfiehlt sich, die beiden Browserfenster nebeneinander anzuordnen, um die weitere Arbeit zu erleichtern.
Aufgabe 1: Projekt auf der Basis eines Beispiels erstellen
Sehen Sie sich das Video ab 00:06an, um eine Vorschau dieser Task anzuzeigen.
Sie benötigen ein Projekt, um die zum Erstellen des Modells verwendeten Assets zu speichern. Zum Beispiel die Trainingsdaten, die AutoAI -Erfahrung oder das Jupyter-Notebook und das gespeicherte Modell. Führen Sie die folgenden Schritte aus, um ein Projekt auf der Basis eines Beispiels zu erstellen:
Rufen Sie das Projekt Evaluate an ML model sample project im Ressourcenhub auf.
Klicken Sie auf Projekt erstellen.
Wenn Sie aufgefordert werden, das Projekt einer Cloud Object Storage-Instanz zuzuordnen, wählen Sie in der Liste eine Cloud Object Storage-Instanz aus.
Klicken Sie auf Erstellen.
Warten Sie, bis der Projektimport abgeschlossen ist, und klicken Sie auf Neues Projekt anzeigen , um zu überprüfen, ob das Projekt und die Assets erfolgreich erstellt wurden.
Klicken Sie auf die Registerkarte Assets , um die Assets im Beispielprojekt anzuzeigen.
Zeigen Sie das Vorhersagemodell für Hypothekengenehmigungan. Dieses Modell sagt voraus, ob ein Hypothekenantragsteller auf der Basis mehrerer Faktoren genehmigt werden sollte, z. B. Kredithistorie, Gesamtschulden, Einkommen, Kreditbetrag und Beschäftigungsverlauf.
Kehren Sie zur Registerkarte Assets des Projekts zurück.
Fortschritt überprüfen
Die folgende Abbildung zeigt das Beispielprojekt. Sie können jetzt das Lernprogramm starten.
Aufgabe 2: Modell bereitstellen
Bevor Sie das Modell bereitstellen können, müssen Sie es in einen neuen Bereitstellungsbereich hochstufen. Bereitstellungsbereiche helfen Ihnen, unterstützende Ressourcen wie Eingabedaten und Umgebungen zu organisieren, Modelle oder Funktionen bereitzustellen, um Vorhersagen oder Lösungen zu generieren, und Bereitstellungsdetails anzuzeigen oder zu bearbeiten. Die nächste Aufgabe besteht darin, die Auswertungsdaten und das Modell in einen Bereitstellungsbereich hochzustufen und anschließend eine Onlinebereitstellung zu erstellen.
Aufgabe 2a: Auswertungsdaten herunterladen
Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 00:34an.
Um zu überprüfen, ob das Modell ordnungsgemäß funktioniert, benötigen Sie eine Gruppe beschrifteter Daten, die aus dem Modelltraining herausgenommen wurden. Das Beispielprojekt enthält die Auswertungsdaten (GoldenBank_HoldoutData.csv), die Sie hochladen können, um die Auswertung später im Bereitstellungsbereich durchzuführen. Führen Sie die folgenden Schritte aus, um das Dataset herunterzuladen:
Klicken Sie auf das Menü Überlauf
für das Datenelement GoldenBank_HoldoutData.csv und wählen Sie Herunterladen.
Speichern Sie den Datenbestand auf Ihrem Computer.
Task 2b: Modell in einen Bereitstellungsbereich hochstufen
Um eine Vorschau auf diese Aufgabe zu erhalten, sehen Sie sich das Video ab 00:42 an.
Bevor Sie das Modell bereitstellen können, müssen Sie das Modell in einen Bereitstellungsbereich hochstufen. Führen Sie die folgenden Schritte aus, um das Modell in einen Bereitstellungsbereich hochzustufen:
From the Vermögenswerte tab, click the Überlauf menu
for the Hypothekengenehmigungsmodell model, and choose In den Weltraum befördern.
Wählen Sie einen vorhandenen Bereitstellungsbereich aus. Wenn Sie keinen Bereitstellungsbereich haben:
Klicken Sie auf Neuen Bereitstellungsbereich erstellen.
Geben Sie den Namen ein:
Golden Bank Preproduction Space
Wählen Sie einen Speicherservice aus.
Wählen Sie einen Machine Learning-Service aus.
Wählen Sie Entwicklung für die Bereitstellungsstufeaus.
Klicken Sie auf Erstellen.
Schließen Sie die Benachrichtigung, wenn der Bereich bereit ist.
Wählen Sie die Option Nach dem Hochstufen zum Modell im Bereich wechseln aus.
Klicken Sie auf Hochstufen.
Überprüfen Sie Ihren Fortschritt
Die folgende Abbildung zeigt das Modell im Bereitstellungsbereich.
Task 2c: : Modellbereitstellung erstellen
Um eine Vorschau auf diese Aufgabe zu erhalten, sehen Sie sich das Video ab 01:02 an.
Jetzt, da sich das Modell im Bereitstellungsbereich befindet, führen Sie die folgenden Schritte aus, um die Modellbereitstellung zu erstellen:
Klicken Sie bei geöffnetem Modell auf Neue Bereitstellung.
Wählen Sie Online als Bereitstellungstyp aus.
Geben Sie den Namen für die Bereitstellung ein:
Mortgage Approval Model Deployment
Klicken Sie auf Erstellen.
Klicken Sie nach Abschluss der Bereitstellung auf den Namen der Bereitstellung, um die Seite mit den Bereitstellungsdetails anzuzeigen.
Überprüfen Sie den Scoring-Endpunkt, mit dem Sie programmgesteuert in Ihren Anwendungen auf dieses Modell zugreifen können.
Überprüfen Sie Ihren Fortschritt
Die folgende Abbildung zeigt die Modellbereitstellung im Bereitstellungsbereich.
Aufgabe 3: Bewertungen in einem Bereitstellungsbereich konfigurieren
Um eine Vorschau auf diese Aufgabe zu erhalten, sehen Sie sich das Video ab 01:19 an.
Führen Sie die folgenden Schritte aus, um Auswertungen in diesem Bereitstellungsbereich zu konfigurieren:
Task 3a: Modelldetails konfigurieren
Zuerst. Führen Sie die folgenden Schritte aus, um die Modelldetails zu konfigurieren:
- Klicken Sie in der Implementierung auf die Registerkarte Auswertungen .
- Klicken Sie auf OpenScale -Auswertungseinstellungen konfigurieren.
Geben Sie die Modelleingabe an.
Die Trainingsdaten enthalten numerische und kategoriale Daten, die für ein binäres Klassifikationsmodell geeignet sind.
- Wählen Sie unter Speichertypen die Option Systemverwaltet.
- Wählen Sie für Datentypdie Option Numerisch/kategorialaus.
- Wählen Sie als Algorithmustyp Binäre Klassifikationaus.
- Klicken Sie auf Zusammenfassung anzeigen.
- Überprüfen Sie die Zusammenfassung und klicken Sie auf Speichern und weiter.
Stellen Sie eine Verbindung zu den Trainingsdaten her.
Die Trainingsdaten werden in einer Db2 Warehouse on Cloud -Instanz gespeichert.
- Für Konfigurationsmethode wählen Sie Manuelle Einrichtung verwenden.
- Klicken Sie auf Weiter.
- Wählen Sie für die Option Schulungsdaten die Option Datenbank oder Cloud-Speicher.
- Wählen Sie Db2 als Position aus.
- Geben Sie die Verbindungsinformationen an:
- Hostname oder IP-Adresse:
db2w-ruggyab.us-south.db2w.cloud.ibm.com
- SSL-Port:
50001
- Datenbank:
BLUDB
- Benutzername:
CPDEMO
- Kennwort:
DataFabric@2022IBM
.
- Hostname oder IP-Adresse:
- Klicken Sie auf Connect (Verbinden).
- Wählen Sie AI_MORTGAGE als Schema aus.
- Wählen Sie MORTGAGE_APPROVAL_TABLE für die Tabelle aus.
- Klicken Sie auf Weiter.
Wählen Sie die Merkmale und beschriften Sie die Spalten
Die Spalte MORTGAGE_APPROVAL gibt an, ob der Antragsteller genehmigt wurde, und die Merkmalspalten enthalten Informationen, die zur Genehmigungsentscheidung beitragen.
- Überprüfen Sie die folgenden Funktionsspalten:
- GENDER
- AUSBILDUNG
- EMPLOYMENT_STATUS
- MARITAL_STATUS
- INCOME
- APPLIEDONZEILE
- Wohnsitz
- YRS_AT_AKTUELLE_ADRESSE
- YRS_MIT_AKTUELLE_ARBEITGEBER
- ANZAHL_KARTEN
- KREDITCARD_DEBT
- Kredite
- LOAN_BETRAG
- CREDIT_SCORE
- COMMERCIAL_CLIENT
- Suchen Sie nach
MORTGAGE_APPROVAL
, und aktivieren Sie das Kontrollkästchen Etikett/Ziel. - Klicken Sie auf Weiter.
Geben Sie Details zur Modellausgabe an.
Aus den Modellausgabedaten müssen Sie die vom bereitgestellten Modell generierte Vorhersagespalte und die Wahrscheinlichkeitsspalte auswählen, die die Konfidenz des Modells in der Vorhersage enthält.
- Wählen Sie die entsprechenden Kontrollkästchen für die Spalten Vorhersage und Wahrscheinlichkeit aus.
- Klicken Sie auf Zusammenfassung anzeigen.
- Klicken Sie auf Fertigstellen.
Überprüfen Sie Ihren Fortschritt
Die folgende Abbildung zeigt die vollständigen Modelldetails. Jetzt können Sie die Erklärbarkeit konfigurieren.
Aufgabe 3b: Erklärbarkeit konfigurieren
Eine Vorschau zu dieser Task sehen Sie, wenn Sie die Wiedergabe des Videos bei 02:58 starten.
Führen Sie anschließend die folgenden Schritte aus, um die Erklärbarkeit zu konfigurieren.
Wählen Sie die Erläuterungsmethode aus
Bei Shapley-Additiverklärungen (SHAP) werden alle möglichen Kombinationen von Eingaben verwendet, um zu ermitteln, wie jede Eingabe eine Vorhersage zu einem mittleren Vorhersagewert oder einem Konfidenzscore hin oder von diesem weg bewegt. Lokale interpretierbare modellunabhängige Erklärungen (LIME) erstellen dünn besetzte lineare Modelle, um die Bedeutung der einzelnen Features zu erkennen. SHAP ist gründlicher und LIME ist schneller.
- Klicken Sie auf Allgemeine Einstellungen.
- Klicken Sie neben Erklärungsmethode auf das Symbol Bearbeiten
.
- Aktivieren Sie die Option Globale SHAP-Erläuterung .
- Wählen Sie für Lokale Erklärungendie Option LIME (erweitert)aus.
- Klicken Sie auf Weiter.
Steuerbare Features auswählen
Sie können die Features angeben, die beim Ausführen einer Analyse steuerbar sein sollen, um anzuzeigen, welche Features bei der Bestimmung des Modellergebnisses am wichtigsten waren.
- Überprüfen Sie die Liste der steuerbaren Features und klicken Sie auf Speichern.
Globale Erklärungen konfigurieren
SHAP quantifiziert den Einfluss der einzelnen Funktionen auf das Modellergebnis. SHAP erzeugt ein Auswertungsdiagramm, das für globale Erklärungen geeignet ist, aber auch einzelne Vorhersageerklärungen generieren kann.
- Klicken Sie unter Erklärbarkeitauf SHAP.
- Klicken Sie neben Gemeinsame Einstellungen auf das Symbol Bearbeiten
.
- Akzeptieren Sie die Standardwerte für die allgemeinen Einstellungen.
- Klicken Sie auf Speichern.
- Klicken Sie neben Globale Erklärung auf das Symbol Bearbeiten
.
- Greifen Sie auf die Standardwerte für die globale Erläuterung zu.
- Klicken Sie auf Speichern.
Überprüfen Sie Ihren Fortschritt
Die folgende Abbildung zeigt die abgeschlossene Erklärbarkeitskonfiguration. Jetzt können Sie die Fairness konfigurieren.
Task 3c: : Fairness konfigurieren
Eine Vorschau zu dieser Task sehen Sie, wenn Sie die Wiedergabe des Videos bei 04:06 starten.
Führen Sie anschließend die folgenden Schritte aus, um Fairness zu konfigurieren.
Konfigurationstyp auswählen
Sie können Fairness entweder manuell konfigurieren oder eine Konfigurationsdatei hochladen, die mit dem bereitgestellten Jupyter-Notebook generiert wurde.
- Klicken Sie auf Fairness.
- Klicken Sie neben Konfiguration auf das Symbol Bearbeiten
.
- Wählen Sie Manuell konfigurieren für Konfigurationstypaus.
- Klicken Sie auf Weiter.
Wählen Sie die günstigen Ergebnisse aus.
Bei dieser Modellbereitstellung ist ein günstiges Ergebnis, wenn ein Antragsteller für eine Hypothek genehmigt wird, und ein ungünstiges Ergebnis, wenn ein Antragsteller nicht genehmigt wird.
- Wählen Sie in der Tabelle Positiv für den Wert 1 aus, der angibt, dass der Antragsteller für eine Hypothek genehmigt wurde.
- Wählen Sie in der Tabelle Negativ für den Wert 0 aus. Dies bedeutet, dass der Antragsteller nicht für eine Hypothek zugelassen ist.
- Klicken Sie auf Weiter.
Stichprobenumfang
Passen Sie den Stichprobenumfang basierend auf dem Dataset an, das Sie zum Auswerten des Modells verwenden.
- Ändern Sie Minimaler Stichprobenumfang in
100
. - Klicken Sie auf Weiter.
Metriken
Die Fairnessüberwachung verfolgt mehrere Fairnessmetriken. Die unterschiedlichen Auswirkungen sind das Verhältnis des Prozentsatzes günstiger Ergebnisse für die überwachte Gruppe zu dem Prozentsatz günstiger Ergebnisse für die Referenzgruppe.
- Überprüfen Sie die überwachten Metriken, die aus allen Daten generiert wurden, um sie auf überwachte Features anzuwenden. Überprüfen Sie anschließend die Metriken, die aus Feedbackdaten generiert wurden, um sie auf überwachte Features anzuwenden.
- Akzeptieren Sie die Standardmetriken und klicken Sie auf Next.
- Akzeptieren Sie die Standardwerte für den unteren und den oberen Schwellenwert und klicken Sie auf Next.
Wählen Sie die zu überwachenden Felder aus.
Sie möchten die Tendenz des bereitgestellten Modells überwachen, ein günstiges Ergebnis für eine Gruppe über eine andere zu erzielen. In diesem Fall möchten Sie das Modell auf geschlechtsspezifische Verzerrungen überwachen.
- Wählen Sie das Feld GENDER aus.
- Klicken Sie auf Weiter.
- Wenn die Werte in der Tabelle aufgelistet sind:
- Überprüfung weiblich: Überwacht
- Überprüfen Männlich: Referenz.
- Wenn die Werte nicht in der Tabelle aufgelistet sind:
- Geben Sie im Feld Angepassten Wert hinzufügen
Female
ein. - Klicken Sie auf Wert hinzufügen.
- Wählen Sie Überwacht neben Männlich in der Tabelle aus.
- Geben Sie im Feld Angepassten Wert hinzufügen
Female
ein. - Klicken Sie auf Wert hinzufügen.
- Wählen Sie Referenz neben Male in der Tabelle aus.
- Geben Sie im Feld Angepassten Wert hinzufügen
- Klicken Sie auf Weiter.
- Akzeptieren Sie den Standardschwellenwert für die überwachte Gruppe und klicken Sie auf Speichern.
Überprüfen Sie Ihren Fortschritt
Die folgende Abbildung zeigt die abgeschlossene Fairnesskonfiguration. Jetzt können Sie die Qualität konfigurieren.
Aufgabe 3d: Qualität konfigurieren
Um eine Vorschau auf diese Aufgabe zu erhalten, sehen Sie sich das Video ab 05:17 an.
Führen Sie anschließend die folgenden Schritte aus, um die Qualität zu konfigurieren. Die Qualitätsüberwachung bewertet, wie gut Ihr Modell präzise Ergebnisse vorhersagt.
- Klicken Sie auf Qualität.
- Klicken Sie neben Qualitätsschwellenwerten auf das Symbol Bearbeiten
.
- Ändern Sie den Wert für Bereich unter ROC in
0.7
. - Klicken Sie auf Weiter.
- Ändern Sie die Mindestgröße für Stichproben in
100
. - Klicken Sie auf Speichern.
Überprüfen Sie Ihren Fortschritt
Die folgende Abbildung zeigt die abgeschlossene Qualitätskonfiguration. Jetzt können Sie die Drift konfigurieren.
Aufgabe 3e: Drift konfigurieren
Um eine Vorschau auf diese Aufgabe zu erhalten, sehen Sie sich das Video ab 05:42 an.
Führen Sie schließlich die folgenden Schritte aus, um die Drift zu konfigurieren. Die Driftüberwachung überprüft, ob Ihre Bereitstellungen aktuell sind und sich konsistent verhalten.
- Klicken Sie auf Abweichung v2.
- Klicken Sie neben Berechnen Sie das Driftarchiv auf das Symbol Bearbeiten
.
- Wählen Sie für die Berechnungsoptiondie Option In Watson OpenScaleaus. Diese Option weist Watson OpenScale an, eine Analyse Ihrer Trainingsdaten durchzuführen, um die Datenverteilungen der Features zu bestimmen.
- Klicken Sie auf Weiter.
- Akzeptieren Sie die Standardwerte für obere Schwellenwerte und klicken Sie auf Next.
- Akzeptieren Sie die Standardwerte für den Stichprobenumfang und klicken Sie auf Speichern.
- Klicken Sie auf das X , um das Fenster zu schließen, und warten Sie, bis Watson OpenScale die Überwachungen abruft.
Überprüfen Sie Ihren Fortschritt
Die folgende Abbildung zeigt die abgeschlossene Konfiguration im Bereitstellungsbereich. Nun können Sie die Modellimplementierung überwachen.
Aufgabe 4: Modell auswerten
Um eine Vorschau auf diese Aufgabe zu erhalten, sehen Sie sich das Video ab 06:22 an.
Führen Sie die folgenden Schritte aus, um Holdout-Daten zum Auswerten des Modells zu verwenden:
Wählen Sie im Menü Aktionen die Option Jetzt auswerten aus.
Nehmen Sie in der Liste der Importoptionen Ihre Auswahl aus CSV-Datei vor.
Ziehen Sie die Datendatei Golden Bank_HoldoutData.csv, die Sie aus dem Projekt heruntergeladen haben, in die Seitenanzeige.
Klicken Sie auf Hochladen und auswerten und warten Sie, bis die Auswertung abgeschlossen ist.
Nach Abschluss der Auswertung wird die Anzahl der ausgeführten Tests, die Anzahl der bestandenen Tests und die Anzahl der fehlgeschlagenen Tests angezeigt. Blättern Sie zu den Ergebnissen für Fairness, Qualität, Abweichungund Globale Erläuterung.
Überprüfen Sie Ihren Fortschritt
Die folgende Abbildung zeigt das Ergebnis der Auswertung für das bereitgestellte Modell. Nachdem Sie das Modell bewertet haben, können Sie nun die Modellqualität beobachten.
Task 5: Modellüberwachungen auf Qualität überwachen
Um eine Vorschau auf diese Aufgabe zu erhalten, sehen Sie sich das Video ab 06:36 an.
Die Watson OpenScale -Qualitätsüberwachung generiert eine Reihe von Metriken zur Bewertung der Qualität Ihres Modells. Mithilfe dieser Qualitätsmetriken können Sie ermitteln, wie gut Ihr Modell Ergebnisse vorhersagt. Wenn die Auswertung, die die Holdout-Daten verwendet, abgeschlossen ist, führen Sie die folgenden Schritte aus, um die Modellqualität oder -genauigkeit zu beobachten:
Klicken Sie im Abschnitt Qualität auf das Symbol Konfigurieren
. Hier sehen Sie, dass der Qualitätsschwellenwert, der für diesen Monitor konfiguriert ist, 70% beträgt und dass die Messung der verwendeten Qualität eine Fläche unter der ROC-Kurve ist.
Klicken Sie auf das X , um das Fenster zu schließen und zur Anzeige für die Modellauswertung zurückzukehren.
Klicken Sie im Abschnitt Qualität auf das Symbol Details
, um die detaillierten Ergebnisse der Modellqualität anzuzeigen. Hier sehen Sie eine Reihe von Qualitätsmetrikberechnungen und eine Wahrheitsmatrix mit korrekten Modellentscheidungen sowie falsch-positiven und falsch-negativen Ergebnissen. Der berechnete Bereich unter der ROC-Kurve ist 0.9 oder höher, was den Schwellenwert von 0.7 überschreitet, sodass das Modell seine Qualitätsanforderung erfüllt.
Klicken Sie auf Zurück zur Zusammenfassung , um zur Anzeige "Modelldetails" zurückzukehren.
Überprüfen Sie Ihren Fortschritt
Die folgende Abbildung zeigt die Qualitätsdetails in Watson OpenScale. Nachdem Sie nun die Modellqualität beobachtet haben, können Sie die Modellfairness beobachten.
Aufgabe 6: Modellüberwachungen auf Fairness überwachen
Um eine Vorschau auf diese Aufgabe zu erhalten, sehen Sie sich das Video ab 07:20 an.
Die Fairnessüberwachung von Watson OpenScale generiert eine Gruppe von Metriken, um die Fairness Ihres Modells zu bewerten. Mithilfe der Fairnessmetriken können Sie ermitteln, ob Ihr Modell verzerrte Ergebnisse erzeugt. Führen Sie die folgenden Schritte aus, um die Modellfairness zu beobachten:
Klicken Sie im Abschnitt Fairness auf das Symbol Konfigurieren
. Hier sehen Sie, dass das Modell überprüft wird, um sicherzustellen, dass Antragsteller unabhängig von ihrem Geschlecht fair behandelt werden. In dieser überwachten Gruppe wird der Wert der Fairness für Frauen ermittelt und der Schwellenwert für Fairness beträgt mindestens 80 %. Bei der Fairnessüberwachung wird die Methode der ungleichen Auswirkung angewendet, um die Fairness zu ermitteln. Bei ungleichen Auswirkungen wird der Prozentsatz der günstigen Ergebnisse für eine überwachte Gruppe mit dem Prozentsatz der günstiger Ergebnisse für eine Referenzgruppe verglichen.
Klicken Sie auf das X , um das Fenster zu schließen und zur Anzeige für die Modellauswertung zurückzukehren.
Klicken Sie im Abschnitt Fairness auf das Symbol Details
, um die detaillierten Ergebnisse des Modells Fairness anzuzeigen. Hier sehen Sie den Prozentsatz der männlichen und weiblichen Bewerber, die automatisch genehmigt werden, zusammen mit einem Fairness-Score von über 100%, sodass die Modellleistung den erforderlichen Fairnessschwellenwert von 80% bei weitem überschreitet.
Notieren Sie sich die angegebenen Dateien. Um sicherzustellen, dass die Fairnessmetriken möglichst genau sind, verwendet Watson OpenScale die Perturbation, um die Ergebnisse zu ermitteln, bei denen nur die geschützten Attribute und die zugehörigen Modelleingaben geändert werden, während andere Features unverändert bleiben. Bei der Perturbation werden die Merkmalswerte der Referenzgruppe in die Überwachungsgruppe geändert oder umgekehrt. Diese zusätzlichen Guardrails werden zur Berechnung der Fairness verwendet, wenn das "ausgeglichene" Dataset verwendet wird. Sie haben jedoch auch die Möglichkeit, die Fairnessergebnisse nur mit Nutzdaten oder Modelltrainingsdaten anzuzeigen. Da sich das Modell fair verhält, müssen Sie für diese Metrik keine zusätzlichen Details angeben.
Klicken Sie auf Zurück zur Zusammenfassung , um zur Anzeige "Modelldetails" zurückzukehren.
Überprüfen Sie Ihren Fortschritt
In der folgenden Abbildung sind die Fairnessdetails in Watson OpenScaledargestellt. Nachdem Sie nun die Modellfairness beobachtet haben, können Sie die Modellerklärbarkeit beobachten.
Task 7: Modellüberwachungen auf Drift überwachen
Um eine Vorschau auf diese Aufgabe zu erhalten, sehen Sie sich das Video ab 08:25 an.
Die Abweichungsüberwachung von Watson OpenScale misst Änderungen in Ihren Daten im Zeitverlauf, um konsistente Ergebnisse für Ihr Modell sicherzustellen. Mithilfe von Driftauswertungen können Sie Änderungen in der Modellausgabe, die Genauigkeit Ihrer Vorhersagen und die Verteilung Ihrer Eingabedaten ermitteln. Führen Sie die folgenden Schritte aus, um die Modelldrift zu beobachten:
Klicken Sie im Abschnitt Drift auf das Symbol Konfigurieren
. Hier sehen Sie die Driftschwellenwerte. Die Ausgabedrift misst die Änderung in der Modellkonfidenzverteilung. Die Modellqualitätsdrift misst den Rückgang der Genauigkeit, indem sie die geschätzte Laufzeitgenauigkeit mit der Trainingsgenauigkeit vergleicht. Die Merkmaldrift misst die Änderung der Wertverteilung für wichtige Merkmale. Die Konfiguration zeigt auch die Anzahl der ausgewählten Features und die wichtigsten Features.
Klicken Sie auf das X , um das Fenster zu schließen und zur Anzeige für die Modellauswertung zurückzukehren.
Klicken Sie im Abschnitt Drift auf das Symbol Details
, um die detaillierten Ergebnisse der Modelldrift anzuzeigen. Mit einem Zeitreihendiagramm können Sie den Verlauf anzeigen, wie sich die einzelnen Metrikbewertungen im Zeitverlauf ändern. Niedrigere Werte sind besser, sodass in diesem Fall die Ergebnisse oberhalb der oberen Schwellenwerte liegen, die in der Konfiguration festgelegt sind. Zeigen Sie anschließend Details zur Berechnung der Scoreausgabe und der Merkmaldriften an. Sie können auch Details zu jeder Funktion anzeigen, um zu verstehen, wie sie zu den Scores beitragen, die Watson OpenScale generiert.
Klicken Sie auf Zurück zur Zusammenfassung , um zur Anzeige "Modelldetails" zurückzukehren.
Überprüfen Sie Ihren Fortschritt
Die folgende Abbildung zeigt die Driftdetails in Watson OpenScale. Nachdem Sie die Modelldrift beobachtet haben, können Sie die Erklärbarkeit des Modells beobachten.
Task 8: Modellüberwachungen auf Erklärbarkeit überwachen
Um eine Vorschau auf diese Aufgabe zu erhalten, sehen Sie sich das Video ab 09:10 an.
Es ist auch wichtig zu verstehen, wie das Modell zu seiner Entscheidung kam. Dieses Verständnis ist erforderlich, um Personen, die an der Kreditgenehmigung beteiligt sind, Entscheidungen zu erklären und sicherzustellen, dass die Modelleigentümer gültig sind. Um diese Entscheidungen zu verstehen, führen Sie die folgenden Schritte aus, um die Erklärbarkeit des Modells zu beobachten:
Klicken Sie auf die Registerkarte Transaktionen .
Wählen Sie im Diagramm einen Zeitrahmen aus, um eine Liste der Transaktionen in diesem Zeitraum anzuzeigen.
Klicken Sie für jede Transaktion unter der Spalte Aktionen auf Erklären. Hier wird Sie die ausführliche Erläuterung dieser Entscheidung angezeigt. Es werden die wichtigsten Eingaben für das Modell zusammen mit der Bedeutung der Eingaben für das Endergebnis angezeigt. Blaue Balken stellen Eingaben dar, die tendenziell die Entscheidung des Modells unterstützen, während rote Balken Eingaben darstellen, die möglicherweise zu einer anderen Entscheidung geführt haben. Beispielsweise könnte ein Antragsteller über genügend Einkommen verfügen, um anderweitig genehmigt zu werden, aber seine schlechte Kreditgeschichte und hohe Schulden führen zusammen dazu, dass das Modell den Antrag zurückweist. Sehen Sie sich diese Erläuterung an, um Informationen zur Grundlage für die Modellentscheidung zu erhalten.
Optional: Wenn Sie genauer untersuchen möchten, wie das Modell seine Entscheidung getroffen hat, klicken Sie auf die Registerkarte Untersuchen . Verwenden Sie die Funktion Untersuchen , um die Entscheidung zu analysieren, um Bereiche mit Sensitivität zu finden, in denen kleine Änderungen an einigen Eingaben zu einer anderen Entscheidung führen würden, und Sie können die Sensitivität selbst testen, indem Sie einige der tatsächlichen Eingaben mit Alternativen überschreiben, um festzustellen, ob diese Auswirkungen auf das Ergebnis haben würden. Klicken Sie auf Analyse ausführen , damit Watson OpenScale die Mindeständerungen sichtbar macht, die zum Bereitstellen eines anderen Ergebnisses erforderlich sind. Wählen Sie Nur steuerbare Features analysieren aus, um Änderungen auf die steuerbaren Features zu begrenzen.
Überprüfen Sie Ihren Fortschritt
Die folgende Abbildung zeigt die Erklärbarkeit einer Transaktion in Watson OpenScale. Sie haben festgestellt, dass das Modell korrekt ist und alle Antragsteller fair behandelt. Jetzt können Sie das Modell in die nächste Phase seines Lebenszyklus fortführen.
Nächste Schritte
Probieren Sie diese zusätzlichen Lernprogramme aus:
Weitere Ressourcen
Weitere Videos
Suchen Sie Beispieldatasets, Projekte, Modelle, Eingabeaufforderungen und Notebooks im Ressourcenhub, um praktische Erfahrungen zu sammeln:
Notizbücher, die Sie zu Ihrem Projekt hinzufügen können, um mit der Datenanalyse und der Erstellung von Modellen zu beginnen.
Projekte, die Sie importieren können und die Notizbücher, Datensätze, Eingabeaufforderungen und andere Elemente enthalten.
Datensätze, die Sie zu Ihrem Projekt hinzufügen können, um Modelle zu verfeinern, zu analysieren und zu erstellen.
Prompts, die Sie im Prompt-Labor verwenden können, um ein Gründungsmodell abzufragen.
Grundlagenmodelle, die Sie im Prompt Lab verwenden können.
Übergeordnetes Thema: Lernprogramme für den Schnelleinstieg