0 / 0
Zurück zur englischen Version der Dokumentation
Schnelleinstieg: Bereitstellung in Bereichen auswerten
Letzte Aktualisierung: 28. Nov. 2024
Schnelleinstieg: Bereitstellung in Bereichen auswerten

Sie können Modellbereitstellungen in einem Bereitstellungsbereich bewerten, um Einblicke in die Leistung Ihres Modells zu erhalten. Wenn Sie Bewertungen konfigurieren, können Sie Auswertungsergebnisse analysieren und Transaktionsdatensätze direkt in Ihren Bereichen modellieren.

Erforderliche Services
watsonx.governance
watsonx.ai

Ihr grundlegender Workflow umfasst die folgenden Tasks:

  1. Öffnen Sie ein Projekt. Projekte sind der Ort, an dem Sie gemeinsam mit anderen mit Daten arbeiten.
  2. Erstellen und speichern Sie ein Modell für maschinelles Lernen. Es gibt verschiedene Werkzeuge zur Erstellung eines Modells, z. B. ein AutoAI, ein Jupyter, ein SPSS Modeler oder eine Pipeline. Siehe Daten analysieren und mit Modellen arbeiten.
  3. Implementieren und testen Sie Ihr Modell in einem Bereitstellungsbereich.
  4. Konfigurieren Sie Bewertungen im Bereitstellungsbereich.
  5. Bewerten Sie die Leistung Ihres Modells.

Informationen zum Bewerten von Bereitstellungen in Bereichen

watsonx.governance bewertet Ihre Modellbereitstellungen, um Sie bei der Leistungsmessung und beim Verständnis Ihrer Modellvorhersagen zu unterstützen. Wenn Sie Modellevaluierungen konfigurieren, generiert watsonx.governance Metriken für jede Bewertung, die verschiedene Einblicke bieten, die Sie überprüfen können. watsonx.governance protokolliert auch die Transaktionen, die bei Auswertungen verarbeitet werden, damit Sie verstehen, wie Ihre Modellvorhersagen bestimmt werden.

Weitere Informationen zum Auswerten von Bereitstellungen in Bereichen

Weitere Informationen zu anderen Methoden für die Bewertung von Modellen in Watson OpenScale

Sehen Sie sich ein Video zur Bewertung von Bereitstellungen in Bereichen an

Video ansehen Sehen Sie sich dieses Video an, um eine Vorschau der Schritte in diesem Lernprogramm anzuzeigen. Möglicherweise gibt es geringfügige Unterschiede in der Benutzerschnittstelle, die im Video angezeigt wird. Das Video ist als Begleiter zum schriftlichen Lernprogramm gedacht.


Lernprogramm zum Auswerten von Bereitstellungen in Bereichen ausprobieren

In diesem Lernprogramm werden Sie die folgenden Tasks ausführen:





Tipps zum Durcharbeiten dieses Lernprogramms
Im Folgenden finden Sie einige Tipps für den erfolgreichen Abschluss dieses Lernprogramms.

Verwenden Sie das Videobild im Bild

Tipp: Starten Sie das Video. Wenn Sie dann durch das Lernprogramm blättern, wechselt das Video in den Bildmodus. Schließen Sie das Video-Inhaltsverzeichnis für die beste Erfahrung mit Bild-in-Bild. Sie können den Modus 'Bild im Bild' verwenden, damit Sie dem Video folgen können, während Sie die Tasks in diesem Lernprogramm ausführen. Klicken Sie auf die Zeitmarken für jede zu befolgende Task.

Die folgende animierte Abbildung zeigt, wie die Funktionen für Videobilder und Inhaltsverzeichnisse verwendet werden:

Verwendung von Bildern und Kapiteln

Hilfe in der Community anfordern

Wenn Sie Hilfe zu diesem Tutorial benötigen, können Sie eine Frage stellen oder eine Antwort im Cloud Pak for Data Community Diskussionsforum finden.

Browserfenster einrichten

Damit Sie dieses Lernprogramm optimal nutzen können, öffnen Sie Cloud Pak for Data in einem Browserfenster und lassen Sie diese Lernprogrammseite in einem anderen Browserfenster geöffnet, um einfach zwischen den beiden Anwendungen zu wechseln. Es empfiehlt sich, die beiden Browserfenster nebeneinander anzuordnen, um die weitere Arbeit zu erleichtern.

Paralleles Lernprogramm und Benutzerschnittstelle

Tipp: Wenn Sie beim Durcharbeiten dieses Lernprogramms in der Benutzerschnittstelle auf eine geführte Tour stoßen, klicken Sie auf Vielleicht später.



Aufgabe 1: Projekt auf der Basis eines Beispiels erstellen

Vorschau-Lernprogrammvideo Um eine Vorschau dieser Aufgabe zu sehen, schauen Sie sich das Video ab 00:06 an.

Sie benötigen ein Projekt, um die zum Erstellen des Modells verwendeten Assets zu speichern. Zum Beispiel die Trainingsdaten, das AutoAI oder Jupyter und das gespeicherte Modell. Führen Sie die folgenden Schritte aus, um ein Projekt auf der Basis eines Beispiels zu erstellen:

  1. Rufen Sie das Beispielprojekt Evaluate an ML model in der Ressourcendrehscheibe auf.

  2. Klicken Sie auf Projekt erstellen.

  3. Wenn Sie aufgefordert werden, das Projekt einer Cloud Object Storage-Instanz zuzuordnen, wählen Sie in der Liste eine Cloud Object Storage-Instanz aus.

  4. Klicken Sie auf Erstellen.

  5. Warten Sie, bis der Projektimport abgeschlossen ist, und klicken Sie auf Neues Projekt anzeigen , um zu überprüfen, ob das Projekt und die Assets erfolgreich erstellt wurden.

  6. Klicken Sie auf die Registerkarte Assets , um die Assets im Beispielprojekt anzuzeigen.

  7. Zeigen Sie das Vorhersagemodell für Hypothekengenehmigungan. Dieses Modell sagt voraus, ob ein Hypothekenantragsteller auf der Basis mehrerer Faktoren genehmigt werden sollte, z. B. Kredithistorie, Gesamtschulden, Einkommen, Kreditbetrag und Beschäftigungsverlauf.

  8. Kehren Sie zur Registerkarte Assets des Projekts zurück.

Prüfpunktsymbol Überprüfen Sie Ihren Fortschritt

Die folgende Abbildung zeigt das Beispielprojekt. Sie können jetzt das Lernprogramm starten.

Beispielprojekt




Aufgabe 2: Modell bereitstellen

Bevor Sie das Modell bereitstellen können, müssen Sie es in einen neuen Bereitstellungsbereich hochstufen. Bereitstellungsbereiche helfen Ihnen, unterstützende Ressourcen wie Eingabedaten und Umgebungen zu organisieren, Modelle oder Funktionen bereitzustellen, um Vorhersagen oder Lösungen zu generieren, und Bereitstellungsdetails anzuzeigen oder zu bearbeiten. Die nächste Aufgabe besteht darin, die Auswertungsdaten und das Modell in einen Bereitstellungsbereich hochzustufen und anschließend eine Onlinebereitstellung zu erstellen.

Aufgabe 2a: Auswertungsdaten herunterladen

Vorschau-Lernprogrammvideo Um eine Vorschau auf diese Aufgabe zu erhalten, sehen Sie sich das Video ab 00:34 an.

Um zu überprüfen, ob das Modell ordnungsgemäß funktioniert, benötigen Sie eine Gruppe beschrifteter Daten, die aus dem Modelltraining herausgenommen wurden. Das Beispielprojekt enthält die Auswertungsdaten (GoldenBank_HoldoutData.csv), die Sie hochladen können, um die Auswertung später im Bereitstellungsbereich durchzuführen. Führen Sie die folgenden Schritte aus, um das Dataset herunterzuladen:

  1. Klicken Sie auf das Überlaufmenü " Überlaufmenü für das Daten-Asset GoldenBank_HoldoutData.csv und wählen Sie Herunterladen.

  2. Speichern Sie den Datenbestand auf Ihrem Computer.

Task 2b: Modell in einen Bereitstellungsbereich hochstufen

Vorschau-Lernprogrammvideo Um eine Vorschau auf diese Aufgabe zu erhalten, sehen Sie sich das Video ab 00:42 an.

Bevor Sie das Modell bereitstellen können, müssen Sie das Modell in einen Bereitstellungsbereich hochstufen. Führen Sie die folgenden Schritte aus, um das Modell in einen Bereitstellungsbereich hochzustufen:

  1. Klicken Sie auf der Registerkarte Assets auf das Overflow-Menü ' Überlaufmenü für das Modell Hypothekengenehmigungsmodell und wählen Sie In den Raum befördern.

  2. Wählen Sie einen vorhandenen Bereitstellungsbereich aus. Wenn Sie keinen Bereitstellungsbereich haben:

    1. Klicken Sie auf Neuen Bereitstellungsbereich erstellen.

    2. Geben Sie den Namen ein: Golden Bank Preproduction Space

    3. Wählen Sie einen Speicherservice aus.

    4. Wählen Sie einen Machine Learning-Service aus.

    5. Wählen Sie Entwicklung für die Bereitstellungsstufeaus.

    6. Klicken Sie auf Erstellen.

    7. Schließen Sie die Benachrichtigung, wenn der Bereich bereit ist.

  3. Wählen Sie die Option Nach dem Hochstufen zum Modell im Bereich wechseln aus.

  4. Klicken Sie auf Hochstufen.

Hinweis: Wenn Sie die Option zum Wechseln zum Modell im Bereich nach der Hochstufung nicht ausgewählt haben, können Sie über das Navigationsmenü zu Bereitstellungen navigieren, um Ihren Bereitstellungsbereich und das Modell auszuwählen.

Prüfpunktsymbol Überprüfen Sie Ihren Fortschritt

Die folgende Abbildung zeigt das Modell im Bereitstellungsbereich.

Die folgende Abbildung zeigt das Modell im Bereitstellungsbereich.

Task 2c: : Modellbereitstellung erstellen

Vorschau-Lernprogrammvideo Um eine Vorschau dieser Aufgabe zu sehen, schauen Sie sich das Video ab 01:02 an.

Jetzt, da sich das Modell im Bereitstellungsbereich befindet, führen Sie die folgenden Schritte aus, um die Modellbereitstellung zu erstellen:

  1. Klicken Sie bei geöffnetem Modell auf Neue Bereitstellung.

    1. Wählen Sie Online als Bereitstellungstyp aus.

    2. Geben Sie den Namen für die Bereitstellung ein: Mortgage Approval Model Deployment

    3. Klicken Sie auf Erstellen.

  2. Klicken Sie nach Abschluss der Bereitstellung auf den Namen der Bereitstellung, um die Seite mit den Bereitstellungsdetails anzuzeigen.

  3. Überprüfen Sie den Scoring-Endpunkt, mit dem Sie programmgesteuert in Ihren Anwendungen auf dieses Modell zugreifen können.

Prüfpunktsymbol Überprüfen Sie Ihren Fortschritt

Die folgende Abbildung zeigt die Modellbereitstellung im Bereitstellungsbereich.

Die folgende Abbildung zeigt die Modellbereitstellung im Bereitstellungsbereich.




Aufgabe 3: Bewertungen in einem Bereitstellungsbereich konfigurieren

Vorschau-Lernprogrammvideo Um eine Vorschau dieser Aufgabe zu sehen, schauen Sie sich das Video ab 01:19 an.

Führen Sie die folgenden Schritte aus, um Auswertungen in diesem Bereitstellungsbereich zu konfigurieren:

Task 3a: Modelldetails konfigurieren

Zuerst. Führen Sie die folgenden Schritte aus, um die Modelldetails zu konfigurieren:

  1. Klicken Sie in der Implementierung auf die Registerkarte Auswertungen .
  2. Klicken Sie auf OpenScale -Auswertungseinstellungen konfigurieren.

Geben Sie die Modelleingabe an.

Die Trainingsdaten enthalten numerische und kategoriale Daten, die für ein binäres Klassifikationsmodell geeignet sind.

  1. Wählen Sie unter Speichertypen die Option Systemverwaltet.
  2. Wählen Sie für Datentypdie Option Numerisch/kategorialaus.
  3. Wählen Sie als Algorithmustyp Binäre Klassifikationaus.
  4. Klicken Sie auf Zusammenfassung anzeigen.
  5. Überprüfen Sie die Zusammenfassung und klicken Sie auf Speichern und weiter.

Stellen Sie eine Verbindung zu den Trainingsdaten her.

Die Trainingsdaten werden in einer Db2 Warehouse on Cloud -Instanz gespeichert.

  1. Für Konfigurationsmethode wählen Sie Manuelle Einrichtung verwenden.
  2. Klicken Sie auf Weiter.
  3. Wählen Sie für die Option Schulungsdaten die Option Datenbank oder Cloud-Speicher.
  4. Wählen Sie Db2 als Position aus.
  5. Geben Sie die Verbindungsinformationen an:
    • Hostname oder IP-Adresse: db2w-ruggyab.us-south.db2w.cloud.ibm.com
    • SSL-Port: 50001
    • Datenbank: BLUDB
    • Benutzername: CPDEMO
    • Kennwort: DataFabric@2022IBM.
  6. Klicken Sie auf Connect (Verbinden).
  7. Wählen Sie AI_MORTGAGE als Schema aus.
  8. Wählen Sie MORTGAGE_APPROVAL_TABLE für die Tabelle aus.
  9. Klicken Sie auf Weiter.

Wählen Sie die Merkmale und beschriften Sie die Spalten

Die Spalte MORTGAGE_APPROVAL gibt an, ob der Antragsteller genehmigt wurde, und die Merkmalspalten enthalten Informationen, die zur Genehmigungsentscheidung beitragen.

  1. Überprüfen Sie die folgenden Funktionsspalten:
    • GENDER
    • AUSBILDUNG
    • EMPLOYMENT_STATUS
    • MARITAL_STATUS
    • INCOME
    • APPLIEDONZEILE
    • Wohnsitz
    • YRS_AT_AKTUELLE_ADRESSE
    • YRS_MIT_AKTUELLE_ARBEITGEBER
    • ANZAHL_KARTEN
    • KREDITCARD_DEBT
    • Kredite
    • LOAN_BETRAG
    • CREDIT_SCORE
    • COMMERCIAL_CLIENT
  2. Suchen Sie nach MORTGAGE_APPROVAL, und aktivieren Sie das Kontrollkästchen Etikett/Ziel.
  3. Klicken Sie auf Weiter.

Geben Sie Details zur Modellausgabe an.

Aus den Modellausgabedaten müssen Sie die vom bereitgestellten Modell generierte Vorhersagespalte und die Wahrscheinlichkeitsspalte auswählen, die die Konfidenz des Modells in der Vorhersage enthält.

  1. Wählen Sie die entsprechenden Kontrollkästchen für die Spalten Vorhersage und Wahrscheinlichkeit aus.
  2. Klicken Sie auf Zusammenfassung anzeigen.
  3. Klicken Sie auf Fertigstellen.

Prüfpunktsymbol Überprüfen Sie Ihren Fortschritt

Die folgende Abbildung zeigt die vollständigen Modelldetails. Jetzt können Sie die Erklärbarkeit konfigurieren.

Die folgende Abbildung zeigt die vollständigen Modelldetails.

Aufgabe 3b: Erklärbarkeit konfigurieren

Vorschau-Lernprogrammvideo Eine Vorschau zu dieser Task sehen Sie, wenn Sie die Wiedergabe des Videos bei 02:58 starten.

Führen Sie anschließend die folgenden Schritte aus, um die Erklärbarkeit zu konfigurieren.

Wählen Sie die Erläuterungsmethode aus

Bei Shapley-Additiverklärungen (SHAP) werden alle möglichen Kombinationen von Eingaben verwendet, um zu ermitteln, wie jede Eingabe eine Vorhersage zu einem mittleren Vorhersagewert oder einem Konfidenzscore hin oder von diesem weg bewegt. Lokale interpretierbare modellunabhängige Erklärungen (LIME) erstellen dünn besetzte lineare Modelle, um die Bedeutung der einzelnen Features zu erkennen. SHAP ist gründlicher und LIME ist schneller.

  1. Klicken Sie auf Allgemeine Einstellungen.
  2. Klicken Sie neben Erklärungsmethode auf das Symbol Bearbeiten ' Bearbeiten.
  3. Aktivieren Sie die Option Globale SHAP-Erläuterung .
  4. Wählen Sie für Lokale Erklärungendie Option LIME (erweitert)aus.
  5. Klicken Sie auf Weiter.

Steuerbare Features auswählen

Sie können die Features angeben, die beim Ausführen einer Analyse steuerbar sein sollen, um anzuzeigen, welche Features bei der Bestimmung des Modellergebnisses am wichtigsten waren.

  1. Überprüfen Sie die Liste der steuerbaren Features und klicken Sie auf Speichern.

Globale Erklärungen konfigurieren

SHAP quantifiziert den Einfluss der einzelnen Funktionen auf das Modellergebnis. SHAP erzeugt ein Auswertungsdiagramm, das für globale Erklärungen geeignet ist, aber auch einzelne Vorhersageerklärungen generieren kann.

  1. Klicken Sie unter Erklärbarkeitauf SHAP.
  2. Klicken Sie neben Allgemeine Einstellungen auf das Symbol Bearbeiten ' Bearbeiten.
    1. Akzeptieren Sie die Standardwerte für die allgemeinen Einstellungen.
    2. Klicken Sie auf Speichern.
  3. Klicken Sie neben " Globale Erklärung auf das Symbol " Bearbeiten und dann auf " Bearbeiten".
    1. Greifen Sie auf die Standardwerte für die globale Erläuterung zu.
    2. Klicken Sie auf Speichern.

Prüfpunktsymbol Überprüfen Sie Ihren Fortschritt

Die folgende Abbildung zeigt die abgeschlossene Erklärbarkeitskonfiguration. Jetzt können Sie die Fairness konfigurieren.

Die folgende Abbildung zeigt die abgeschlossene Erklärbarkeitskonfiguration.

Task 3c: : Fairness konfigurieren

Vorschau-Lernprogrammvideo Eine Vorschau zu dieser Task sehen Sie, wenn Sie die Wiedergabe des Videos bei 04:06 starten.

Führen Sie anschließend die folgenden Schritte aus, um Fairness zu konfigurieren.

Konfigurationstyp auswählen

Sie können Fairness entweder manuell konfigurieren oder eine mit dem mitgelieferten Jupyter erstellte Konfigurationsdatei hochladen.

  1. Klicken Sie auf Fairness.
  2. Klicken Sie neben " Konfiguration" auf das Symbol " Bearbeiten" für " Bearbeiten.
  3. Wählen Sie Manuell konfigurieren für Konfigurationstypaus.
  4. Klicken Sie auf Weiter.

Wählen Sie die günstigen Ergebnisse aus.

Bei dieser Modellbereitstellung ist ein günstiges Ergebnis, wenn ein Antragsteller für eine Hypothek genehmigt wird, und ein ungünstiges Ergebnis, wenn ein Antragsteller nicht genehmigt wird.

  1. Wählen Sie in der Tabelle Positiv für den Wert 1 aus, der angibt, dass der Antragsteller für eine Hypothek genehmigt wurde.
  2. Wählen Sie in der Tabelle Negativ für den Wert 0 aus. Dies bedeutet, dass der Antragsteller nicht für eine Hypothek zugelassen ist.
  3. Klicken Sie auf Weiter.

Stichprobenumfang

Passen Sie den Stichprobenumfang basierend auf dem Dataset an, das Sie zum Auswerten des Modells verwenden.

  1. Ändern Sie Minimaler Stichprobenumfang in 100.
  2. Klicken Sie auf Weiter.

Metriken

Die Fairnessüberwachung verfolgt mehrere Fairnessmetriken. Die unterschiedlichen Auswirkungen sind das Verhältnis des Prozentsatzes günstiger Ergebnisse für die überwachte Gruppe zu dem Prozentsatz günstiger Ergebnisse für die Referenzgruppe.

  1. Überprüfen Sie die überwachten Metriken, die aus allen Daten generiert wurden, um sie auf überwachte Features anzuwenden. Überprüfen Sie anschließend die Metriken, die aus Feedbackdaten generiert wurden, um sie auf überwachte Features anzuwenden.
  2. Akzeptieren Sie die Standardmetriken und klicken Sie auf Next.
  3. Akzeptieren Sie die Standardwerte für den unteren und den oberen Schwellenwert und klicken Sie auf Next.

Wählen Sie die zu überwachenden Felder aus.

Sie möchten die Tendenz des bereitgestellten Modells überwachen, ein günstiges Ergebnis für eine Gruppe über eine andere zu erzielen. In diesem Fall möchten Sie das Modell auf geschlechtsspezifische Verzerrungen überwachen.

  1. Wählen Sie das Feld GENDER aus.
  2. Klicken Sie auf Weiter.
  3. Wenn die Werte in der Tabelle aufgelistet sind:
    1. Überprüfung weiblich: Überwacht
    2. Überprüfen Männlich: Referenz.
  4. Wenn die Werte nicht in der Tabelle aufgelistet sind:
    1. Geben Sie im Feld Angepassten Wert hinzufügen Femaleein.
    2. Klicken Sie auf Wert hinzufügen.
    3. Wählen Sie Überwacht neben Männlich in der Tabelle aus.
    4. Geben Sie im Feld Angepassten Wert hinzufügen Femaleein.
    5. Klicken Sie auf Wert hinzufügen.
    6. Wählen Sie Referenz neben Male in der Tabelle aus.
  5. Klicken Sie auf Weiter.
  6. Akzeptieren Sie den Standardschwellenwert für die überwachte Gruppe und klicken Sie auf Speichern.

Prüfpunktsymbol Überprüfen Sie Ihren Fortschritt

Die folgende Abbildung zeigt die abgeschlossene Fairnesskonfiguration. Jetzt können Sie die Qualität konfigurieren.

Die folgende Abbildung zeigt die abgeschlossene Fairnesskonfiguration.

Aufgabe 3d: Qualität konfigurieren

Vorschau-Lernprogrammvideo Um eine Vorschau dieser Aufgabe zu sehen, schauen Sie sich das Video ab 05:17 an.

Führen Sie anschließend die folgenden Schritte aus, um die Qualität zu konfigurieren. Die Qualitätsüberwachung bewertet, wie gut Ihr Modell präzise Ergebnisse vorhersagt.

  1. Klicken Sie auf Qualität.
  2. Klicken Sie neben den Qualitätsschwellenwerten auf das Symbol " Bearbeiten bearbeiten.
  3. Ändern Sie den Wert für Bereich unter ROC in 0.7.
  4. Klicken Sie auf Weiter.
  5. Ändern Sie die Mindestgröße für Stichproben in 100.
  6. Klicken Sie auf Speichern.

Prüfpunktsymbol Überprüfen Sie Ihren Fortschritt

Die folgende Abbildung zeigt die abgeschlossene Qualitätskonfiguration. Jetzt können Sie die Drift konfigurieren.

Die folgende Abbildung zeigt die abgeschlossene Qualitätskonfiguration.

Aufgabe 3e: Drift konfigurieren

Vorschau-Lernprogrammvideo Um eine Vorschau dieser Aufgabe zu sehen, schauen Sie sich das Video ab 05:42 an.

Führen Sie schließlich die folgenden Schritte aus, um die Drift zu konfigurieren. Die Driftüberwachung überprüft, ob Ihre Bereitstellungen aktuell sind und sich konsistent verhalten.

  1. Klicken Sie auf Abweichung v2.
  2. Klicken Sie neben " Driftarchiv berechnen" auf das Bearbeitungssymbol " Bearbeiten.
  3. Wählen Sie für die Berechnungsoptiondie Option In Watson OpenScaleaus. Diese Option weist Watson OpenScale an, eine Analyse Ihrer Trainingsdaten durchzuführen, um die Datenverteilungen der Features zu bestimmen.
  4. Klicken Sie auf Weiter.
  5. Akzeptieren Sie die Standardwerte für obere Schwellenwerte und klicken Sie auf Next.
  6. Akzeptieren Sie die Standardwerte für den Stichprobenumfang und klicken Sie auf Speichern.
  7. Klicken Sie auf das X , um das Fenster zu schließen, und warten Sie, bis Watson OpenScale die Überwachungen abruft.

Prüfpunktsymbol Überprüfen Sie Ihren Fortschritt

Die folgende Abbildung zeigt die abgeschlossene Konfiguration im Bereitstellungsbereich. Nun können Sie die Modellimplementierung überwachen.

Die folgende Abbildung zeigt die abgeschlossene Konfiguration im Bereitstellungsbereich.




Aufgabe 4: Modell auswerten

Vorschau-Lernprogrammvideo Um eine Vorschau dieser Aufgabe zu sehen, schauen Sie sich das Video ab 06:22 an.

Führen Sie die folgenden Schritte aus, um Holdout-Daten zum Auswerten des Modells zu verwenden:

  1. Wählen Sie im Menü Aktionen die Option Jetzt auswerten aus.

  2. Nehmen Sie in der Liste der Importoptionen Ihre Auswahl aus CSV-Datei vor.

  3. Ziehen Sie die Datendatei Golden Bank_HoldoutData.csv, die Sie aus dem Projekt heruntergeladen haben, in die Seitenanzeige.

  4. Klicken Sie auf Hochladen und auswerten und warten Sie, bis die Auswertung abgeschlossen ist.

  5. Nach Abschluss der Auswertung wird die Anzahl der ausgeführten Tests, die Anzahl der bestandenen Tests und die Anzahl der fehlgeschlagenen Tests angezeigt. Blättern Sie zu den Ergebnissen für Fairness, Qualität, Abweichungund Globale Erläuterung.

Prüfpunktsymbol Überprüfen Sie Ihren Fortschritt

Die folgende Abbildung zeigt das Ergebnis der Auswertung für das bereitgestellte Modell. Nachdem Sie das Modell bewertet haben, können Sie nun die Modellqualität beobachten.

ausgewertetes Modell




Task 5: Modellüberwachungen auf Qualität überwachen

Vorschau-Lernprogrammvideo Um eine Vorschau dieser Aufgabe zu sehen, schauen Sie sich das Video ab 06:36 an.

Die Watson OpenScale -Qualitätsüberwachung generiert eine Reihe von Metriken zur Bewertung der Qualität Ihres Modells. Mithilfe dieser Qualitätsmetriken können Sie ermitteln, wie gut Ihr Modell Ergebnisse vorhersagt. Wenn die Auswertung, die die Holdout-Daten verwendet, abgeschlossen ist, führen Sie die folgenden Schritte aus, um die Modellqualität oder -genauigkeit zu beobachten:

  1. Klicken Sie im Abschnitt " Qualität auf das Symbol " Konfigurieren Sie und dann auf " Konfigurieren". Hier sehen Sie, dass der Qualitätsschwellenwert, der für diesen Monitor konfiguriert ist, 70% beträgt und dass die Messung der verwendeten Qualität eine Fläche unter der ROC-Kurve ist.

  2. Klicken Sie auf das X , um das Fenster zu schließen und zur Anzeige für die Modellauswertung zurückzukehren.

  3. Klicken Sie im Abschnitt Qualität auf das Detailsymbol ' Details zu, um die detaillierten Ergebnisse der Modellqualität anzuzeigen. Hier sehen Sie eine Reihe von Qualitätsmetrikberechnungen und eine Wahrheitsmatrix mit korrekten Modellentscheidungen sowie falsch-positiven und falsch-negativen Ergebnissen. Der berechnete Bereich unter der ROC-Kurve ist 0.9 oder höher, was den Schwellenwert von 0.7 überschreitet, sodass das Modell seine Qualitätsanforderung erfüllt.

  4. Klicken Sie auf Zurück zur Zusammenfassung , um zur Anzeige "Modelldetails" zurückzukehren.

Prüfpunktsymbol Überprüfen Sie Ihren Fortschritt

Die folgende Abbildung zeigt die Qualitätsdetails in Watson OpenScale. Nachdem Sie nun die Modellqualität beobachtet haben, können Sie die Modellfairness beobachten.

Qualität




Aufgabe 6: Modellüberwachungen auf Fairness überwachen

Vorschau-Lernprogrammvideo Um eine Vorschau auf diese Aufgabe zu erhalten, sehen Sie sich das Video ab 07:20 an.

Die Fairnessüberwachung von Watson OpenScale generiert eine Gruppe von Metriken, um die Fairness Ihres Modells zu bewerten. Mithilfe der Fairnessmetriken können Sie ermitteln, ob Ihr Modell verzerrte Ergebnisse erzeugt. Führen Sie die folgenden Schritte aus, um die Modellfairness zu beobachten:

  1. Klicken Sie im Abschnitt " Fairness" auf das Symbol " Konfigurieren für "Konfigurieren". Hier sehen Sie, dass das Modell überprüft wird, um sicherzustellen, dass Antragsteller unabhängig von ihrem Geschlecht fair behandelt werden. In dieser überwachten Gruppe wird der Wert der Fairness für Frauen ermittelt und der Schwellenwert für Fairness beträgt mindestens 80 %. Bei der Fairnessüberwachung wird die Methode der ungleichen Auswirkung angewendet, um die Fairness zu ermitteln. Bei ungleichen Auswirkungen wird der Prozentsatz der günstigen Ergebnisse für eine überwachte Gruppe mit dem Prozentsatz der günstiger Ergebnisse für eine Referenzgruppe verglichen.

  2. Klicken Sie auf das X , um das Fenster zu schließen und zur Anzeige für die Modellauswertung zurückzukehren.

  3. Klicken Sie im Abschnitt " Fairness" auf das Detailsymbol " Details zu, um die detaillierten Ergebnisse der Modellfairness anzuzeigen. Hier sehen Sie den Prozentsatz der männlichen und weiblichen Bewerber, die automatisch genehmigt werden, zusammen mit einem Fairness-Score von über 100%, sodass die Modellleistung den erforderlichen Fairnessschwellenwert von 80% bei weitem überschreitet.

  4. Notieren Sie sich die angegebenen Dateien. Um sicherzustellen, dass die Fairnessmetriken möglichst genau sind, verwendet Watson OpenScale die Perturbation, um die Ergebnisse zu ermitteln, bei denen nur die geschützten Attribute und die zugehörigen Modelleingaben geändert werden, während andere Features unverändert bleiben. Bei der Perturbation werden die Merkmalswerte der Referenzgruppe in die Überwachungsgruppe geändert oder umgekehrt. Diese zusätzlichen Guardrails werden zur Berechnung der Fairness verwendet, wenn das "ausgeglichene" Dataset verwendet wird. Sie haben jedoch auch die Möglichkeit, die Fairnessergebnisse nur mit Nutzdaten oder Modelltrainingsdaten anzuzeigen. Da sich das Modell fair verhält, müssen Sie für diese Metrik keine zusätzlichen Details angeben.

    Fairnessdatasets

  5. Klicken Sie auf Zurück zur Zusammenfassung , um zur Anzeige "Modelldetails" zurückzukehren.

Prüfpunktsymbol Überprüfen Sie Ihren Fortschritt

In der folgenden Abbildung sind die Fairnessdetails in Watson OpenScaledargestellt. Nachdem Sie nun die Modellfairness beobachtet haben, können Sie die Modellerklärbarkeit beobachten.

Fairness




Task 7: Modellüberwachungen auf Drift überwachen

Vorschau-Lernprogrammvideo Um eine Vorschau auf diese Aufgabe zu erhalten, sehen Sie sich das Video ab 08:25 an.

Die Abweichungsüberwachung von Watson OpenScale misst Änderungen in Ihren Daten im Zeitverlauf, um konsistente Ergebnisse für Ihr Modell sicherzustellen. Mithilfe von Driftauswertungen können Sie Änderungen in der Modellausgabe, die Genauigkeit Ihrer Vorhersagen und die Verteilung Ihrer Eingabedaten ermitteln. Führen Sie die folgenden Schritte aus, um die Modelldrift zu beobachten:

  1. Klicken Sie im Abschnitt " Drift" auf das Symbol " Konfigurieren für "Konfigurieren". Hier sehen Sie die Driftschwellenwerte. Die Ausgabedrift misst die Änderung in der Modellkonfidenzverteilung. Die Modellqualitätsdrift misst den Rückgang der Genauigkeit, indem sie die geschätzte Laufzeitgenauigkeit mit der Trainingsgenauigkeit vergleicht. Die Merkmaldrift misst die Änderung der Wertverteilung für wichtige Merkmale. Die Konfiguration zeigt auch die Anzahl der ausgewählten Features und die wichtigsten Features.

  2. Klicken Sie auf das X , um das Fenster zu schließen und zur Anzeige für die Modellauswertung zurückzukehren.

  3. Klicken Sie im Abschnitt " Drift" auf das Detailsymbol " Details zu, um die detaillierten Ergebnisse der Modelldrift anzuzeigen. Mit einem Zeitreihendiagramm können Sie den Verlauf anzeigen, wie sich die einzelnen Metrikbewertungen im Zeitverlauf ändern. Niedrigere Werte sind besser, sodass in diesem Fall die Ergebnisse oberhalb der oberen Schwellenwerte liegen, die in der Konfiguration festgelegt sind. Zeigen Sie anschließend Details zur Berechnung der Scoreausgabe und der Merkmaldriften an. Sie können auch Details zu jeder Funktion anzeigen, um zu verstehen, wie sie zu den Scores beitragen, die Watson OpenScale generiert.

  4. Klicken Sie auf Zurück zur Zusammenfassung , um zur Anzeige "Modelldetails" zurückzukehren.

Prüfpunktsymbol Überprüfen Sie Ihren Fortschritt

Die folgende Abbildung zeigt die Driftdetails in Watson OpenScale. Nachdem Sie die Modelldrift beobachtet haben, können Sie die Erklärbarkeit des Modells beobachten.

Abweichung




Task 8: Modellüberwachungen auf Erklärbarkeit überwachen

Vorschau-Lernprogrammvideo Um eine Vorschau dieser Aufgabe zu sehen, schauen Sie sich das Video ab 09:10 an.

Es ist auch wichtig zu verstehen, wie das Modell zu seiner Entscheidung kam. Dieses Verständnis ist erforderlich, um Personen, die an der Kreditgenehmigung beteiligt sind, Entscheidungen zu erklären und sicherzustellen, dass die Modelleigentümer gültig sind. Um diese Entscheidungen zu verstehen, führen Sie die folgenden Schritte aus, um die Erklärbarkeit des Modells zu beobachten:

  1. Klicken Sie auf die Registerkarte Transaktionen .

  2. Wählen Sie im Diagramm einen Zeitrahmen aus, um eine Liste der Transaktionen in diesem Zeitraum anzuzeigen.

  3. Klicken Sie für jede Transaktion unter der Spalte Aktionen auf Erklären. Hier wird Sie die ausführliche Erläuterung dieser Entscheidung angezeigt. Es werden die wichtigsten Eingaben für das Modell zusammen mit der Bedeutung der Eingaben für das Endergebnis angezeigt. Blaue Balken stellen Eingaben dar, die tendenziell die Entscheidung des Modells unterstützen, während rote Balken Eingaben darstellen, die möglicherweise zu einer anderen Entscheidung geführt haben. Beispielsweise könnte ein Antragsteller über genügend Einkommen verfügen, um anderweitig genehmigt zu werden, aber seine schlechte Kreditgeschichte und hohe Schulden führen zusammen dazu, dass das Modell den Antrag zurückweist. Sehen Sie sich diese Erläuterung an, um Informationen zur Grundlage für die Modellentscheidung zu erhalten.

  4. Optional: Wenn Sie genauer untersuchen möchten, wie das Modell seine Entscheidung getroffen hat, klicken Sie auf die Registerkarte Untersuchen . Verwenden Sie die Funktion Untersuchen , um die Entscheidung zu analysieren, um Bereiche mit Sensitivität zu finden, in denen kleine Änderungen an einigen Eingaben zu einer anderen Entscheidung führen würden, und Sie können die Sensitivität selbst testen, indem Sie einige der tatsächlichen Eingaben mit Alternativen überschreiben, um festzustellen, ob diese Auswirkungen auf das Ergebnis haben würden. Klicken Sie auf Analyse ausführen , damit Watson OpenScale die Mindeständerungen sichtbar macht, die zum Bereitstellen eines anderen Ergebnisses erforderlich sind. Wählen Sie Nur steuerbare Features analysieren aus, um Änderungen auf die steuerbaren Features zu begrenzen.

Prüfpunktsymbol Überprüfen Sie Ihren Fortschritt

Die folgende Abbildung zeigt die Erklärbarkeit einer Transaktion in Watson OpenScale. Sie haben festgestellt, dass das Modell korrekt ist und alle Antragsteller fair behandelt. Jetzt können Sie das Modell in die nächste Phase seines Lebenszyklus fortführen.

Erklärbarkeit



Nächste Schritte

Probieren Sie diese zusätzlichen Lernprogramme aus:

Zusätzliche Ressourcen

Übergeordnetes Thema: Lernprogramme für den Schnelleinstieg

Generative KI-Suche und -Antwort
Diese Antworten werden von einem großen Sprachmodell in watsonx.ai basierend auf dem Inhalt der Produktdokumentation generiert. Weitere Informationen