0 / 0
Zurück zur englischen Version der Dokumentation
Lernprogramm zu Data Science und MLOps: Orchestrierung einer KI-Pipeline mit Modellüberwachung

Lernprogramm zu Data Science und MLOps: Orchestrierung einer KI-Pipeline mit Modellüberwachung

Verwenden Sie dieses Lernprogramm, um eine End-to-End-Pipeline zu erstellen, um präzise, vorverarbeitete und aktuelle Daten bereitzustellen, die in einer externen Datenquelle für den Anwendungsfall von Data Science und MLOps gespeichert sind. Ihr Ziel ist es, mithilfe von Watson Pipelines diesen End-to-End-Workflow zu koordinieren, um automatisierte, konsistente und reproduzierbare Ergebnisse zu generieren. Die Pipeline verwendet Data Refinery und AutoAI, die verschiedene Aspekte für einen Modellerstellungsprozess wie Feature-Engineering und Hyperparameteroptimierung automatisieren. AutoAI ordnet Kandidatenalgorithmen an und wählt dann das beste Modell aus.

Schnelleinstieg: Wenn das Beispielprojekt für dieses Lernprogramm noch nicht erstellt wurde, greifen Sie auf das Data Science-und MLOps-Beispielprojekt im Ressourcenhub zu.

Die Geschichte für das Lernprogramm ist, dass die Golden Bank ihr Geschäft erweitern möchte, indem sie spezielle Low-Rate-Hypothekenverlängerungen für Online-Anwendungen anbietet. Online-Anwendungen erweitern die Kundenreichweite der Bank und reduzieren die Kosten der Antragsbearbeitung. Um Kreditgeber bei der Entscheidungsfindung zu unterstützen, verwendet das Team Watson Pipelines , um eine Datenpipeline zu erstellen, die aktuelle Daten zu allen Hypothekenantragstellern bereitstellt. Die Daten werden in Db2 Warehousegespeichert. Sie müssen die Daten vorbereiten, da sie möglicherweise unvollständig, veraltet und möglicherweise verschlüsselt oder aufgrund von Datenschutz-und Souveränitätsrichtlinien nicht zugänglich sind. Anschließend erstellt das Team ein Hypothekengenehmigungsmodell aus vertrauenswürdigen Daten und implementiert und testet das Modell in einer Vorproduktionsumgebung. Schließlich verwendet das Team ein Notebook, um Watson OpenScale -Überwachungen zu konfigurieren. Anschließend werden die Überwachungen in Watson OpenScale ausgewertet und beobachtet, um sicherzustellen, dass das Modell alle Antragsteller fair behandelt.

Die folgende animierte Abbildung zeigt eine kurze Vorschau dessen, was Sie am Ende dieses Lernprogramms erreichen werden. Sie werden eine Pipeline bearbeiten und ausführen, um ein Modell für maschinelles Lernen zu erstellen und bereitzustellen, ein Notebook ausführen, um Überwachungen zu konfigurieren, und das Modell validieren. Klicken Sie auf das Bild, um ein größeres Bild anzuzeigen.

Animiertes Bild

Vorschau des Lernprogramms anzeigen

In diesem Lernprogramm werden Sie die folgenden Tasks ausführen:

Wenn Sie weiterhin sehen möchten, wie das Modell mit Watson OpenScaleüberwacht wird, führen Sie die Tasks 6-10 aus:

Video ansehen Sehen Sie sich dieses Video an, um eine Vorschau der Schritte in diesem Lernprogramm anzuzeigen. Möglicherweise gibt es geringfügige Unterschiede in der Benutzerschnittstelle, die im Video angezeigt wird. Das Video ist als Begleiter zum schriftlichen Lernprogramm gedacht.

Dieses Video bietet eine visuelle Methode zum Erlernen der Konzepte und Tasks in dieser Dokumentation.




  • Verwenden Sie das Videobild im Bild

    Tipp: Starten Sie das Video. Wenn Sie dann durch das Lernprogramm blättern, wechselt das Video in den Bildmodus. Schließen Sie das Video-Inhaltsverzeichnis für die beste Erfahrung mit Bild-in-Bild. Sie können den Modus "Bild im Bild" verwenden, damit Sie dem Video folgen können, während Sie die Tasks in diesem Lernprogramm ausführen. Klicken Sie auf die Zeitmarken für jede zu befolgende Task.

    Die folgende animierte Abbildung zeigt, wie die Funktionen für Videobilder und Inhaltsverzeichnisse verwendet werden:

    Verwendung von Bildern und Kapiteln

    Hilfe in der Community anfordern

    Wenn Sie Hilfe bei diesem Lernprogramm benötigen, können Sie eine Frage stellen oder eine Antwort im Diskussionsforum derCloud Pak for Data Communityfinden.

    Browserfenster einrichten

    Damit Sie dieses Lernprogramm optimal nutzen können, öffnen Sie Cloud Pak for Data in einem Browserfenster und lassen Sie diese Lernprogrammseite in einem anderen Browserfenster geöffnet, um einfach zwischen den beiden Anwendungen zu wechseln. Es empfiehlt sich, die beiden Browserfenster nebeneinander anzuordnen, um die weitere Arbeit zu erleichtern.

    Paralleles Lernprogramm und Benutzerschnittstelle

    Tipp: Wenn Sie beim Durcharbeiten dieses Lernprogramms in der Benutzerschnittstelle auf eine geführte Tour stoßen, klicken Sie auf Vielleicht später.

    Zurück zum Anfang

  • Für Cloud Pak for Data as a Service anmelden

    Sie müssen sich für Cloud Pak for Data as a Service registrieren und die erforderlichen Services für den Anwendungsfall der Datenintegration bereitstellen.

    • Wenn Sie über ein Cloud Pak for Data as a Service -Konto verfügen, können Sie mit diesem Lernprogramm beginnen. Wenn Sie über ein Lite-Plankonto verfügen, kann nur ein Benutzer pro Konto dieses Lernprogramm ausführen.
    • Wenn Sie noch kein Cloud Pak for Data as a Service -Konto haben, registrieren Sie sich.

    Erforderliche bereitgestellte Services überprüfen

    Vorschau-Lernprogrammvideo Eine Vorschau zu dieser Task sehen Sie, wenn Sie die Wiedergabe des Videos bei 00:50 starten.

    Führen Sie die folgenden Schritte aus, um die erforderlichen Services zu überprüfen oder bereitzustellen:

    1. Wählen Sie im Navigationsmenü Cloud Pak for Data Navigationsmenüdie Optionen Services > Serviceinstanzen.

    2. Verwenden Sie die Dropdown-Liste Produkt , um festzustellen, ob eine vorhandene Watson Studio -Serviceinstanz vorhanden ist.

    3. Wenn Sie eine Watson Studio-Serviceinstanz erstellen müssen, klicken Sie auf Service hinzufügen.

      1. Wählen Sie Watson Studioaus.

      2. Wählen Sie den Plan Lite aus.

      3. Klicken Sie auf Erstellen.

    4. Warten Sie, bis der Watson Studio -Service bereitgestellt wurde. Dies kann einige Minuten dauern.

    5. Wiederholen Sie diese Schritte, um die folgenden zusätzlichen Services zu überprüfen oder bereitzustellen:

      • Watson Machine Learning
      • Cloud Object Storage
      • watsonx.governance -wenn Sie das bereitgestellte Modell überwachen möchten

    Symbol für Prüfpunkt Fortschritt überprüfen

    Die folgende Abbildung zeigt die bereitgestellten Serviceinstanzen:

    Bereitgestellte Services

    Beispielprojekt erstellen

    Vorschau-Lernprogrammvideo Um eine Vorschau dieser Aufgabe anzuzeigen, sehen Sie sich das Video ab 01:27an.

    Wenn Sie das Beispielprojekt für dieses Lernprogramm bereits haben, überspringen Sie diese Task. Andernfalls führen Sie die folgenden Schritte aus:

    1. Greifen Sie auf das Data Science and MLOps-Beispielprojekt im Ressourcenhub zu.

    2. Klicken Sie auf Projekt erstellen.

    3. Wenn Sie aufgefordert werden, das Projekt einer Cloud Object Storage-Instanz zuzuordnen, wählen Sie in der Liste eine Cloud Object Storage-Instanz aus.

    4. Klicken Sie auf Erstellen.

    5. Warten Sie, bis der Projektimport abgeschlossen ist, und klicken Sie auf Neues Projekt anzeigen , um zu überprüfen, ob das Projekt und die Assets erfolgreich erstellt wurden.

    6. Klicken Sie auf die Registerkarte Assets , um die Assets für dieses Lernprogramm anzuzeigen.

    Symbol für Prüfpunkt Fortschritt überprüfen

    Die folgende Abbildung zeigt die Registerkarte 'Assets' im Beispielprojekt. Sie können jetzt das Lernprogramm starten.

    Beispielprojekt

    Hinweis: Sie sehen möglicherweise eine geführte Tour mit den Lernprogrammen, die in diesem Anwendungsfall enthalten sind. Die Links in der geführten Tour öffnen diese Lernprogrammanweisungen.

    Ordnen Sie den Service Watson Machine Learning dem Beispielprojekt zu

    Vorschau-Lernprogrammvideo Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 02:17an.

    Sie verwenden Watson Machine Learning , um das Modell zu erstellen und bereitzustellen. Führen Sie die folgenden Schritte aus, um Ihre Watson Machine Learning -Serviceinstanz dem Beispielprojekt zuzuordnen.

    1. Klicken Sie im Projekt Data Science and MLOps auf das Register Verwalten .

    2. Klicken Sie auf die Seite Services & Integrationen .

    3. Klicken Sie auf Service zuordnen.

    4. Aktivieren Sie das Kontrollkästchen neben Ihrer Watson Machine Learning -Serviceinstanz.

    5. Klicken Sie auf Zuordnen.

    6. Klicken Sie auf Abbrechen , um zur Seite Services und Integrationen zurückzukehren.

    Symbol für Prüfpunkt Fortschritt überprüfen

    Die folgende Abbildung zeigt die Seite Services und Integrationen mit dem aufgelisteten Watson Machine Learning -Service. Sie können das Beispielprojekt jetzt erstellen.

    Service dem Projekt zuordnen


    Zurück zum Anfang


  • Vorschau-Lernprogrammvideo Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 02:37an.

    Das Beispielprojekt enthält mehrere Assets, einschließlich einer Verbindung, einer Datendefinition, einem Data Refinery -Ablauf und einer Pipeline. Führen Sie die folgenden Schritte aus, um diese Assets anzuzeigen:

    1. Klicken Sie auf die Registerkarte Assets im Projekt Data Science and MLOps und zeigen Sie dann Alle Assetsan.

    2. Zeigen Sie die Liste der Datenassets an, die im Data Refinery -Ablauf und in der Pipeline verwendet werden. Diese Assets werden in einer Data Fabric Trial- Db2 Warehouse -Verbindung im Schema AI_MORTGAGE gespeichert. Klicken Sie auf Assets importierenund navigieren Sie dann zu Data Fabric Trial- Db2 Warehouse > AI_MORTGAGE. Die folgende Abbildung zeigt die Assets aus dieser Verbindung:

      Db2 Warehouse -Tabellen

    3. Der Data Refinery -Ablauf Mortgage_Data_Approvals_flow integriert Daten zu jedem Hypothekenantragsteller. Die integrierten Daten umfassen personenbezogene Daten, einschließlich ihrer Antragsdetails, Scorewerte, den Status als gewerblicher Käufer und schließlich die Preise für das von jedem Antragsteller gewählte Zuhause. Anschließend erstellt der Flow eine sequenzielle Datei mit dem Namen Mortgage_Data_with_Approvals_DS.csv in dem Projekt, das die verknüpften Daten enthält. Die folgende Abbildung zeigt den Data Refinery -Ablauf Mortgage_Data_Approvals_flow :

      Genehmigungsablauf für Hypothekendaten

    Symbol für Prüfpunkt Fortschritt überprüfen

    Die folgende Abbildung zeigt alle Assets im Beispielprojekt. Sie können nun die Pipeline im Beispielprojekt erkunden.

    Die folgende Abbildung zeigt alle Assets im Beispielprojekt.


    Zurück zum Anfang


  • Vorschau-Lernprogrammvideo Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 03:25an.

    Das Beispielprojekt enthält eine Watson -Pipeline, die die folgenden Tasks automatisiert:

    • Führen Sie einen vorhandenen Job Data Refinery aus.

    • Erstellen Sie ein AutoAI -Experiment.

    • Führen Sie das Experiment AutoAI aus und speichern Sie das Modell mit der besten Leistung, das die resultierende Ausgabedatei des Jobs Data Refinery als Trainingsdaten verwendet.

    • Erstellen Sie einen Bereitstellungsbereich.

    • Stufen Sie das gespeicherte Modell in den Bereitstellungsbereich hoch.

    Führen Sie die folgenden Schritte aus, um die Pipeline zu erkunden:

    1. Zeigen Sie auf der Registerkarte Assets im Projekt Data Science und MLOps Alle Assetsan.

    2. Klicken Sie auf Pipeline für Hypothekengenehmigung-Data Science , um die Pipeline zu öffnen.

    3. Doppelklicken Sie auf den Job Integrate mortgage approval data Data Refinery , der verschiedene Tabellen aus der Db2 Warehouse on Cloud -Verbindung in einem zusammenhängenden gekennzeichneten Dataset kombiniert, das als Trainingsdaten für das AutoAI -Experiment verwendet wird. Klicken Sie auf Abbrechen , um zur Pipeline zurückzukehren.

    4. Klicken Sie auf die Bedingung Status prüfen und wählen Sie Bearbeitenaus. Diese Bedingung ist ein Entscheidungspunkt in der Pipeline, um den Abschluss des Jobs Data Refinery mit dem Wert Abgeschlossen oder Mit Warnungen abgeschlossenzu bestätigen. Klicken Sie auf Abbrechen , um zur Pipeline zurückzukehren.

    5. Doppelklicken Sie auf den Knoten AutoAI -Experiment erstellen , um die Einstellungen anzuzeigen. Dieser Knoten erstellt ein AutoAI -Experiment mit den Einstellungen.

      1. Überprüfen Sie die Werte für die folgenden Einstellungen:

        • Name des AutoAI-Experiments

        • Bereich

        • Vorhersagetyp

        • Vorhersagespalte

        • Positive Klasse

        • Aufteilungsverhältnis der Trainingsdaten

        • Einzuschließende Algorithmen

        • Zu verwendende Algorithmen

        • Metrik optimieren

      2. Klicken Sie auf Abbrechen , um die Einstellungen zu schließen.

    6. Doppelklicken Sie auf den Knoten AutoAI -Experiment ausführen , um die Einstellungen anzuzeigen. Dieser Knoten führt das Experiment AutoAI aus, das vom Knoten AutoAI -Experiment erstellen erstellt wird, der die Ausgabe des Jobs Integrieren Mortgage Approval Data Refinery als Trainingsdaten verwendet.

      1. Überprüfen Sie die Werte für die folgenden Einstellungen:

        • AutoAI-Experiment

        • Trainingsdatenassets

        • Modellnamenspräfix

      2. Klicken Sie auf Abbrechen , um die Einstellungen zu schließen.

    7. Klicken Sie zwischen den Knoten Experiment AutoAI ausführen und Bereitstellungsbereich erstellen auf Möchten Sie das Modell bereitstellen? und wählen Sie Bearbeitenaus. Der Wert True für diese Bedingung ist ein Entscheidungspunkt in der Pipeline, um mit der Erstellung des Bereitstellungsbereichs fortzufahren. Klicken Sie auf Abbrechen , um zur Pipeline zurückzukehren.

    8. Doppelklicken Sie auf den Knoten Create Deployment Space , um die Einstellungen zu aktualisieren. Dieser Knoten erstellt einen neuen Bereitstellungsbereich mit dem angegebenen Namen und erfordert Eingaben für Ihre Cloud Object Storage -und Watson Machine Learning -Services.

      1. Überprüfen Sie den Wert für die Einstellung Neuer Bereichsname .

      2. Wählen Sie für das Feld CRN für neue COS-Bereichsinstanz Ihre Cloud Object Storage -Instanz aus der Liste aus.

      3. Wählen Sie für das Feld Neuer Bereich WML Instanz-CRN Ihre Watson Machine Learning -Instanz aus der Liste aus.

      4. Klicken Sie auf Speichern.

    9. Doppelklicken Sie auf den Knoten Modell in Bereitstellungsbereich hochstufen , um die Einstellungen anzuzeigen. Dieser Knoten stuft das beste Modell vom Knoten AutoAI -Experiment ausführen in den Bereitstellungsbereich hoch, der vom Knoten Bereitstellungsbereich erstellen erstellt wurde.

      1. Überprüfen Sie die Werte für die folgenden Einstellungen:

        • Quellenassets

        • Ziel

      2. Klicken Sie auf Abbrechen , um die Einstellungen zu schließen.

    Symbol für Prüfpunkt Fortschritt überprüfen

    Die folgende Abbildung zeigt die ursprüngliche Pipeline. Sie können jetzt die Pipeline bearbeiten, um einen Knoten hinzuzufügen.

    Ursprüngliche Pipeline


    Zurück zum Anfang


  • Vorschau-Lernprogrammvideo Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 05:41an.

    Die Pipeline erstellt das Modell, erstellt einen Bereitstellungsbereich und stuft ihn anschließend in einen Bereitstellungsbereich hoch. Sie müssen einen Knoten hinzufügen, um eine Onlinebereitstellung zu erstellen. Führen Sie die folgenden Schritte aus, um die Pipeline zu bearbeiten, um die Erstellung einer Onlinebereitstellung zu automatisieren:

    1. Fügen Sie den Knoten Create Online Deployment (Onlinebereitstellung erstellen) zum Erstellungsbereich hinzu:

      1. Erweitern Sie den Abschnitt Erstellen in der Knotenpalette.

      2. Ziehen Sie den Knoten Onlinebereitstellung erstellen in den Erstellungsbereich und legen Sie den Knoten nach dem Knoten Modell in Bereitstellungsbereich hochstufen ab.

    2. Bewegen Sie den Mauszeiger über den Knoten Modell in Bereitstellungsbereich hochstufen , um den Pfeil anzuzeigen. Verbinden Sie den Pfeil mit dem Knoten Create online deployment .

      Hinweis: Die Knotennamen in Ihrer Pipeline können sich von dem folgenden animierten Bild unterscheiden.

      Pipeline-Verbindungsknoten

    3. Verbinden Sie den Kommentar Create online deployment for promoted model mit dem Knoten Create online deployment , indem Sie den Kreis im Kommentarfeld mit dem Knoten verbinden.

      Hinweis: Die Knotennamen in Ihrer Pipeline können sich von dem folgenden animierten Bild unterscheiden.

      Pipeline-Kommentar

    4. Doppelklicken Sie auf den Knoten Create online deployment , um die Einstellungen anzuzeigen.

    5. Ändern Sie den Knotennamen in Create Online Deployment.

    6. Klicken Sie neben ML-Assetim Menü auf Aus einem anderen Knoten auswählen .

      Aus einem anderen Knoten-ML-Asset auswählen

    7. Wählen Sie in der Liste den Knoten Modell in Bereitstellungsbereich hochstufen aus. Die Knoten-ID winning_model ist ausgewählt.

    8. Geben Sie für Neuer Implementierungsname Mortgage approval model deployment - Data Scienceein.

    9. Wählen Sie für Erstellungsmodusdie Option Überschreibenaus.

    10. Klicken Sie auf Speichern , um die Einstellungen des Knotens Onlinebereitstellung erstellen zu speichern.

    Symbol für Prüfpunkt Fortschritt überprüfen

    Die folgende Abbildung zeigt die abgeschlossene Pipeline. Sie können die Pipeline jetzt ausführen.

    Abgeschlossene Pipeline


    Zurück zum Anfang


  • Vorschau-Lernprogrammvideo Für eine Vorschau dieser Task sehen Sie sich das Video ab 06:57an.

    Führen Sie nach Abschluss der Pipeline die folgenden Schritte aus, um die Pipeline auszuführen:

    1. Klicken Sie in der Symbolleiste auf Pipeline ausführen > Testlauf.

    2. Wählen Sie auf der Seite Pipelineparameter definieren True für die Bereitstellung aus.

      • Wenn Truefestgelegt ist, überprüft die Pipeline das bereitgestellte Modell und bewertet das Modell.

      • Wenn der Wert auf Falsegesetzt ist, überprüft die Pipeline, ob das Modell im Projekt vom Experiment AutoAI erstellt wurde, und überprüft die Modellinformationen und Trainingsmetriken.

    3. Geben Sie einen API-Schlüssel an, wenn Sie zum ersten Mal eine Pipeline ausführen. Pipeline-Assets verwenden Ihren persönlichen IBM Cloud -API-Schlüssel, um Operationen ohne Unterbrechung sicher auszuführen.

      • Wenn Sie einen vorhandenen API-Schlüssel haben, klicken Sie auf Vorhandenen API-Schlüssel verwenden, fügen Sie den API-Schlüssel ein und klicken Sie auf Speichern.

      • Wenn kein API-Schlüssel vorhanden ist, klicken Sie auf Neuen API-Schlüssel generieren, geben Sie einen Namen an und klicken Sie auf Speichern. Kopieren Sie den API-Schlüssel und speichern Sie den API-Schlüssel zur späteren Verwendung. Klicken Sie anschließend auf Schließen.

    4. Klicken Sie auf Ausführen , um die Ausführung der Pipeline zu starten.

    5. Überwachen Sie den Fortschritt der Pipeline.

      1. Blättern Sie durch konsolidierte Protokolle, während die Pipeline ausgeführt wird. Die Testausführung kann bis zu 10 Minuten dauern.

      2. Wählen Sie nach Abschluss jeder Operation den Knoten für diese Operation im Erstellungsbereich aus.

      3. Zeigen Sie auf der Registerkarte Node Inspector die Details der Operation an.

      4. Klicken Sie auf die Registerkarte Knotenausgabe , um eine Zusammenfassung der Ausgabe für jede Knotenoperation anzuzeigen.

    Symbol für Prüfpunkt Fortschritt überprüfen

    Die folgende Abbildung zeigt die Pipeline nach Abschluss der Testausführung. Sie können nun die von der Pipeline erstellten Assets überprüfen.

    Ausführung der Pipeline abgeschlossen


    Zurück zum Anfang


  • Vorschau-Lernprogrammvideo Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 08:58an.

    Die Pipeline hat verschiedene Assets erstellt. Führen Sie die folgenden Schritte aus, um die Assets anzuzeigen:

    1. Klicken Sie im Navigationspfad auf den Projektnamen Data Science und MLOps , um zum Projekt zurückzukehren.

      Navigationspfad

    2. Zeigen Sie auf der Registerkarte Assets Alle Assetsan.

    3. Datenassets anzeigen.

      1. Klicken Sie auf das Datenasset Mortgage_Data_with_Approvals_DS.csv . Der Job Data Refinery hat dieses Asset erstellt.

      2. Klicken Sie im Navigationspfad auf den Projektnamen Data Science and MLOps , um zur Registerkarte Assets zurückzukehren.

    4. Zeigen Sie das Modell an.

      1. Klicken Sie auf das Machine Learning-Modellasset, das mit ds_mortgage_approval_best_modelbeginnt. Das Experiment AutoAI hat mehrere Modellkandidaten generiert und dieses als das beste Modell ausgewählt. Speichern Sie diesen Modellnamen in einer Textdatei. Der Modellname ist erforderlich, um die Watson OpenScale -Überwachungen in der nächsten Task zu konfigurieren.

      2. Blättern Sie durch die Modellinformationen.

      3. Klicken Sie im Navigationspfad auf den Projektnamen Data Science and MLOps , um zur Registerkarte Assets zurückzukehren.

    5. Klicken Sie auf die Registerkarte Jobs im Projekt, um Informationen über die Data Refinery -und Pipeline-Jobs anzuzeigen.

    6. Öffnen Sie den Bereitstellungsbereich, den Sie mit der Pipeline erstellt haben.

      1. Wählen Sie im Navigationsmenü Cloud Pak for Data Navigationsmenüdie Option Bereitstellungen.

      2. Klicken Sie auf die Registerkarte Bereiche .

      3. Klicken Sie auf den Bereitstellungsbereich Mortgage approval-Data Science and MLOps .

    7. Klicken Sie auf die Registerkarte Assets und sehen Sie sich das bereitgestellte Modell beginnend mit ds_mortgage_approval_best_modelan.

    8. Klicken Sie auf die Registerkarte Bereitstellungen.

    9. Klicken Sie auf Mortgage approval model deployment-Data Science , um die Bereitstellung anzuzeigen.

      1. Zeigen Sie auf der Registerkarte API-Referenz API-Endpunkt und Code-Snippets an.

      2. Klicken Sie auf die Registerkarte Test.

      3. Klicken Sie die Registerkarte JSON-Eingabe an und ersetzen Sie den Beispieltext durch den folgenden JSON-Text.

        {
          "input_data": [
                  {
                          "fields": [
                                  "ID",
                                  "NAME",
                                  "STREET_ADDRESS",
                                  "CITY",
                                  "STATE",
                                  "STATE_CODE",
                                  "ZIP_CODE",
                                  "EMAIL_ADDRESS",
                                  "PHONE_NUMBER",
                                  "GENDER",
                                  "SOCIAL_SECURITY_NUMBER",
                                  "EDUCATION",
                                  "EMPLOYMENT_STATUS",
                                  "MARITAL_STATUS",
                                  "INCOME",
                                  "APPLIEDONLINE",
                                  "RESIDENCE",
                                  "YRS_AT_CURRENT_ADDRESS",
                                  "YRS_WITH_CURRENT_EMPLOYER",
                                  "NUMBER_OF_CARDS",
                                  "CREDITCARD_DEBT",
                                  "LOANS",
                                  "LOAN_AMOUNT",
                                  "CREDIT_SCORE",
                                  "CRM_ID",
                                  "COMMERCIAL_CLIENT",
                                  "COMM_FRAUD_INV",
                                  "FORM_ID",
                                  "PROPERTY_CITY",
                                  "PROPERTY_STATE",
                                  "PROPERTY_VALUE",
                                  "AVG_PRICE"
                          ],
                          "values": [
                                  [
                                          null,
                                          null,
                                          null,
                                          null,
                                          null,
                                          null,
                                          null,
                                          null,
                                          null,
                                          null,
                                          null,
                                          "Bachelor",
                                          "Employed",
                                          null,
                                          144306,
                                          null,
                                          "Owner Occupier",
                                          15,
                                          19,
                                          2,
                                          7995,
                                          1,
                                          1483220,
                                          437,
                                          null,
                                          false,
                                          false,
                                          null,
                                          null,
                                          null,
                                          111563,
                                          null
                                  ],
                                  [
                                          null,
                                          null,
                                          null,
                                          null,
                                          null,
                                          null,
                                          null,
                                          null,
                                          null,
                                          null,
                                          null,
                                          "High School",
                                          "Employed",
                                          null,
                                          45283,
                                          null,
                                          "Private Renting",
                                          11,
                                          13,
                                          1,
                                          1232,
                                          1,
                                          7638,
                                          706,
                                          null,
                                          false,
                                          false,
                                          null,
                                          null,
                                          null,
                                          54262,
                                          null
                                  ]
                          ]
                  }
          ]
        }
        
      4. Klicken Sie auf Vorhersage. Die Ergebnisse zeigen, dass der erste Antragsteller nicht genehmigt wird und der zweite Antragsteller genehmigt wird.

    Symbol für Prüfpunkt Fortschritt überprüfen

    Die folgende Abbildung zeigt die Ergebnisse des Tests. Die Konfidenzscores für Ihren Test können sich von den Scores in der Abbildung unterscheiden.

    Vorhersagen der Testergebnisse


    Zurück zum Anfang


  • Vorschau-Lernprogrammvideo Eine Vorschau zu dieser Task sehen Sie, wenn Sie die Wiedergabe des Videos bei 10:40 starten.

    Jetzt können Sie das im Beispielprojekt enthaltene Notebook ausführen. Das Notebook enthält den Code für Folgendes:

    • Modell und Bereitstellungen abrufen.
    • Konfigurieren Sie Watson OpenScale.
    • Erstellen Sie den Service-Provider und das Abonnement für Ihren Machine Learning-Service.
    • Konfigurieren Sie die Qualitätsüberwachung.
    • Konfigurieren Sie die Fairnessüberwachung.
    • Konfigurieren Sie die Erklärbarkeit.

    Führen Sie die folgenden Schritte aus, um das Notebook auszuführen, das im Beispielprojekt enthalten ist. Nehmen Sie sich etwas Zeit, um die Kommentare im Notebook zu lesen, die den Code in jeder Zelle erklären.

    1. Wählen Sie im Navigationsmenü Cloud Pak for Data Navigationsmenü Projekte > Alle Projekte anzeigenaus.

    2. Klicken Sie auf den Projektnamen Data Science and MLOps .

    3. Klicken Sie auf die Registerkarte Assets und navigieren Sie dann zu Notebooks.
      Linke Navigation

    4. Öffnen Sie das Notebook monitor-wml-model-with-watson-openscale-pipeline .

    5. Klicken Sie auf das Symbol Bearbeiten Bearbeitungssymbol , um das Notebook in den Bearbeitungsmodus zu versetzen.

    6. Wenn Sie ein Projekt aus dem Ressourcenhub importieren, enthält die erste Zelle des Notebooks das Projektzugriffstoken. Wenn dieses Notebook keine erste Zelle mit einem Projektzugriffstoken enthält, müssen Sie das Token generieren. Wählen Sie im Menü Mehr die Option Projekttoken einfügen aus. Diese Aktion fügt eine neue Zelle als erste Zelle im Notebook ein, die das Projekttoken enthält.

    7. Geben Sie Ihren API-Schlüssel im Abschnitt Geben Sie Ihren IBM Cloud -API-Schlüssel an an. Sie müssen Ihre Berechtigungsnachweise mithilfe eines API-Schlüssels an die API Watson Machine Learning übergeben. Wenn Sie noch keinen gespeicherten API-Schlüssel haben, führen Sie diese Schritte aus, um einen API-Schlüssel zu erstellen.
      Vorschau-Lernprogrammvideo Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 04:55an.

      1. Rufen Sie die API-Schlüsselseite der IBM Cloud -Konsoleauf.

      2. Klicken Sie auf IBM Cloud-API-Schlüssel erstellen. Wenn Sie über vorhandene API-Schlüssel verfügen, kann die Schaltfläche Erstellenlauten.

      3. Geben Sie einen Namen und eine Beschreibung ein.

      4. Klicken Sie auf Erstellen.

      5. Kopieren Sie den API-Schlüssel.

      6. Laden Sie den API-Schlüssel für die zukünftige Verwendung herunter.

      7. Kehren Sie zum Notebook zurück und fügen Sie Ihren API-Schlüssel in das Feld ibmcloud_api_key ein.

    8. Im Abschnitt 3. Modell und Bereitstellungfügen Sie für die Variable Modellname den Modellnamen ein, den Sie in der vorherigen Aufgabe in einer Textdatei gespeichert haben. Der Bereichsname ( space_name ) und der Implementierungsname ( deployment_name ) werden automatisch mit den in der Pipeline angegebenen Namen gefüllt.

    9. Klicken Sie auf Zelle > Alle ausführen , um alle Zellen im Notebook auszuführen. Alternativ können Sie die Notebookzelle nach Zelle ausführen, um jede Zelle und ihre Ausgabe zu untersuchen.

    10. Überwachen Sie die Fortschrittszelle nach Zelle und beachten Sie dabei, dass sich der Stern "In [*]" in eine Zahl ändert, z. B. "In [1]". Die Ausführung des Notebooks dauert 1 bis 3 Minuten.

    11. Verwenden Sie die folgenden Tipps, wenn beim Ausführen des Notebooks Fehler auftreten:

      • Klicken Sie auf Kernel > Restart & Clear Output , um den Kernel erneut zu starten, und führen Sie dann das Notizbuch erneut aus.
      • Stellen Sie sicher, dass Sie den Bereitstellungsnamen ohne führende oder nachgestellte Leerzeichen kopiert und eingefügt haben.

    Symbol für Prüfpunkt Fortschritt überprüfen

    Die folgende Abbildung zeigt das Notebook, wenn die Ausführung abgeschlossen ist. Das Notebook hat das Modell im Projekt gespeichert. Sie können das Modell jetzt auswerten.

    Ausführung des Notebooks abgeschlossen


    Zurück zum Anfang


  • Vorschau-Lernprogrammvideo Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 13:35an.

    Führen Sie die folgenden Schritte aus, um das Modell in Watson OpenScaleauszuwerten:

    1. Klicken Sie im Navigationspfad auf das Projekt Data Science and MLOps .
      Navigationspfad

    2. Erweitern Sie auf der Registerkarte Assets den Assettyp Daten und klicken Sie dann auf Datenassets.

    3. Klicken Sie auf das Menü Überlaufmenü Überlauf für das Datenasset ' mortgage_sample_test_data.csv ' und wählen Sie Herunterladenaus. Um zu prüfen, ob das Modell wie erforderlich funktioniert, benötigen Sie eine Gruppe beschrifteter Daten, die aus dem Modelltraining ausgeschlossen wurden. Diese CSV-Datei enthält diese ausgeschlossenen Daten.

    4. Starten Sie Watson OpenScale.

      1. Wählen Sie im Navigationsmenü Cloud Pak for Data Navigationsmenüdie Optionen Services > Serviceinstanzen.

      2. Klicken Sie auf den Namen Ihrer Watson OpenScale -Instanz. Melden Sie sich bei entsprechender Aufforderung mit denselben Berechtigungsnachweisen an, die Sie für die Registrierung für Cloud Pak for Dataverwendet haben.

      3. Klicken Sie auf der Seite für die Watson OpenScale-Serviceinstanz auf Anwendung starten.

    5. Klicken Sie im Insights-Dashboardauf die Kachel Mortgage approval model deployment-Data Science .

    6. Wählen Sie im Menü Aktionen die Option Jetzt auswerten aus.

    7. Nehmen Sie in der Liste der Importoptionen Ihre Auswahl aus CSV-Datei vor.

    8. Ziehen Sie die Datendatei mortgage_sample_test_data.csv , die Sie aus dem Projekt heruntergeladen haben, in die seitliche Anzeige.

    9. Klicken Sie auf Hochladen und auswerten. Die Auswertung kann einige Minuten dauern.

    Symbol für Prüfpunkt Fortschritt überprüfen

    Die folgende Abbildung zeigt das Ergebnis der Auswertung für das bereitgestellte Modell in Watson OpenScale. Nachdem Sie das Modell bewertet haben, können Sie nun die Modellqualität beobachten.

    ausgewertetes Modell


    Zurück zum Anfang


  • Vorschau-Lernprogrammvideo Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 14:44an.

    Die Watson OpenScale -Qualitätsüberwachung generiert eine Reihe von Metriken zur Bewertung der Qualität Ihres Modells. Mithilfe dieser Qualitätsmetriken können Sie ermitteln, wie gut Ihr Modell Ergebnisse vorhersagt. Wenn die Auswertung, die die Holdout-Daten verwendet, abgeschlossen ist, führen Sie die folgenden Schritte aus, um die Modellqualität oder -genauigkeit zu beobachten:

    1. Klicken Sie im linken Navigationsfenster auf das Symbol Insights-Dashboard Insights-Dashboard .

    2. Suchen Sie die Kachel Mortgage approval model deployment-Data Science . Beachten Sie, dass die Bereitstellung 0 Probleme hat und dass sowohl bei Quality -als auch bei Fairness -Tests keine Fehler generiert wurden. Dies bedeutet, dass das Modell die erforderlichen Schwellenwerte erreicht hat.

      Hinweis: Möglicherweise muss das Dashboard aktualisiert werden, damit die Aktualisierungen nach der Auswertung angezeigt werden.
    3. Klicken Sie auf die Kachel Mortgage approval model deployment-Data Science , um weitere Details anzuzeigen.

    4. Klicken Sie im Abschnitt Qualität auf das Symbol Konfigurieren Konfigurieren . Hier sehen Sie, dass der Qualitätsschwellenwert, der für diesen Monitor konfiguriert ist, 70% beträgt und dass die Messung der verwendeten Qualität eine Fläche unter der ROC-Kurve ist.

    5. Klicken Sie auf Zur Modellzusammenfassung wechseln , um zur Anzeige mit den Modelldetails zurückzukehren.

    6. Klicken Sie im Abschnitt Qualität auf das Rechtspfeilsymbol Rechtspfeil , um die detaillierten Ergebnisse der Modellqualität anzuzeigen. Hier sehen Sie eine Reihe von Qualitätsmetrikberechnungen und eine Wahrheitsmatrix mit korrekten Modellentscheidungen sowie falsch-positiven und falsch-negativen Ergebnissen. Der berechnete Bereich unter der ROC-Kurve ist 0.9 oder höher, was den Schwellenwert von 0.7 überschreitet, sodass das Modell seine Qualitätsanforderung erfüllt.

    7. Klicken Sie im Navigationspfad auf Mortgage approval model deployment-Data Science , um zur Anzeige mit den Modelldetails zurückzukehren.

    Symbol für Prüfpunkt Fortschritt überprüfen

    Die folgende Abbildung zeigt die Qualitätsdetails in Watson OpenScale. Die Qualitätsscores können variieren. Nachdem Sie nun die Modellqualität beobachtet haben, können Sie die Modellfairness beobachten.

    Qualität


    Zurück zum Anfang


  • Vorschau-Lernprogrammvideo Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 15:59an.

    Die Fairnessüberwachung von Watson OpenScale generiert eine Gruppe von Metriken, um die Fairness Ihres Modells zu bewerten. Mithilfe der Fairnessmetriken können Sie ermitteln, ob Ihr Modell verzerrte Ergebnisse erzeugt. Führen Sie die folgenden Schritte aus, um die Modellfairness zu beobachten:

    1. Klicken Sie im Abschnitt Fairness auf Konfigurieren Konfigurieren . Hier sehen Sie, dass das Modell überprüft wird, um sicherzustellen, dass Antragsteller unabhängig von ihrem Geschlecht fair behandelt werden. Frauen werden als überwachte Gruppe identifiziert, für die Fairness gemessen wird, und der Schwellenwert für Fairness beträgt mindestens 80%. Bei der Fairnessüberwachung wird die Methode der ungleichen Auswirkung angewendet, um die Fairness zu ermitteln. Bei ungleichen Auswirkungen wird der Prozentsatz der günstigen Ergebnisse für eine überwachte Gruppe mit dem Prozentsatz der günstiger Ergebnisse für eine Referenzgruppe verglichen.

    2. Klicken Sie auf Zur Modellzusammenfassung , um zur Anzeige mit den Modelldetails zurückzukehren.

    3. Klicken Sie im Abschnitt Fairness auf das Rechtspfeilsymbol Rechtspfeil , um die detaillierten Ergebnisse der Modellfairness anzuzeigen. Hier sehen Sie den Prozentsatz männlicher und weiblicher Bewerber, die automatisch genehmigt werden, zusammen mit einem Fairness-Score von etwa 100%, sodass die Modellleistung den erforderlichen Fairnessschwellenwert von 80% weit überschreitet.

    4. Beachten Sie die angegebenen Dateien in der Liste Datei . Um sicherzustellen, dass die Fairnessmetriken möglichst genau sind, verwendet Watson OpenScale die Perturbation, um die Ergebnisse zu ermitteln, bei denen nur die geschützten Attribute und die zugehörigen Modelleingaben geändert werden, während andere Features unverändert bleiben.Bei der Perturbation werden die Merkmalswerte der Referenzgruppe in die Überwachungsgruppe geändert oder umgekehrt. Diese zusätzlichen Guardrails werden zur Berechnung der Fairness verwendet, wenn das "ausgeglichene" Dataset verwendet wird, aber Sie können auch die Fairnessergebnisse anzeigen, indem Sie nur Nutzdaten oder Modelltrainingsdaten verwenden. Da sich das Modell fair verhält, müssen Sie nicht auf weitere Details für diese Metrik eingehen.
      Fairnessdatasets

    5. Klicken Sie auf das Navigationspfad Mortgage approval model deployment-Data Science , um zur Anzeige mit den Modelldetails zurückzukehren.

    Symbol für Prüfpunkt Fortschritt überprüfen

    In der folgenden Abbildung sind die Fairnessdetails in Watson OpenScaledargestellt. Nachdem Sie nun die Modellfairness beobachtet haben, können Sie die Modellerklärbarkeit beobachten.

    Fairness


    Zurück zum Anfang


  • Vorschau-Lernprogrammvideo Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 17:42an.

    Sie müssen verstehen, wie das Modell zu seiner Entscheidung kam. Dieses Verständnis ist erforderlich, um Personen, die an der Kreditgenehmigung beteiligt sind, Entscheidungen zu erklären und sicherzustellen, dass die Modelleigentümer gültig sind. Um diese Entscheidungen zu verstehen, führen Sie die folgenden Schritte aus, um die Erklärbarkeit des Modells zu beobachten:

    1. Klicken Sie im linken Navigationsfenster auf das Symbol Transaktion erklären Symbol 'Transaktion erklären' .

    2. Wählen Sie Implementierung des Hypothekengenehmigungsmodells-Data Science aus, um eine Liste der Transaktionen anzuzeigen.

    3. Klicken Sie für jede Transaktion unter der Spalte Aktionen auf Erklären. Hier wird Sie die ausführliche Erläuterung dieser Entscheidung angezeigt.Es werden die wichtigsten Eingaben für das Modell zusammen mit der Bedeutung der Eingaben für das Endergebnis angezeigt. Blaue Balken stellen Eingaben dar, die tendenziell die Entscheidung des Modells unterstützen, während rote Balken Eingaben darstellen, die möglicherweise zu einer anderen Entscheidung geführt haben. Beispielsweise könnte ein Antragsteller über genügend Einkommen verfügen, um anderweitig genehmigt zu werden, aber seine schlechte Kreditgeschichte und hohe Schulden führen zusammen dazu, dass das Modell den Antrag zurückweist.Sehen Sie sich diese Erläuterung an, um Informationen zur Grundlage für die Modellentscheidung zu erhalten.

    4. Optional: Wenn Sie genauer untersuchen möchten, wie das Modell seine Entscheidung getroffen hat, klicken Sie auf die Registerkarte Untersuchen . Verwenden Sie die Funktion Untersuchen , um die Entscheidung zu analysieren, um Sensitivitätsbereiche zu finden, in denen kleine Änderungen an einigen Eingaben zu einer anderen Entscheidung führen würden. Sie können die Sensitivität selbst testen, indem Sie einige der tatsächlichen Eingaben mit Alternativen überschreiben, um festzustellen, ob sich diese auf das Ergebnis auswirken würden.

    Symbol für Prüfpunkt Fortschritt überprüfen

    Die folgende Abbildung zeigt die Erklärbarkeit einer Transaktion in Watson OpenScale. Sie haben festgestellt, dass das Modell korrekt ist und alle Antragsteller fair behandelt. Jetzt können Sie das Modell in die nächste Phase seines Lebenszyklus fortführen.

    Erklärbarkeit


    Zurück zum Anfang
Das Team der
Golden Bank hat mithilfe von Watson Pipelines eine Datenpipeline erstellt, die aktuelle Daten zu allen Hypothekenantragstellern und ein Modell für maschinelles Lernen bereitstellt, das Kreditgeber für die Entscheidungsfindung verwenden können. Anschließend nutzte das Team Watson OpenScale , um sicherzustellen, dass das Modell alle Antragsteller fair behandelt.

Bereinigung (optional)

Wenn Sie dieses Lernprogramm wiederholen möchten, löschen Sie die folgenden Artefakte.

Artefakt Vorgehensweise zum Löschen
Mortgage approval model deployment-Data Science im Bereitstellungsbereich Mortgage approval-Data Science and MLOps Bereitstellung löschen
Bereitstellungsbereich für Hypothekengenehmigung-Data Science und MLOps Bereitstellungsbereich löschen
Beispielprojekt für Data Science und MLOps Projekt löschen

Nächste Schritte

Weitere Informationen

Übergeordnetes Thema: Lernprogramme für Anwendungsfälle

Generative KI-Suche und -Antwort
Diese Antworten werden von einem großen Sprachmodell in watsonx.ai basierend auf dem Inhalt der Produktdokumentation generiert. Weitere Informationen