Lernprogramm zur Datenintegration: Eine KI-Pipeline mit Datenintegration koordinieren

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 02:26an.

Das Beispielprojekt enthält mehrere Assets einschließlich einer Verbindung, einer Datendefinition, zwei DataStage -Flows und einer Pipeline. Führen Sie die folgenden Schritte aus, um diese Assets anzuzeigen:

1. Klicken Sie auf die Registerkarte Assets im Projekt für die Orchestrierung einer KI-Pipeline und zeigen Sie dann Alle Assetsan.

2. Alle Datenassets, die in den DataStage -Flows und der Pipeline verwendet werden, werden in einer Data Fabric Trial- Db2 Warehouse -Verbindung im Schema AI_MORTGAGE gespeichert. Die folgende Abbildung zeigt die Assets aus dieser Verbindung:

   

3. Der DataStage -Ablauf Hypothekendaten integrieren integriert Daten zu jedem Hypothekenantragsteller, einschließlich personenbezogener Daten, mit ihren Anwendungsdetails, Scorewerten, dem Status als gewerblicher Käufer und schließlich den Preisen der ausgewählten Wohnung jedes Antragstellers und erstellt anschließend eine sequenzielle Datei mit dem Namen Mortgage_Data.csv in dem Projekt, das die verknüpften Daten enthält. Die folgende Abbildung zeigt den DataStage -Ablauf Hypothekendaten integrieren .

   Tipp: Wenn keine DataStage -Abläufe angezeigt werden, kehren Sie zurück, um Ihre Serviceinstanzen anzuzeigen und zu überprüfen, ob Ihre DataStage -Instanz erfolgreich bereitgestellt wurde. Siehe Bereitstellung der erforderlichen Services.

   

4. Der DataStage -Ablauf Hypothekengenehmigungen integrieren verwendet die Ausgabe des ersten DataStage -Ablaufs (Mortgage_Data.csv) und reichert die Daten weiter an, indem Informationen zu jeder Hypothekenanwendungsgenehmigung integriert werden. Die Ergebnisdatei wird im Projekt mit dem Namen Mortgage_Data_with_Approvals.csvgespeichert. Die folgende Abbildung zeigt den DataStage -Ablauf Hypothekengenehmigungen integrieren :

   

5. Die Datendefinition Definition_Mortgage_Data für das Mortgage_Data_with_Approvals.csv -Datenasset wird vom DataStage -Ablauf Hypothekengenehmigungen integrieren erstellt. Die folgende Abbildung zeigt die Datendefinition:

   

Eine Vorschau zu dieser Task sehen Sie, wenn Sie die Wiedergabe des Videos bei 04:00 starten.

Das Beispielprojekt enthält Orchestrierungs-Pipelines, die die folgenden Tasks automatisieren:

• Zwei vorhandene DataStage -Jobs ausführen

• Erstellen Sie ein AutoAI -Experiment.

• Führen Sie das Experiment AutoAI aus und speichern Sie das Modell mit der besten Leistung, das die resultierende Ausgabedatei aus dem DataStage -Job als Trainingsdaten verwendet.

• Erstellen Sie einen Bereitstellungsbereich.

• Stufen Sie das gespeicherte Modell in den Bereitstellungsbereich hoch.

Führen Sie die folgenden Schritte aus, um die Pipeline zu erkunden:

1. Zeigen Sie auf der Registerkarte Assets im Orchestrate-AI-Pipeline-Projekt Alle Assetsan.

2. Klicken Sie auf Pipeline für Hypothekengenehmigung , um die Pipeline zu öffnen.

3. Im Anfangsabschnitt der Pipeline werden zwei DataStage -Jobs (Hypothekendaten integrieren und Hypothekengenehmigungen integrieren) nacheinander ausgeführt, um verschiedene Tabellen aus der Db2 Warehouse on Cloud -Verbindung in einem zusammenhängenden beschrifteten Dataset zu kombinieren, das als Trainingsdaten für das AutoAI -Experiment verwendet wird.

4. Doppelklicken Sie auf den Knoten Status prüfen , um die Bedingung anzuzeigen. Diese Bedingung ist ein Entscheidungspunkt in der Pipeline, um den Abschluss des ersten DataStage -Jobs mit dem Wert Abgeschlossen oder Mit Warnungen abgeschlossenzu bestätigen. Klicken Sie auf Abbrechen , um zur Pipeline zurückzukehren.

5. Doppelklicken Sie auf den Knoten AutoAI -Experiment erstellen , um die Einstellungen anzuzeigen. Dieser Knoten erstellt ein AutoAI -Experiment mit den Einstellungen.

   1. Überprüfen Sie die Werte für die folgenden Einstellungen:

      • Name des AutoAI-Experiments

      • Bereich

      • Vorhersagetyp

      • Vorhersagespalte

      • Positive Klasse

      • Aufteilungsverhältnis der Trainingsdaten

      • Einzuschließende Algorithmen

      • Zu verwendende Algorithmen

      • Metrik optimieren

   2. Klicken Sie auf Abbrechen , um die Einstellungen zu schließen.

6. Doppelklicken Sie auf den Knoten AutoAI -Experiment ausführen , um die Einstellungen anzuzeigen. Dieser Knoten führt das Experiment AutoAI aus, das über den Knoten Create AutoAI Experiment erstellt wird, der die Ausgabe des Jobs Integration Mortgage Approval DataStage als Trainingsdaten verwendet.

   1. Überprüfen Sie die Werte für die folgenden Einstellungen:

      • AutoAI-Experiment

      • Trainingsdatenassets

      • Modellnamenspräfix

   2. Klicken Sie auf Abbrechen , um die Einstellungen zu schließen.

7. Doppelklicken Sie zwischen den Knoten Experiment AutoAI ausführen und Bereitstellungsbereich erstellen auf Möchten Sie das Modell bereitstellen? um die Bedingung anzuzeigen. Der Wert True für diese Bedingung ist ein Entscheidungspunkt in der Pipeline, um mit der Erstellung des Bereitstellungsbereichs fortzufahren. Klicken Sie auf Abbrechen , um zur Pipeline zurückzukehren.

8. Doppelklicken Sie auf den Knoten Bereitstellungsbereich erstellen , um die Einstellungen anzuzeigen. Dieser Knoten erstellt einen neuen Bereitstellungsbereich mit dem angegebenen Namen und erfordert Eingaben für Ihre Cloud Object Storage -und Watson Machine Learning -Services.

   1. Überprüfen Sie den Wert für die Einstellung Neuer Bereichsname .

   2. Wählen Sie für das Feld CRN für neue COS-Bereichsinstanz Ihre Cloud Object Storage -Instanz aus der Liste aus.

   3. Wählen Sie für das Feld CRN für neue WML-Bereichsinstanz Ihre Watson Machine Learning -Instanz aus der Liste aus.

   4. Klicken Sie auf Speichern.

9. Doppelklicken Sie auf den Knoten Modell in Bereitstellungsbereich hochstufen , um die Einstellungen anzuzeigen. Dieser Knoten stuft das beste Modell vom Knoten AutoAI -Experiment ausführen in den Bereitstellungsbereich hoch, der vom Knoten Bereitstellungsbereich erstellen erstellt wurde.

   1. Überprüfen Sie die Werte für die folgenden Einstellungen:

      • Quellenassets

      • Ziel

   2. Klicken Sie auf Abbrechen , um die Einstellungen zu schließen.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 06:23an.

Die Pipeline erstellt das Modell, erstellt einen Bereitstellungsbereich und stuft ihn anschließend in einen Bereitstellungsbereich hoch. Sie müssen einen Knoten hinzufügen, um eine Onlinebereitstellung zu erstellen. Führen Sie die folgenden Schritte aus, um die Pipeline zu bearbeiten, um die Erstellung einer Onlinebereitstellung zu automatisieren:

1. Fügen Sie den Knoten Create Online Deployment (Onlinebereitstellung erstellen) zum Erstellungsbereich hinzu:

   1. Erweitern Sie den Abschnitt Erstellen in der Knotenpalette.

   2. Ziehen Sie den Knoten Onlinebereitstellung erstellen in den Erstellungsbereich und legen Sie den Knoten nach dem Knoten Modell in Bereitstellungsbereich hochstufen ab.

2. Bewegen Sie den Mauszeiger über den Knoten Modell in Bereitstellungsbereich hochstufen , um den Pfeil anzuzeigen. Verbinden Sie den Pfeil mit dem Knoten Create online deployment .

   Hinweis: Die Knotennamen in Ihrer Pipeline können sich von dem folgenden animierten Bild unterscheiden.

   

3. Verbinden Sie den Kommentar Create online deployment for promoted model mit dem Knoten Create online deployment , indem Sie den Kreis im Kommentarfeld mit dem Knoten verbinden.

   Hinweis: Die Knotennamen in Ihrer Pipeline können sich von dem folgenden animierten Bild unterscheiden.

   

4. Doppelklicken Sie auf den Knoten Create online deployment , um die Einstellungen anzuzeigen.

5. Ändern Sie den Knotennamen in Create Online Deployment.

6. Klicken Sie neben ML-Assetim Menü auf Aus einem anderen Knoten auswählen .

   

7. Wählen Sie in der Liste den Knoten Modell in Bereitstellungsbereich hochstufen aus. Die Knoten-ID winning_model ist ausgewählt.

8. Geben Sie für Neuer Implementierungsname mortgage approval model deploymentein.

9. Wählen Sie für Erstellungsmodusdie Option Überschreibenaus.

10. Klicken Sie auf Speichern , um die Einstellungen des Knotens Onlinebereitstellung erstellen zu speichern.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 07:38an.

Führen Sie nach Abschluss der Pipeline die folgenden Schritte aus, um die Pipeline auszuführen:

1. Klicken Sie in der Symbolleiste auf Pipeline ausführen > Testlauf.

2. Wählen Sie auf der Seite Pipelineparameter definieren True für die Bereitstellung aus.

   • Wenn Truefestgelegt ist, überprüft die Pipeline das bereitgestellte Modell und bewertet das Modell.

   • Wenn der Wert auf Falsegesetzt ist, überprüft die Pipeline, ob das Modell im Projekt vom Experiment AutoAI erstellt wurde, und überprüft die Modellinformationen und Trainingsmetriken.

3. Wenn Sie zum ersten Mal eine Pipeline ausführen, werden Sie aufgefordert, einen API-Schlüssel anzugeben. Pipeline-Assets verwenden Ihren persönlichen IBM Cloud -API-Schlüssel, um Operationen ohne Unterbrechung sicher auszuführen.

   • Wenn Sie einen vorhandenen API-Schlüssel haben, klicken Sie auf Vorhandenen API-Schlüssel verwenden, fügen Sie den API-Schlüssel ein und klicken Sie auf Speichern.

   • Wenn kein API-Schlüssel vorhanden ist, klicken Sie auf Neuen API-Schlüssel generieren, geben Sie einen Namen an und klicken Sie auf Speichern. Kopieren Sie den API-Schlüssel und speichern Sie den API-Schlüssel zur späteren Verwendung. Klicken Sie anschließend auf Schließen.

4. Klicken Sie auf Ausführen , um die Ausführung der Pipeline zu starten.

5. Blättern Sie durch konsolidierte Protokolle, während die Pipeline ausgeführt wird. Die Testausführung kann bis zu 10 Minuten dauern.

6. Wählen Sie nach Abschluss jeder Operation den Knoten für diese Operation im Erstellungsbereich aus.

7. Zeigen Sie auf der Registerkarte Node Inspector die Details der Operation an.

8. Klicken Sie auf die Registerkarte Knotenausgabe , um eine Zusammenfassung der Ausgabe für jede Knotenoperation anzuzeigen.

Um eine Vorschau dieser Task anzuzeigen, sehen Sie sich das Video ab 09:48an.

Die Pipeline hat verschiedene Assets erstellt. Führen Sie die folgenden Schritte aus, um die Assets anzuzeigen:

1. Klicken Sie auf den Projektnamen Orchestrate an AI pipeline im Navigationspfad, um zum Projekt zurückzukehren.

   

2. Zeigen Sie auf der Registerkarte Assets Alle Assetsan.

3. Datenassets anzeigen.

   1. Klicken Sie auf das Datenasset Mortgage_Data.csv . Der DataStage -Job hat dieses Asset erstellt.

   2. Klicken Sie auf den Projektnamen im Navigationspfad, um zur Registerkarte Assets zurückzukehren.

   3. Klicken Sie auf das Datenasset Mortgage_Data_with_Approvals.csv . Der DataStage -Job hat dieses Asset erstellt.

   4. Klicken Sie auf den Projektnamen im Navigationspfad, um zur Registerkarte Assets zurückzukehren.

4. Zeigen Sie das Modell an.

   1. Klicken Sie auf das Asset des Modells für maschinelles Lernen, das mit mortgage_approval_best_modelbeginnt. Das Experiment AutoAI hat mehrere Modellkandidaten generiert und dieses als das beste Modell ausgewählt.

   2. Blättern Sie durch die Modellinformationen.

   3. Klicken Sie auf den Projektnamen im Navigationspfad, um zur Registerkarte Assets zurückzukehren.

5. Klicken Sie auf die Registerkarte Jobs im Projekt, um Informationen zu den beiden DataStage -Jobs und einer Pipeline-Jobausführung anzuzeigen.

6. Wählen Sie im Navigationsmenü Cloud Pak for Data die Option Bereitstellungen.

7. Klicken Sie auf die Registerkarte Bereiche .

8. Klicken Sie auf den Bereitstellungsbereich Hypothekengenehmigung .

9. Klicken Sie auf die Registerkarte Assets und sehen Sie das bereitgestellte Modell beginnend mit mortgage_approval_best_model.

10. Klicken Sie auf die Registerkarte Bereitstellungen.

11. Klicken Sie auf Bereitstellung des Hypothekengenehmigungsmodells , um die Bereitstellung anzuzeigen.

    1. Zeigen Sie die Informationen auf der Registerkarte API-Referenz an.

    2. Klicken Sie auf die Registerkarte Test.

    3. Klicken Sie die Registerkarte JSON-Eingabe an und ersetzen Sie den Beispieltext durch den folgenden JSON-Text.

       {
          "input_data": [
              {
                      "fields": [
                              "ID",
                              "NAME",
                              "STREET_ADDRESS",
                              "CITY",
                              "STATE",
                              "STATE_CODE",
                              "ZIP_CODE",
                              "EMAIL_ADDRESS",
                              "PHONE_NUMBER",
                              "GENDER",
                              "SOCIAL_SECURITY_NUMBER",
                              "EDUCATION",
                              "EMPLOYMENT_STATUS",
                              "MARITAL_STATUS",
                              "INCOME",
                              "APPLIEDONLINE",
                              "RESIDENCE",
                              "YRS_AT_CURRENT_ADDRESS",
                              "YRS_WITH_CURRENT_EMPLOYER",
                              "NUMBER_OF_CARDS",
                              "CREDITCARD_DEBT",
                              "LOANS",
                              "LOAN_AMOUNT",
                              "CREDIT_SCORE",
                              "CRM_ID",
                              "COMMERCIAL_CLIENT",
                              "COMM_FRAUD_INV",
                              "FORM_ID",
                              "PROPERTY_CITY",
                              "PROPERTY_STATE",
                              "PROPERTY_VALUE",
                              "AVG_PRICE"
                      ],
                      "values": [
                              [
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      "Bachelor",
                                      "Employed",
                                      null,
                                      144306,
                                      null,
                                      "Owner Occupier",
                                      15,
                                      19,
                                      2,
                                      7995,
                                      1,
                                      1483220,
                                      437,
                                      null,
                                      false,
                                      false,
                                      null,
                                      null,
                                      null,
                                      111563
                              ],
                              [
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      "High School",
                                      "Employed",
                                      null,
                                      45283,
                                      null,
                                      "Private Renting",
                                      11,
                                      13,
                                      1,
                                      1232,
                                      1,
                                      7638,
                                      706,
                                      null,
                                      false,
                                      false,
                                      null,
                                      null,
                                      null,
                                      547262
                              ]
                      ]
              }
          ]
       }
       

    4. Klicken Sie auf Vorhersage. Die Ergebnisse zeigen, dass der erste Antragsteller nicht zugelassen wird und der zweite Antragsteller genehmigt wird.