Tutoriel d'intégration de données: Orchestration d'un pipeline d'IA avec l'intégration de données

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 02:26.

L'exemple de projet inclut plusieurs actifs, notamment une connexion, une définition de données, deux flux DataStage et un pipeline. Pour afficher ces actifs, procédez comme suit:

1. Cliquez sur l'onglet Actifs dans l'orchestration d'un projet de pipeline d'IA, puis affichez Tous les actifs.

2. Tous les actifs de données utilisés dans les flux DataStage et le pipeline sont stockés dans une connexion Data Fabric Trial- Db2 Warehouse dans le schéma AI_HYPOTHÈQUE . L'image suivante montre les actifs de cette connexion:

   

3. Le flux Intégrer les données hypothécaires DataStage intègre des données sur chaque demandeur d'hypothèque, y compris des informations identifiant la personne, avec les détails de sa demande, les scores de crédit, le statut d'acheteur commercial et enfin les prix de la maison choisie par chaque demandeur, puis crée un fichier séquentiel portant le nom Mortgage_Data.csv dans le projet contenant les données jointes. L'image suivante montre le flux Integrate Mortgage Data DataStage .

   Astuce: Si vous ne voyez pas de flux DataStage , revenez voir vos instances de service pour vérifier que votre instance DataStage a été mise à disposition. Voir Mise à disposition des services nécessaires.

   

4. Le flux Intégration des approbations d'hypothèque DataStage utilise la sortie du premier flux DataStage (Mortgage_Data.csv) et enrichit davantage les données en intégrant des informations sur chaque approbation d'application d'hypothèque. Le jeu de données résultant est sauvegardé dans le projet avec le nom Mortgage_Data_with_Approvals.csv. L'image suivante montre le flux Intégrer Les Approbations d'hypothèque DataStage :

   

5. La définition de données Definition_Mortgage_Data pour l'actif de données Mortgage_Data_with_Approvals.csv est créée par le flux Intégrer Les Approbations d'hypothèque DataStage . L'image suivante montre la définition de données:

   

Pour prévisualiser cette tâche, regardez la vidéo à partir de 04:00.

L'exemple de projet inclut un pipeline d'orchestration qui automatise les tâches suivantes:

• Exécutez deux travaux DataStage existants.

• Créez une expérimentation AutoAI .

• Exécutez l'expérimentation AutoAI et sauvegardez le modèle le plus performant qui utilise le fichier de sortie résultant du travail DataStage comme données d'entraînement.

• Créez un espace de déploiement.

• Promouvez le modèle sauvegardé dans l'espace de déploiement.

Procédez comme suit pour explorer le pipeline:

1. Dans l'onglet Actifs de l'orchestration d'un projet de pipeline d'IA, affichez Tous les actifs.

2. Cliquez sur Pipeline d'approbation hypothécaire pour ouvrir le pipeline.

3. Dans la section de début du pipeline, deux travaux DataStage (Intégrer les données hypothécaires et Intégrer les approbations d'hypothèque) s'exécutent en séquence pour combiner diverses tables de la connexion Db2 Warehouse on Cloud dans un ensemble de données cohésif étiqueté qui est utilisé comme données d'apprentissage pour l'expérimentation AutoAI .

4. Cliquez deux fois sur le noeud Vérifier le statut pour voir la condition. Cette condition est un point de décision dans le pipeline pour confirmer l'achèvement du premier travail DataStage avec la valeur Terminé ou Terminé avec des avertissements. Cliquez sur Annuler pour revenir au pipeline.

5. Cliquez deux fois sur le noeud Créer une expérimentation AutoAI pour afficher les paramètres. Ce noeud crée une expérimentation AutoAI avec les paramètres.

   1. Passez en revue les valeurs des paramètres suivants:

      • Nom de l'expérimentation AutoAI

      • Portée

      • Type de prévision

      • Colonne de prévision

      • Classe positive

      • Ratio de division des données d'entraînement

      • Algorithmes à inclure

      • Algorithmes à utiliser

      • Métrique d'optimisation

   2. Cliquez sur Annuler pour fermer les paramètres.

6. Cliquez deux fois sur le noeud Exécuter l'expérimentation AutoAI pour afficher les paramètres. Ce noeud exécute l'expérimentation AutoAI créée à partir du noeud Créer une expérimentation AutoAI qui utilise la sortie du travail Integrate Mortgage Approval DataStage comme données de formation.

   1. Passez en revue les valeurs des paramètres suivants:

      • expérimentation AutoAI

      • Actifs de données d'entraînement

      • Préfixe de nom de modèle

   2. Cliquez sur Annuler pour fermer les paramètres.

7. Entre les noeuds Exécuter l'expérimentation AutoAI et Créer un espace de déploiement , cliquez deux fois sur le bouton Voulez-vous déployer le modèle? pour voir la condition. La valeur de True pour cette condition est un point de décision dans le pipeline pour continuer à créer l'espace de déploiement. Cliquez sur Annuler pour revenir au pipeline.

8. Cliquez deux fois sur le noeud Créer un espace de déploiement pour afficher les paramètres. Ce noeud crée un nouvel espace de déploiement avec le nom spécifié et nécessite une entrée pour vos services Cloud Object Storage et Watson Machine Learning .

   1. Vérifiez la valeur du paramètre Nouveau nom d'espace .

   2. Pour la zone Nouveau CRN d'instance COS d'espace , sélectionnez votre instance Cloud Object Storage dans la liste.

   3. Pour la zone Nouveau CRN d'instance WML d'espace , sélectionnez votre instance Watson Machine Learning dans la liste.

   4. Cliquez sur Sauvegarder.

9. Cliquez deux fois sur le noeud Promouvoir le modèle dans l'espace de déploiement pour afficher les paramètres. Ce noeud promeut le meilleur modèle à partir du noeud Exécuter l'expérimentation AutoAI vers l'espace de déploiement créé à partir du noeud Créer un espace de déploiement .

   1. Passez en revue les valeurs des paramètres suivants:

      • Actifs source

      • Cible

   2. Cliquez sur Annuler pour fermer les paramètres.

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 06:23.

Le pipeline crée le modèle, crée un espace de déploiement, puis le promeut dans un espace de déploiement. Vous devez ajouter un noeud pour créer un déploiement en ligne. Procédez comme suit pour éditer le pipeline afin d'automatiser la création d'un déploiement en ligne:

1. Ajoutez le noeud Créer un déploiement en ligne à l'espace de travail:

   1. Développez la section Créer dans la palette de noeuds.

   2. Faites glisser le noeud Créer un déploiement en ligne sur l'espace de travail et déposez le noeud après le noeud Promouvoir le modèle dans l'espace de déploiement .

2. Survolez le noeud Promouvoir le modèle dans l'espace de déploiement pour voir la flèche. Connectez la flèche au noeud Créer un déploiement en ligne .

   Remarque: les noms de noeud dans votre pipeline peuvent différer de l'image animée suivante.

   

3. Connectez le commentaire Créer un déploiement en ligne pour le modèle promu au noeud Créer un déploiement en ligne en connectant le cercle de la zone de commentaire au noeud.

   Remarque: les noms de noeud dans votre pipeline peuvent différer de l'image animée suivante.

   

4. Cliquez deux fois sur le noeud Créer un déploiement en ligne pour afficher les paramètres.

5. Remplacez le nom de noeud par Create Online Deployment.

6. En regard de Actif ML, cliquez sur Sélectionner dans un autre noeud dans le menu.

   

7. Sélectionnez le noeud Promouvoir le modèle dans l'espace de déploiement dans la liste. L'ID de noeud winning_model est sélectionné.

8. Pour Nouveau nom de déploiement, entrez mortgage approval model deployment.

9. Pour Mode de création, sélectionnez Ecraser.

10. Cliquez sur Sauvegarder pour sauvegarder les paramètres du noeud Créer un déploiement en ligne .

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 07:38.

Maintenant que le pipeline est terminé, procédez comme suit pour l'exécuter:

1. Dans la barre d'outils, cliquez sur Exécuter le pipeline > Exécuter l'essai.

2. Sur la page Définir les paramètres de pipeline , sélectionnez True pour le déploiement.

   • Si la valeur est True, le pipeline vérifie le modèle déployé et attribue un score au modèle.

   • Si la valeur est False, le pipeline vérifie que le modèle a été créé dans le projet par l'expérimentation AutoAI et passe en revue les informations du modèle et les métriques d'entraînement.

3. Si vous exécutez un pipeline pour la première fois, vous êtes invité à fournir une clé d'API. Les actifs de pipeline utilisent votre clé d'API IBM Cloud personnelle pour exécuter des opérations en toute sécurité sans interruption.

   • Si vous disposez d'une clé d'API existante, cliquez sur Utiliser une clé d'API existante, collez la clé d'API, puis cliquez sur Sauvegarder.

   • Si vous ne disposez pas d'une clé d'API existante, cliquez sur Générer une nouvelle clé d'API, indiquez un nom et cliquez sur Sauvegarder. Copiez la clé d'API, puis sauvegardez-la pour une utilisation ultérieure. Lorsque vous avez terminé, cliquez sur Fermer.

4. Cliquez sur Exécuter pour lancer l'exécution du pipeline.

5. Faites défiler les journaux consolidés pendant que le pipeline est en cours d'exécution. L'exécution de l'essai peut prendre jusqu'à 10 minutes.

6. A mesure que chaque opération se termine, sélectionnez le noeud correspondant à cette opération dans l'espace de travail.

7. Dans l'onglet Inspecteur de noeud , affichez les détails de l'opération.

8. Cliquez sur l'onglet Sortie de noeud pour afficher un récapitulatif de la sortie de chaque opération de noeud.

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 09:48.

Le pipeline a créé plusieurs actifs. Pour afficher les actifs, procédez comme suit:

1. Cliquez sur le nom de projet Orchestrate an AI pipeline dans la trace de navigation pour revenir au projet.

   

2. Dans l'onglet Actifs , affichez Tous les actifs.

3. Affichez les actifs de données.

   1. Cliquez sur l'actif de données Mortgage_Data.csv . Le travail DataStage a créé cet actif.

   2. Cliquez sur le nom du projet dans la trace de navigation pour revenir à l'onglet Actifs .

   3. Cliquez sur l'actif de données Mortgage_Data_with_Approvals.csv . Le travail DataStage a créé cet actif.

   4. Cliquez sur le nom du projet dans la trace de navigation pour revenir à l'onglet Actifs .

4. Affichez le modèle.

   1. Cliquez sur l'actif de modèle d'apprentissage automatique commençant par mortgage_approval_best_model. L'expérimentation AutoAI a généré plusieurs modèles candidats et a choisi ce modèle comme meilleur modèle.

   2. Faites défiler les informations du modèle.

   3. Cliquez sur le nom du projet dans la trace de navigation pour revenir à l'onglet Actifs .

5. Cliquez sur l'onglet Travaux du projet pour afficher des informations sur les deux travaux DataStage et sur les exécutions d'un travail de pipeline.

6. Dans le Cloud Pak for Data , sélectionnez Déploiements.

7. Cliquez sur l'onglet Espaces .

8. Cliquez sur l'espace de déploiement Mortgage approbation .

9. Cliquez sur l'onglet Actifs et affichez le modèle déployé en commençant par mortgage_approval_best_model.

10. Cliquez sur l'onglet Déploiements.

11. Cliquez sur Déploiement de modèle d'approbation de prêt hypothécaire pour afficher le déploiement.

    1. Affichez les informations dans l'onglet Référence d'API .

    2. Cliquez sur l'onglet Tester.

    3. Cliquez sur l'onglet Entrée JSON et remplacez l'exemple de texte par le texte JSON suivant.

       {
          "input_data": [
              {
                      "fields": [
                              "ID",
                              "NAME",
                              "STREET_ADDRESS",
                              "CITY",
                              "STATE",
                              "STATE_CODE",
                              "ZIP_CODE",
                              "EMAIL_ADDRESS",
                              "PHONE_NUMBER",
                              "GENDER",
                              "SOCIAL_SECURITY_NUMBER",
                              "EDUCATION",
                              "EMPLOYMENT_STATUS",
                              "MARITAL_STATUS",
                              "INCOME",
                              "APPLIEDONLINE",
                              "RESIDENCE",
                              "YRS_AT_CURRENT_ADDRESS",
                              "YRS_WITH_CURRENT_EMPLOYER",
                              "NUMBER_OF_CARDS",
                              "CREDITCARD_DEBT",
                              "LOANS",
                              "LOAN_AMOUNT",
                              "CREDIT_SCORE",
                              "CRM_ID",
                              "COMMERCIAL_CLIENT",
                              "COMM_FRAUD_INV",
                              "FORM_ID",
                              "PROPERTY_CITY",
                              "PROPERTY_STATE",
                              "PROPERTY_VALUE",
                              "AVG_PRICE"
                      ],
                      "values": [
                              [
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      "Bachelor",
                                      "Employed",
                                      null,
                                      144306,
                                      null,
                                      "Owner Occupier",
                                      15,
                                      19,
                                      2,
                                      7995,
                                      1,
                                      1483220,
                                      437,
                                      null,
                                      false,
                                      false,
                                      null,
                                      null,
                                      null,
                                      111563
                              ],
                              [
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      null,
                                      "High School",
                                      "Employed",
                                      null,
                                      45283,
                                      null,
                                      "Private Renting",
                                      11,
                                      13,
                                      1,
                                      1232,
                                      1,
                                      7638,
                                      706,
                                      null,
                                      false,
                                      false,
                                      null,
                                      null,
                                      null,
                                      547262
                              ]
                      ]
              }
          ]
       }
       

    4. Cliquez sur Prévoir. Les résultats montrent que le premier candidat ne serait pas approuvé et que le deuxième candidat serait approuvé.