Tutoriel Data Science and MLOps: Orchestration d'un pipeline d'intelligence artificielle avec la surveillance de modèle

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 02:37.

L'exemple de projet inclut plusieurs actifs, notamment une connexion, une définition de données, un flux Data Refinery et un pipeline. Pour afficher ces actifs, procédez comme suit:

1. Cliquez sur l'onglet Actifs dans le projet Data Science and MLOps , puis affichez Tous les actifs.

2. Affichez la liste des actifs de données utilisés dans le flux Data Refinery et le pipeline. Ces actifs sont stockés dans une connexion Data Fabric Trial- Db2 Warehouse dans le schéma AI_HYPOTHÈQUE . Cliquez sur Import assets, puis accédez à Data Fabric Trial- Db2 Warehouse > AI_HYPOTHÈQUE. L'image suivante montre les actifs de cette connexion:

   

3. Le flux Mortgage_Data_Approvals_flow Data Refinery intègre des données sur chaque demandeur d'hypothèque. Les données intégrées incluent des informations personnelles identifiables, avec les détails de leur demande, les scores de crédit, le statut d'acheteur commercial et, enfin, les prix de la résidence choisie par chaque candidat. Le flux crée ensuite un fichier séquentiel nommé Mortgage_Data_with_Approvals_DS.csv dans le projet contenant les données jointes. L'image suivante montre le flux Mortgage_Data_Approvals_flow Data Refinery :

   

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 03:25.

L'exemple de projet inclut un pipeline d'orchestration qui automatise les tâches suivantes:

• Exécutez un travail Data Refinery existant.

• Créez une expérimentation AutoAI .

• Exécutez l'expérimentation AutoAI et sauvegardez le modèle le plus performant qui utilise le fichier de sortie résultant du travail Data Refinery comme données d'entraînement.

• Créez un espace de déploiement.

• Promouvez le modèle sauvegardé dans l'espace de déploiement.

Procédez comme suit pour explorer le pipeline:

1. Dans l'onglet Actifs du projet Data Science and MLOps , affichez Tous les actifs.

2. Cliquez sur Pipeline d'approbation hypothécaire-Science des données pour ouvrir le pipeline.

3. Cliquez deux fois sur le travail Intégrer les données d'approbation d'hypothèque Data Refinery , qui combine diverses tables de la connexion Db2 Warehouse on Cloud dans un ensemble de données étiqueté cohérent qui est utilisé comme données d'entraînement pour l'expérimentation AutoAI . Cliquez sur Annuler pour revenir au pipeline.

4. Cliquez sur la condition Vérifier l'état et choisissez Editer. Cette condition est un point de décision dans le pipeline pour confirmer l'achèvement du travail Data Refinery avec la valeur Terminé ou Terminé avec des avertissements. Cliquez sur Annuler pour revenir au pipeline.

5. Cliquez deux fois sur le noeud Créer une expérimentation AutoAI pour afficher les paramètres. Ce noeud crée une expérimentation AutoAI avec les paramètres.

   1. Passez en revue les valeurs des paramètres suivants:

      • Nom de l'expérimentation AutoAI

      • Portée

      • Type de prévision

      • Colonne de prévision

      • Classe positive

      • Ratio de division des données d'entraînement

      • Algorithmes à inclure

      • Algorithmes à utiliser

      • Métrique d'optimisation

   2. Cliquez sur Annuler pour fermer les paramètres.

6. Cliquez deux fois sur le noeud Exécuter l'expérimentation AutoAI pour afficher les paramètres. Ce noeud exécute l'expérimentation AutoAI qui est créée par le noeud Créer une expérimentation AutoAI qui utilise la sortie du travail Intégrer l'approbation hypothécaire Data Refinery comme données de formation.

   1. Passez en revue les valeurs des paramètres suivants:

      • expérimentation AutoAI

      • Actifs de données d'entraînement

      • Préfixe de nom de modèle

   2. Cliquez sur Annuler pour fermer les paramètres.

7. Entre les noeuds Exécuter l'expérimentation AutoAI et Créer un espace de déploiement , cliquez sur Voulez-vous déployer le modèle? et choisissez Editer. La valeur de True pour cette condition est un point de décision dans le pipeline pour continuer à créer l'espace de déploiement. Cliquez sur Annuler pour revenir au pipeline.

8. Cliquez deux fois sur le noeud Créer un espace de déploiement pour mettre à jour les paramètres. Ce noeud crée un nouvel espace de déploiement avec le nom spécifié et nécessite une entrée pour vos services Cloud Object Storage et Watson Machine Learning .

   1. Vérifiez la valeur du paramètre Nouveau nom d'espace .

   2. Pour la zone Nouveau CRN d'instance COS d'espace , sélectionnez votre instance Cloud Object Storage dans la liste.

   3. Pour la zone Nouveau CRN d'instance WML d'espace , sélectionnez votre instance Watson Machine Learning dans la liste.

   4. Cliquez sur Sauvegarder.

9. Cliquez deux fois sur le noeud Promouvoir le modèle dans l'espace de déploiement pour afficher les paramètres. Ce noeud promeut le meilleur modèle à partir du noeud Exécuter l'expérimentation AutoAI vers l'espace de déploiement créé à partir du noeud Créer un espace de déploiement .

   1. Passez en revue les valeurs des paramètres suivants:

      • Actifs source

      • cible

   2. Cliquez sur Annuler pour fermer les paramètres.

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 05:41.

Le pipeline crée le modèle, crée un espace de déploiement, puis le promeut dans un espace de déploiement. Vous devez ajouter un noeud pour créer un déploiement en ligne. Procédez comme suit pour éditer le pipeline afin d'automatiser la création d'un déploiement en ligne:

1. Ajoutez le noeud Créer un déploiement en ligne à l'espace de travail:

   1. Développez la section Créer dans la palette de noeuds.

   2. Faites glisser le noeud Créer un déploiement en ligne sur l'espace de travail et déposez le noeud après le noeud Promouvoir le modèle dans l'espace de déploiement .

2. Survolez le noeud Promouvoir le modèle dans l'espace de déploiement pour voir la flèche. Connectez la flèche au noeud Créer un déploiement en ligne .

   Remarque: les noms de noeud dans votre pipeline peuvent différer de l'image animée suivante.

   

3. Connectez le commentaire Créer un déploiement en ligne pour le modèle promu au noeud Créer un déploiement en ligne en connectant le cercle de la zone de commentaire au noeud.

   Remarque: les noms de noeud dans votre pipeline peuvent différer de l'image animée suivante.

   

4. Cliquez deux fois sur le noeud Créer un déploiement en ligne pour afficher les paramètres.

5. Remplacez le nom de noeud par Create Online Deployment.

6. En regard de Actif ML, cliquez sur Sélectionner dans un autre noeud dans le menu.

   

7. Sélectionnez le noeud Promouvoir le modèle dans l'espace de déploiement dans la liste. L'ID de noeud winning_model est sélectionné.

8. Pour Nouveau nom de déploiement, entrez Mortgage approval model deployment - Data Science.

9. Pour Mode de création, sélectionnez Ecraser.

10. Cliquez sur Sauvegarder pour sauvegarder les paramètres du noeud Créer un déploiement en ligne .

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 06:57.

Maintenant que le pipeline est terminé, procédez comme suit pour l'exécuter:

1. Dans la barre d'outils, cliquez sur Exécuter le pipeline > Exécuter l'essai.

2. Sur la page Définir les paramètres de pipeline , sélectionnez True pour le déploiement.

   • Si la valeur est True, le pipeline vérifie le modèle déployé et attribue un score au modèle.

   • Si la valeur est False, le pipeline vérifie que le modèle a été créé dans le projet par l'expérimentation AutoAI et passe en revue les informations du modèle et les métriques d'entraînement.

3. Fournissez une clé d'API si c'est la première fois que vous exécutez un pipeline. Les actifs de pipeline utilisent votre clé d'API IBM Cloud personnelle pour exécuter des opérations en toute sécurité sans interruption.

   • Si vous disposez d'une clé d'API existante, cliquez sur Utiliser une clé d'API existante, collez la clé d'API, puis cliquez sur Sauvegarder.

   • Si vous ne disposez pas d'une clé d'API existante, cliquez sur Générer une nouvelle clé d'API, indiquez un nom et cliquez sur Sauvegarder. Copiez la clé d'API, puis sauvegardez-la pour une utilisation ultérieure. Lorsque vous avez terminé, cliquez sur Fermer.

4. Cliquez sur Exécuter pour lancer l'exécution du pipeline.

5. Surveillez la progression du pipeline.

   1. Faites défiler les journaux consolidés pendant que le pipeline est en cours d'exécution. L'exécution de l'essai peut prendre jusqu'à 10 minutes.

   2. A mesure que chaque opération se termine, sélectionnez le noeud correspondant à cette opération dans l'espace de travail.

   3. Dans l'onglet Inspecteur de noeud , affichez les détails de l'opération.

   4. Cliquez sur l'onglet Sortie de noeud pour afficher un récapitulatif de la sortie de chaque opération de noeud.

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 08:58.

Le pipeline a créé plusieurs actifs. Pour afficher les actifs, procédez comme suit:

1. Cliquez sur le nom de projet Data Science and MLOps dans la trace de navigation pour revenir au projet.

   

2. Dans l'onglet Actifs , affichez Tous les actifs.

3. Affichez les actifs de données.

   1. Cliquez sur l'actif de données Mortgage_Data_with_Approvals_DS.csv . Le travail Data Refinery a créé cet actif.

   2. Cliquez sur le nom de projet Data Science and MLOps dans la trace de navigation pour revenir à l'onglet Actifs .

4. Affichez le modèle.

   1. Cliquez sur l'actif de modèle d'apprentissage automatique commençant par ds_mortgage_approval_best_model. L'expérimentation AutoAI a généré plusieurs modèles candidats et a choisi ce modèle comme meilleur modèle. Sauvegardez ce nom de modèle dans un fichier texte. Le nom de modèle est requis pour configurer les moniteurs Watson OpenScale dans la tâche suivante.

   2. Faites défiler les informations du modèle.

   3. Cliquez sur le nom de projet Data Science and MLOps dans la trace de navigation pour revenir à l'onglet Actifs .

5. Cliquez sur l'onglet Travaux du projet pour afficher des informations sur les travaux Data Refinery et Pipeline.

6. Ouvrez l'espace de déploiement que vous avez créé avec le pipeline.

   1. Dans le menu de navigation , sélectionnez Déploiements.

   2. Cliquez sur l'onglet Espaces .

   3. Cliquez sur l'espace de déploiement Mortgage approbation-Data Science and MLOps .

7. Cliquez sur l'onglet Actifs et affichez le modèle déployé commençant par ds_mortgage_approval_best_model.

8. Cliquez sur l'onglet Déploiements.

9. Cliquez sur Déploiement de modèle d'approbation hypothécaire-Science des données pour afficher le déploiement.

   1. Dans l'onglet Référence d'API , affichez le noeud final d'API et les fragments de code.

   2. Cliquez sur l'onglet Tester.

   3. Cliquez sur l'onglet Entrée JSON et remplacez l'exemple de texte par le texte JSON suivant.

      {
        "input_data": [
                {
                        "fields": [
                                "ID",
                                "NAME",
                                "STREET_ADDRESS",
                                "CITY",
                                "STATE",
                                "STATE_CODE",
                                "ZIP_CODE",
                                "EMAIL_ADDRESS",
                                "PHONE_NUMBER",
                                "GENDER",
                                "SOCIAL_SECURITY_NUMBER",
                                "EDUCATION",
                                "EMPLOYMENT_STATUS",
                                "MARITAL_STATUS",
                                "INCOME",
                                "APPLIEDONLINE",
                                "RESIDENCE",
                                "YRS_AT_CURRENT_ADDRESS",
                                "YRS_WITH_CURRENT_EMPLOYER",
                                "NUMBER_OF_CARDS",
                                "CREDITCARD_DEBT",
                                "LOANS",
                                "LOAN_AMOUNT",
                                "CREDIT_SCORE",
                                "CRM_ID",
                                "COMMERCIAL_CLIENT",
                                "COMM_FRAUD_INV",
                                "FORM_ID",
                                "PROPERTY_CITY",
                                "PROPERTY_STATE",
                                "PROPERTY_VALUE",
                                "AVG_PRICE"
                        ],
                        "values": [
                                [
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        "Bachelor",
                                        "Employed",
                                        null,
                                        144306,
                                        null,
                                        "Owner Occupier",
                                        15,
                                        19,
                                        2,
                                        7995,
                                        1,
                                        1483220,
                                        437,
                                        null,
                                        false,
                                        false,
                                        null,
                                        null,
                                        null,
                                        111563,
                                        null
                                ],
                                [
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        "High School",
                                        "Employed",
                                        null,
                                        45283,
                                        null,
                                        "Private Renting",
                                        11,
                                        13,
                                        1,
                                        1232,
                                        1,
                                        7638,
                                        706,
                                        null,
                                        false,
                                        false,
                                        null,
                                        null,
                                        null,
                                        54262,
                                        null
                                ]
                        ]
                }
        ]
      }
      

   4. Cliquez sur Prévoir. Les résultats montrent que le premier candidat ne sera pas approuvé et que le deuxième candidat sera approuvé.

Pour prévisualiser cette tâche, regardez la vidéo à partir de 10:40.

Vous êtes maintenant prêt à exécuter le bloc-notes inclus dans l'exemple de projet. Le bloc-notes inclut le code pour:

• Extrayez le modèle et les déploiements.
• Configurez Watson OpenScale.
• Créez le fournisseur de services et l'abonnement pour votre service d'apprentissage automatique.
• Configurez le moniteur de qualité.
• Configurez le moniteur d'équité.
• Configurez l'explicabilité.

Procédez comme suit pour exécuter le bloc-notes inclus dans le projet exemple. Prenez le temps de lire les commentaires du bloc-notes, qui expliquent le code de chaque cellule.

1. Dans le menu de navigation , choisissez Projets > Afficher tous les projets.

2. Cliquez sur le nom de projet Data Science and MLOps .

3. Cliquez sur l'onglet Actifs , puis accédez à Notebooks.
   

4. Ouvrez le bloc-notes monitor-wml-model-with-watson-openscale-pipeline .

5. Cliquez sur l'icône Editer pour placer le bloc-notes en mode édition.

6. Lorsque vous importez un projet à partir du concentrateur de ressources, la première cellule du bloc-notes contient le jeton d'accès au projet. Si ce bloc-notes ne contient pas de première cellule avec un jeton d'accès de projet, vous devez générer le jeton. Dans le menu Plus, sélectionnez Insérer un jeton de projet. Cette action insère une nouvelle cellule comme première cellule du bloc-notes contenant le jeton de projet.

7. Indiquez votre clé d'API dans la section Fournir votre clé d'API IBM Cloud . Vous devez transmettre vos données d'identification à l'API Watson Machine Learning à l'aide d'une clé d'API. Si vous ne disposez pas déjà d'une clé d'API sauvegardée, procédez comme suit pour créer une clé d'API.
   Pour prévisualiser cette tâche, regardez la vidéo qui commence à 04:55.

   1. Accédez à la page des clés d'API de la consoleIBM Cloud.

   2. Cliquez sur Créer une clé d'API IBM Cloud. Si vous disposez de clés d'API existantes, le bouton peut être intitulé Créer.

   3. Entrez un nom et une description.

   4. Cliquez sur Créer.

   5. Copier la clé de l'API.

   6. Téléchargez la clé de l'API pour une utilisation ultérieure.

   7. Revenez au bloc-notes et collez votre clé d'API dans la zone ibmcloud_api_key .

8. Dans la section 3. Model and Deployment, pour la variable model_name , collez le nom de modèle que vous avez sauvegardé dans un fichier texte dans la tâche précédente. Les zones nom_espace et nom_déploiement sont renseignées pour vous à l'aide des noms spécifiés dans le pipeline.

9. Cliquez sur Cellule > Exécuter tout pour exécuter toutes les cellules du bloc-notes. Vous pouvez également cliquer sur l'icône Exécuter pour exécuter le bloc-notes cellule par cellule afin d'explorer chaque cellule et sa sortie.

10. Surveillez la progression cellule par cellule, en remarquant que l'astérisque "In [*]" est modifié en nombre, par exemple, "In [1]". L'exécution du bloc-notes prend de 1 à 3 minutes.

11. Essayez ces conseils si vous rencontrez des erreurs lors de l'exécution du bloc-notes:

    • Cliquez sur Noyau > Redémarrer & Effacer la sortie pour redémarrer le noyau, puis exécutez à nouveau le bloc-notes.
    • Vérifiez que vous avez copié et collé le nom de déploiement exactement sans espaces de début ou de fin.

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 13:35.

Procédez comme suit pour évaluer le modèle dans Watson OpenScale:

1. Cliquez sur le projet Data Science and MLOps dans la trace de navigation.
   

2. Dans l'onglet Actifs , développez le type d'actif Données , puis cliquez sur Actifs de données.

3. Cliquez sur le menu Dépassement de l'actif de données mortgage_sample_test_data.csv et choisissez Télécharger. Pour vérifier que le modèle fonctionne comme requis, vous avez besoin d'un ensemble de données étiquetées, qui ont été retenues à partir de l'entraînement du modèle. Ce fichier CSV contient les données de l'élément restant.

4. Lancez Watson OpenScale.

   1. Dans le menu de navigation , choisissez Services > Instances de service.

   2. Cliquez sur le nom de votre instance Watson OpenScale . Si vous y êtes invité, connectez-vous à l'aide des mêmes données d'identification que celles que vous avez utilisées pour vous inscrire à Cloud Pak for Data.

   3. Sur la page de l'instance de service Watson OpenScale, cliquez sur Lancer l'application.

5. Dans le tableau de bord Insights, cliquez sur la vignette Mortgage approbation model deployment-Data Science .

6. Dans le menu Actions, sélectionnez Évaluer maintenant.

7. Dans la liste des options d'importation, sélectionnez à partir d'un fichier CSV.

8. Faites glisser le fichier de données mortgage_sample_test_data.csv que vous avez téléchargé à partir du projet dans le panneau latéral.

9. Cliquez sur Télécharger et évaluer. L'évaluation peut prendre plusieurs minutes.

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 14:44.

Le moniteur de qualité Watson OpenScale génère un ensemble de métriques pour évaluer la qualité de votre modèle. Vous pouvez utiliser ces indicateurs de qualité pour déterminer dans quelle mesure votre modèle prédit les résultats. Une fois l'évaluation qui utilise les données restantes terminée, procédez comme suit pour observer la qualité ou l'exactitude du modèle:

1. Dans le panneau de navigation de gauche, cliquez sur l'icône Tableau de bord Insights .

2. Localisez la vignette Mortgage approbation model deployment-Data Science . Notez que le déploiement comporte 0 problème et que les tests Qualité et Equité n'ont pas généré d'erreurs, ce qui signifie que le modèle a atteint les seuils requis.

   Remarque: Vous devrez peut-être actualiser le tableau de bord pour voir les mises à jour après l'évaluation.

3. Cliquez sur la vignette Mortgage approbation model deployment-Data Science pour afficher plus de détails.

4. Dans la section Qualité , cliquez sur l'icône Configurer . Vous pouvez voir ici que le seuil de qualité configuré pour ce moniteur est de 70% et que la mesure de la qualité utilisée est une zone sous la courbe ROC.

5. Cliquez sur Aller au récapitulatif du modèle pour revenir à l'écran des détails du modèle.

6. Dans la section Qualité , cliquez sur l'icône Détails pour afficher les résultats détaillés de la qualité de modèle. Vous voyez ici un certain nombre de calculs de métriques de qualité et une matrice de confusion affichant des décisions de modèle correctes ainsi que des faux positifs et des faux négatifs. L'aire calculée sous la courbe ROC est 0.9 ou supérieure, ce qui dépasse le seuil 0.7 , de sorte que le modèle répond à ses exigences de qualité.

7. Cliquez sur Déploiement du modèle d'approbation hypothécaire-Science des données dans la trace de navigation pour revenir à l'écran des détails du modèle.

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 15:59.

Le moniteur d'équité Watson OpenScale génère un ensemble de métriques pour évaluer l'équité de votre modèle. Vous pouvez utiliser les mesures d'équité pour déterminer si votre modèle produit des résultats biaisés. Pour observer l'équité du modèle, procédez comme suit:

1. Dans la section Equité , cliquez sur l'icône Configurer . Ici, vous voyez que le modèle est en cours de révision pour s'assurer que les candidats sont traités équitablement quel que soit leur sexe. Les femmes sont identifiées comme le groupe surveillé pour lequel l'équité est mesurée, et le seuil d'équité doit être d'au moins 80%. Le contrôleur de l'équité utilise la méthode d'impact disparate pour déterminer l'équité. L'effet Disparate compare le pourcentage de résultats favorables pour un groupe surveillé au pourcentage de résultats favorables pour un groupe de référence.

2. Cliquez sur Aller au récapitulatif du modèle pour revenir à l'écran des détails du modèle,

3. Dans la section Equité , cliquez sur l'icône Détails pour afficher les résultats détaillés de l'équité du modèle. Vous voyez ici le pourcentage de candidats masculins et féminins qui sont automatiquement approuvés, ainsi qu'un score d'équité d'environ 100%, de sorte que la performance du modèle dépasse de loin le seuil d'équité de 80% requis.

4. Notez les fichiers identifiés dans la liste Fichier . Pour s'assurer que les métriques d'équité sont les plus précises, Watson OpenScale utilise la perturbation pour déterminer les résultats dans lesquels seuls les attributs protégés et les entrées de modèle associées sont modifiés, tandis que les autres fonctions restent les mêmes.La perturbation modifie les valeurs de la fonction du groupe de référence vers le groupe surveillé, ou vice-versa. Ces glissières de sécurité supplémentaires sont utilisées pour calculer l'équité lorsque le jeu de données "équilibré" est utilisé, mais vous pouvez également afficher les résultats d'équité en utilisant uniquement des données d'entraînement de contenu ou de modèle. Etant donné que le modèle se comporte de manière équitable, vous n'avez pas besoin d'entrer dans les détails supplémentaires pour cette métrique.
   

5. Cliquez sur la piste de navigation Déploiement du modèle d'approbation hypothécaire-Science des données pour revenir à l'écran des détails du modèle.

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 17:42.

Vous devez comprendre comment le modèle a pris sa décision. Cette compréhension est nécessaire à la fois pour expliquer les décisions aux personnes impliquées dans l'approbation du prêt et pour s'assurer que les propriétaires de modèles sont valides. Pour comprendre ces décisions, procédez comme suit pour observer l'explicabilité du modèle:

1. Dans le panneau de navigation de gauche, cliquez sur l'icône Explain a transaction .

2. Sélectionnez Déploiement de modèle d'approbation hypothécaire-Science des données pour afficher la liste des transactions.

3. Pour toute transaction, cliquez sur Expliquer sous la colonne Actions. Vous trouverez ici l'explication détaillée de cette décision.Vous verrez les entrées les plus importantes du modèle ainsi que l'importance de chaque résultat final. Les barres bleues représentent les entrées qui ont eu tendance à prendre en charge la décision du modèle, tandis que les barres rouges représentent les entrées qui ont pu conduire à une autre décision. Par exemple, un demandeur peut avoir un revenu suffisant pour être approuvé autrement, mais son faible historique de crédit et sa dette élevée conduisent le modèle à rejeter la demande.Examinez cette explication pour vous satisfaire de la base de la décision du modèle.

4. Facultatif: si vous souhaitez approfondir la manière dont le modèle a pris sa décision, cliquez sur l'onglet Inspecter . Utilisez la fonction Inspecter pour analyser la décision afin de trouver des zones de sensibilité dans lesquelles de petites modifications apportées à quelques entrées pourraient entraîner une décision différente. Vous pouvez tester la sensibilité vous-même en remplaçant certaines des entrées réelles par des alternatives pour voir si elles ont un impact sur le résultat.