0 / 0
Retourner à la version anglaise de la documentation
Tutoriel Data Science and MLOps: Orchestration d'un pipeline d'intelligence artificielle avec la surveillance de modèle
Dernière mise à jour : 28 nov. 2024
Tutoriel Data Science and MLOps: Orchestration d'un pipeline d'intelligence artificielle avec la surveillance de modèle

Suivez ce tutoriel pour créer un pipeline de bout en bout afin de fournir des données concises, prétraitées et à jour stockées dans une source de données externe pour le cas d'utilisation Data Science et MLOps. Votre objectif est d'utiliser des pipelines d'orchestration pour orchestrer ce flux de travaux de bout en bout afin de générer des résultats automatisés, cohérents et reproductibles. Le pipeline utiliseData Refinery etAutoAI, qui automatise plusieurs aspects d'un processus de création de modèles tels que l'ingénierie des fonctionnalités et l'optimisation des hyperparamètres. AutoAI classe les algorithmes candidats, puis sélectionne le meilleur modèle.

Démarrage rapide: Si vous n'avez pas encore créé l'exemple de projet pour ce tutoriel, accédez à l' exemple de projet Data Science and MLOps dans le concentrateur de ressources.

L'histoire de ce tutoriel est que Golden Bank souhaite étendre son activité en offrant des renouvellements spéciaux de prêts hypothécaires à taux réduit pour les applications en ligne. Les applications en ligne augmentent le nombre de clients de la banque et réduisent les coûts de traitement des demandes de la banque. Pour aider les prêteurs à prendre des décisions, l'équipe utilisera des pipelines d'orchestration pour créer un pipeline de données qui fournit des données à jour sur tous les demandeurs d'hypothèque. Les données sont stockées dans Db2 Warehouse. Vous devez préparer les données car elles sont potentiellement incomplètes, obsolètes et peuvent être brouillées ou totalement inaccessibles en raison de la confidentialité des données et des politiques de souveraineté. L'équipe construit ensuite un modèle d'approbation de prêt hypothécaire à partir de données sécurisées, puis déploie et teste le modèle dans un environnement de préproduction. Enfin, l'équipe utilise un bloc-notes pour configurer des moniteurs Watson OpenScale , puis évalue et observe les moniteurs dans Watson OpenScale pour s'assurer que le modèle traite tous les candidats de manière équitable.

L'image animée suivante fournit un aperçu rapide de ce que vous allez accomplir à la fin de ce tutoriel. Vous allez éditer et exécuter un pipeline pour générer et déployer un modèle d'apprentissage automatique, exécuter un bloc-notes pour configurer des moniteurs et valider le modèle. Cliquez sur l'image pour afficher une image plus grande.

Image animée

Aperçu du tutoriel

Dans ce tutoriel, vous exécutez les tâches suivantes :

Si vous souhaitez continuer à voir comment surveiller le modèle à l'aide de Watson OpenScale, effectuez les tâches 6 à 10:

Regarder une vidéo Regardez cette vidéo pour prévisualiser les étapes de ce tutoriel. Il peut y avoir de légères différences dans l'interface utilisateur affichée dans la vidéo. La vidéo est destinée à être un compagnon du tutoriel écrit.

Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.





Conseils pour l'exécution de ce tutoriel
Voici quelques conseils pour réussir ce tutoriel.

Utiliser la vidéo image-in-picture

Astuce: Démarrez la vidéo, puis au fur et à mesure que vous faites défiler le tutoriel, la vidéo passe en mode image-en-image. Fermez la table des matières vidéo pour la meilleure expérience avec l'image en image. Vous pouvez utiliser le mode image-dans-image pour pouvoir suivre la vidéo à mesure que vous effectuez les tâches de ce tutoriel. Cliquez sur les horodatages de chaque tâche à suivre.

L'image animée suivante montre comment utiliser les fonctions d'image vidéo et de table des matières:

Comment utiliser l'image en image et les chapitres

Obtenir de l'aide dans la communauté

Si vous avez besoin d'aide pour ce tutoriel, vous pouvez poser une question ou trouver une réponse dans le forum de discussion de la communautéCloud Pak for Data.

Configurez les fenêtres de votre navigateur

Pour une expérience optimale lors de l'exécution de ce tutoriel, ouvrez Cloud Pak for Data dans une fenêtre de navigateur et laissez cette page de tutoriel ouverte dans une autre fenêtre de navigateur pour basculer facilement entre les deux applications. Envisagez d'organiser les deux fenêtres du navigateur côte à côte pour faciliter le suivi.

Tutoriel et interface utilisateur côte à côte

Astuce: Si vous rencontrez une visite guidée lors de l'exécution de ce tutoriel dans l'interface utilisateur, cliquez sur Peut-être plus tard.



Configuration des prérequis

Inscription à Cloud Pak for Data as a Service (en anglais)

Vous devez vous inscrire à Cloud Pak for Data as a Service et mettre à disposition les services nécessaires pour le cas d'utilisation d'intégration de données.

  • Si vous disposez d'un compte Cloud Pak for Data as a Service existant, vous pouvez utiliser ce tutoriel. Si vous disposez d'un compte de plan Lite, un seul utilisateur par compte peut exécuter ce tutoriel.
  • Si vous ne disposez pas encore d'un compte Cloud Pak for Data as a Service , inscrivez-vous.

Vérifiez les services mis à disposition nécessaires

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo à partir de 00:50.

Procédez comme suit pour vérifier ou mettre à disposition les services nécessaires:

  1. Dans le menu de navigation " Menu de navigation, choisissez Services > Instances de service.

  2. Utilisez la liste déroulante Produit pour déterminer s'il existe une instance de service watsonx.ai Studio.

  3. Si vous devez créer une instance de service watsonx.ai Studio, cliquez sur Add service.

    1. Sélectionnez watsonx.ai Studio.

    2. Sélectionnez le plan Lite .

    3. Cliquez sur Créer.

  4. Patientez pendant le provisionnement du service watsonx.ai Studio, qui peut prendre quelques minutes.

  5. Répétez ces étapes pour vérifier ou mettre à disposition les services supplémentaires suivants :

    • watsonx.ai Runtime
    • Cloud Object Storage
    • watsonx.governance -si vous souhaitez surveiller le modèle déployé

Icône de point de contrôle Vérifier votre progression

L'image suivante montre les instances de service mises à disposition:

Services mis à disposition

Créez l'exemple de projet

vidéo du tutoriel d'aperçu Pour avoir un aperçu de cette tâche, regardez la vidéo à partir de 01:27.

Si vous disposez déjà de l'exemple de projet pour ce tutoriel, ignorez cette tâche. Sinon, procédez comme suit :

  1. Accédez à l'exemple de projet Data Science et MLOps dans le centre de ressources.

  2. Cliquez sur Créer un projet.

  3. Si vous êtes invité à associer le projet à une instance Cloud Object Storage, sélectionnez une instance Cloud Object Storage dans la liste.

  4. Cliquez sur Créer.

  5. Attendez que l'importation du projet soit terminée, puis cliquez sur Afficher le nouveau projet pour vérifier que le projet et les actifs ont été créés avec succès.

  6. Cliquez sur l'onglet Actifs pour afficher les actifs de ce tutoriel.

Icône de point de contrôle Vérifier votre progression

L'image suivante montre l'onglet Actifs dans l'exemple de projet. Vous êtes maintenant prêt à démarrer le tutoriel.

Exemple de projet

Remarque: Vous pouvez voir une visite guidée présentant les tutoriels inclus avec ce cas d'utilisation. Les liens de la visite guidée ouvriront ces instructions de tutoriel.

Associer le service d'exécution watsonx.ai à l'exemple de projet

vidéo du tutoriel d'aperçu Pour avoir un aperçu de cette tâche, regardez la vidéo à partir de 02:17.

Vous utiliserez watsonx.ai Runtime pour créer et déployer le modèle, alors suivez ces étapes pour associer votre instance de service watsonx.ai Runtime avec le projet d'exemple.

  1. Dans le projet Data Science and MLOps , cliquez sur l'onglet Manage .

  2. Cliquez sur la page Services et intégrations .

  3. Cliquez sur Associer un service.

  4. Cochez la case à côté de votre instance de service watsonx.ai Runtime.

  5. Cliquez sur Associer.

  6. Cliquez sur Annuler pour revenir à la page Services & Intégrations .

Icône de point de contrôle Vérifier votre progression

L'image suivante montre la page Services and Integrations avec le service watsonx.ai Runtime listé. Vous êtes maintenant prêt à créer l'exemple de projet.

Associer le service au projet




Tâche 1: Afficher les actifs dans l'exemple de projet

vidéo du tutoriel d'aperçu Pour avoir un aperçu de cette tâche, regardez la vidéo à partir de 02:37.

L'exemple de projet inclut plusieurs actifs, notamment une connexion, une définition de données, un flux Data Refinery et un pipeline. Pour afficher ces actifs, procédez comme suit:

  1. Cliquez sur l'onglet Actifs dans le projet Data Science and MLOps , puis affichez Tous les actifs.

  2. Affichez la liste des actifs de données utilisés dans le flux Data Refinery et le pipeline. Ces actifs sont stockés dans une connexion Data Fabric Trial- Db2 Warehouse dans le schéma AI_HYPOTHÈQUE . Cliquez sur Import assets, puis accédez à Data Fabric Trial- Db2 Warehouse > AI_HYPOTHÈQUE. L'image suivante montre les actifs de cette connexion:

    Tables Db2 Warehouse

  3. Le flux Mortgage_Data_Approvals_flow Data Refinery intègre des données sur chaque demandeur d'hypothèque. Les données intégrées incluent des informations personnelles identifiables, avec les détails de leur demande, les scores de crédit, le statut d'acheteur commercial et, enfin, les prix de la résidence choisie par chaque candidat. Le flux crée ensuite un fichier séquentiel nommé Mortgage_Data_with_Approvals_DS.csv dans le projet contenant les données jointes. L'image suivante montre le flux Mortgage_Data_Approvals_flow Data Refinery :

    Flux d'approbations des données hypothécaires

Icône de point de contrôle Vérifier votre progression

L'image suivante montre tous les actifs de l'exemple de projet. Vous êtes maintenant prêt à explorer le pipeline dans l'exemple de projet.

L'image suivante montre tous les actifs de l'exemple de projet.




Tâche 2: Explorer un pipeline existant

vidéo du tutoriel d'aperçu Pour avoir un aperçu de cette tâche, regardez la vidéo à partir de 03:25.

L'exemple de projet inclut un pipeline d'orchestration qui automatise les tâches suivantes:

  • Exécutez un travail Data Refinery existant.

  • Créez une expérimentation AutoAI .

  • Exécutez l'expérimentation AutoAI et sauvegardez le modèle le plus performant qui utilise le fichier de sortie résultant du travail Data Refinery comme données d'entraînement.

  • Créez un espace de déploiement.

  • Promouvez le modèle sauvegardé dans l'espace de déploiement.

Procédez comme suit pour explorer le pipeline:

  1. Dans l'onglet Actifs du projet Data Science and MLOps , affichez Tous les actifs.

  2. Cliquez sur Pipeline d'approbation hypothécaire-Science des données pour ouvrir le pipeline.

  3. Cliquez deux fois sur le travail Intégrer les données d'approbation d'hypothèque Data Refinery , qui combine diverses tables de la connexion Db2 Warehouse on Cloud dans un ensemble de données étiqueté cohérent qui est utilisé comme données d'entraînement pour l'expérimentation AutoAI . Cliquez sur Annuler pour revenir au pipeline.

  4. Cliquez sur la condition Vérifier l'état et choisissez Editer. Cette condition est un point de décision dans le pipeline pour confirmer l'achèvement du travail Data Refinery avec la valeur Terminé ou Terminé avec des avertissements. Cliquez sur Annuler pour revenir au pipeline.

  5. Cliquez deux fois sur le noeud Créer une expérimentation AutoAI pour afficher les paramètres. Ce noeud crée une expérimentation AutoAI avec les paramètres.

    1. Passez en revue les valeurs des paramètres suivants:

      • Nom de l'expérimentation AutoAI

      • Portée

      • Type de prévision

      • Colonne de prévision

      • Classe positive

      • Ratio de division des données d'entraînement

      • Algorithmes à inclure

      • Algorithmes à utiliser

      • Métrique d'optimisation

    2. Cliquez sur Annuler pour fermer les paramètres.

  6. Cliquez deux fois sur le noeud Exécuter l'expérimentation AutoAI pour afficher les paramètres. Ce noeud exécute l'expérimentation AutoAI qui est créée par le noeud Créer une expérimentation AutoAI qui utilise la sortie du travail Intégrer l'approbation hypothécaire Data Refinery comme données de formation.

    1. Passez en revue les valeurs des paramètres suivants:

      • expérimentation AutoAI

      • Actifs de données d'entraînement

      • Préfixe de nom de modèle

    2. Cliquez sur Annuler pour fermer les paramètres.

  7. Entre les noeuds Exécuter l'expérimentation AutoAI et Créer un espace de déploiement , cliquez sur Voulez-vous déployer le modèle? et choisissez Editer. La valeur de True pour cette condition est un point de décision dans le pipeline pour continuer à créer l'espace de déploiement. Cliquez sur Annuler pour revenir au pipeline.

  8. Cliquez deux fois sur le noeud Créer un espace de déploiement pour mettre à jour les paramètres. Ce nœud crée un nouvel espace de déploiement avec le nom spécifié, et requiert des entrées pour vos services Cloud Object Storage et watsonx.ai Runtime.

    1. Vérifiez la valeur du paramètre Nouveau nom d'espace .

    2. Pour la zone Nouveau CRN d'instance COS d'espace , sélectionnez votre instance Cloud Object Storage dans la liste.

    3. Dans le champ New space WML Instance CRN, sélectionnez votre instance watsonx.ai Runtime dans la liste.

    4. Cliquez sur Sauvegarder.

  9. Cliquez deux fois sur le noeud Promouvoir le modèle dans l'espace de déploiement pour afficher les paramètres. Ce noeud promeut le meilleur modèle à partir du noeud Exécuter l'expérimentation AutoAI vers l'espace de déploiement créé à partir du noeud Créer un espace de déploiement .

    1. Passez en revue les valeurs des paramètres suivants:

      • Actifs source

      • cible

    2. Cliquez sur Annuler pour fermer les paramètres.

Icône de point de contrôle Vérifier votre progression

L'image suivante montre le pipeline initial. Vous êtes maintenant prêt à éditer le pipeline pour ajouter un noeud.

Pipeline initial




Tâche 3: Ajouter un noeud au pipeline

vidéo du tutoriel d'aperçu Pour avoir un aperçu de cette tâche, regardez la vidéo à partir de 05:41.

Le pipeline crée le modèle, crée un espace de déploiement, puis le promeut dans un espace de déploiement. Vous devez ajouter un noeud pour créer un déploiement en ligne. Procédez comme suit pour éditer le pipeline afin d'automatiser la création d'un déploiement en ligne:

  1. Ajoutez le noeud Créer un déploiement en ligne à l'espace de travail:

    1. Développez la section Créer dans la palette de noeuds.

    2. Faites glisser le noeud Créer un déploiement en ligne sur l'espace de travail et déposez le noeud après le noeud Promouvoir le modèle dans l'espace de déploiement .

  2. Survolez le noeud Promouvoir le modèle dans l'espace de déploiement pour voir la flèche. Connectez la flèche au noeud Créer un déploiement en ligne .

    Remarque: les noms de noeud dans votre pipeline peuvent différer de l'image animée suivante.

    Noeuds de connexion de pipeline

  3. Connectez le commentaire Créer un déploiement en ligne pour le modèle promu au noeud Créer un déploiement en ligne en connectant le cercle de la zone de commentaire au noeud.

    Remarque: les noms de noeud dans votre pipeline peuvent différer de l'image animée suivante.

    Commentaire de pipeline

  4. Cliquez deux fois sur le noeud Créer un déploiement en ligne pour afficher les paramètres.

  5. Remplacez le nom de noeud par Create Online Deployment.

  6. En regard de Actif ML, cliquez sur Sélectionner dans un autre noeud dans le menu.

    Sélectionner à partir d'un autre actif ML de noeud

  7. Sélectionnez le noeud Promouvoir le modèle dans l'espace de déploiement dans la liste. L'ID de noeud winning_model est sélectionné.

  8. Pour Nouveau nom de déploiement, entrez Mortgage approval model deployment - Data Science.

  9. Pour Mode de création, sélectionnez Ecraser.

  10. Cliquez sur Sauvegarder pour sauvegarder les paramètres du noeud Créer un déploiement en ligne .

Icône de point de contrôle Vérifier votre progression

L'image suivante montre le pipeline terminé. Vous êtes maintenant prêt à exécuter le pipeline.

Pipeline terminé




Tâche 4: Exécuter le pipeline

vidéo du tutoriel d'aperçu Pour avoir un aperçu de cette tâche, regardez la vidéo à partir de 06:57.

Maintenant que le pipeline est terminé, procédez comme suit pour l'exécuter:

  1. Dans la barre d'outils, cliquez sur Exécuter le pipeline > Exécuter l'essai.

  2. Sur la page Définir les paramètres de pipeline , sélectionnez True pour le déploiement.

    • Si la valeur est True, le pipeline vérifie le modèle déployé et attribue un score au modèle.

    • Si la valeur est False, le pipeline vérifie que le modèle a été créé dans le projet par l'expérimentation AutoAI et passe en revue les informations du modèle et les métriques d'entraînement.

  3. Fournissez une clé d'API si c'est la première fois que vous exécutez un pipeline. Les actifs de pipeline utilisent votre clé d'API IBM Cloud personnelle pour exécuter des opérations en toute sécurité sans interruption.

    • Si vous disposez d'une clé d'API existante, cliquez sur Utiliser une clé d'API existante, collez la clé d'API, puis cliquez sur Sauvegarder.

    • Si vous ne disposez pas d'une clé d'API existante, cliquez sur Générer une nouvelle clé d'API, indiquez un nom et cliquez sur Sauvegarder. Copiez la clé d'API, puis sauvegardez-la pour une utilisation ultérieure. Lorsque vous avez terminé, cliquez sur Fermer.

  4. Cliquez sur Exécuter pour lancer l'exécution du pipeline.

  5. Surveillez la progression du pipeline.

    1. Faites défiler les journaux consolidés pendant que le pipeline est en cours d'exécution. L'exécution de l'essai peut prendre jusqu'à 10 minutes.

    2. A mesure que chaque opération se termine, sélectionnez le noeud correspondant à cette opération dans l'espace de travail.

    3. Dans l'onglet Inspecteur de noeud , affichez les détails de l'opération.

    4. Cliquez sur l'onglet Sortie de noeud pour afficher un récapitulatif de la sortie de chaque opération de noeud.

Icône de point de contrôle Vérifier votre progression

L'image suivante montre le pipeline une fois l'exécution de l'essai terminée. Vous êtes maintenant prêt à passer en revue les actifs créés par le pipeline.

Exécution du pipeline terminée




Tâche 5: Afficher les actifs, le modèle déployé et le déploiement en ligne

vidéo du tutoriel d'aperçu Pour avoir un aperçu de cette tâche, regardez la vidéo à partir de 08:58.

Le pipeline a créé plusieurs actifs. Pour afficher les actifs, procédez comme suit:

  1. Cliquez sur le nom de projet Data Science and MLOps dans la trace de navigation pour revenir au projet.

    Trace de navigation

  2. Dans l'onglet Actifs , affichez Tous les actifs.

  3. Affichez les actifs de données.

    1. Cliquez sur l'actif de données Mortgage_Data_with_Approvals_DS.csv . Le travail Data Refinery a créé cet actif.

    2. Cliquez sur le nom de projet Data Science and MLOps dans la trace de navigation pour revenir à l'onglet Actifs .

  4. Affichez le modèle.

    1. Cliquez sur l'actif de modèle d'apprentissage automatique commençant par ds_mortgage_approval_best_model. L'expérimentation AutoAI a généré plusieurs modèles candidats et a choisi ce modèle comme meilleur modèle. Sauvegardez ce nom de modèle dans un fichier texte. Le nom de modèle est requis pour configurer les moniteurs Watson OpenScale dans la tâche suivante.

    2. Faites défiler les informations du modèle.

    3. Cliquez sur le nom de projet Data Science and MLOps dans la trace de navigation pour revenir à l'onglet Actifs .

  5. Cliquez sur l'onglet Travaux du projet pour afficher des informations sur les travaux Data Refinery et Pipeline.

  6. Ouvrez l'espace de déploiement que vous avez créé avec le pipeline.

    1. Dans le menu de navigation " Menu de navigation, sélectionnez Déploiements.

    2. Cliquez sur l'onglet Espaces .

    3. Cliquez sur l'espace de déploiement Mortgage approbation-Data Science and MLOps .

  7. Cliquez sur l'onglet Actifs et affichez le modèle déployé commençant par ds_mortgage_approval_best_model.

  8. Cliquez sur l'onglet Déploiements.

  9. Cliquez sur Déploiement de modèle d'approbation hypothécaire-Science des données pour afficher le déploiement.

    1. Dans l'onglet Référence d'API , affichez le noeud final d'API et les fragments de code.

    2. Cliquez sur l'onglet Tester.

    3. Cliquez sur l'onglet Entrée JSON et remplacez l'exemple de texte par le texte JSON suivant.

      {
        "input_data": [
                {
                        "fields": [
                                "ID",
                                "NAME",
                                "STREET_ADDRESS",
                                "CITY",
                                "STATE",
                                "STATE_CODE",
                                "ZIP_CODE",
                                "EMAIL_ADDRESS",
                                "PHONE_NUMBER",
                                "GENDER",
                                "SOCIAL_SECURITY_NUMBER",
                                "EDUCATION",
                                "EMPLOYMENT_STATUS",
                                "MARITAL_STATUS",
                                "INCOME",
                                "APPLIEDONLINE",
                                "RESIDENCE",
                                "YRS_AT_CURRENT_ADDRESS",
                                "YRS_WITH_CURRENT_EMPLOYER",
                                "NUMBER_OF_CARDS",
                                "CREDITCARD_DEBT",
                                "LOANS",
                                "LOAN_AMOUNT",
                                "CREDIT_SCORE",
                                "CRM_ID",
                                "COMMERCIAL_CLIENT",
                                "COMM_FRAUD_INV",
                                "FORM_ID",
                                "PROPERTY_CITY",
                                "PROPERTY_STATE",
                                "PROPERTY_VALUE",
                                "AVG_PRICE"
                        ],
                        "values": [
                                [
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        "Bachelor",
                                        "Employed",
                                        null,
                                        144306,
                                        null,
                                        "Owner Occupier",
                                        15,
                                        19,
                                        2,
                                        7995,
                                        1,
                                        1483220,
                                        437,
                                        null,
                                        false,
                                        false,
                                        null,
                                        null,
                                        null,
                                        111563,
                                        null
                                ],
                                [
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        null,
                                        "High School",
                                        "Employed",
                                        null,
                                        45283,
                                        null,
                                        "Private Renting",
                                        11,
                                        13,
                                        1,
                                        1232,
                                        1,
                                        7638,
                                        706,
                                        null,
                                        false,
                                        false,
                                        null,
                                        null,
                                        null,
                                        54262,
                                        null
                                ]
                        ]
                }
        ]
      }
      
    4. Cliquez sur Prévoir. Les résultats montrent que le premier candidat ne sera pas approuvé et que le deuxième candidat sera approuvé.

Icône de point de contrôle Vérifier votre progression

L'image suivante montre les résultats du test. Les scores de confiance de votre test peuvent être différents des scores affichés dans l'image.

Prévisions des résultats de test




Tâche 6: Exécuter le bloc-notes pour configurer les moniteurs Watson OpenScale

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo à partir de 10:40.

Vous êtes maintenant prêt à exécuter le bloc-notes inclus dans l'exemple de projet. Le bloc-notes inclut le code pour:

  • Extrayez le modèle et les déploiements.
  • Configurez Watson OpenScale.
  • Créez le fournisseur de services et l'abonnement pour votre service d'apprentissage automatique.
  • Configurez le moniteur de qualité.
  • Configurez le moniteur d'équité.
  • Configurez l'explicabilité.

Procédez comme suit pour exécuter le bloc-notes inclus dans le projet exemple. Prenez le temps de lire les commentaires du bloc-notes, qui expliquent le code de chaque cellule.

  1. Dans le menu de navigation " Menu de navigation, choisissez Projets > Afficher tous les projets.

  2. Cliquez sur le nom de projet Data Science and MLOps .

  3. Cliquez sur l'onglet Actifs, puis naviguez jusqu'à Carnets de notes.
    'Navigation de gauche

  4. Ouvrez le bloc-notes monitor-wml-model-with-watson-openscale-pipeline .

  5. Cliquez sur l'icône d'édition " Editer pour placer le carnet en mode édition.

  6. Lorsque vous importez un projet à partir du concentrateur de ressources, la première cellule du bloc-notes contient le jeton d'accès au projet. Si ce bloc-notes ne contient pas de première cellule avec un jeton d'accès de projet, vous devez générer le jeton. Dans le menu Plus, sélectionnez Insérer un jeton de projet. Cette action insère une nouvelle cellule comme première cellule du bloc-notes contenant le jeton de projet.

  7. Indiquez votre clé d'API dans la section Fournir votre clé d'API IBM Cloud . Vous devez transmettre vos informations d'identification à l'API d'exécution watsonx.ai à l'aide d'une clé d'API. Si vous ne disposez pas déjà d'une clé d'API sauvegardée, procédez comme suit pour créer une clé d'API.
    vidéo du tutoriel d'aperçu Pour avoir un aperçu de cette tâche, regardez la vidéo à partir de 04:55.

    1. Accédez à la page des clés API de la consoleIBM Cloud

    2. Cliquez sur Créer une clé d'API IBM Cloud. Si vous disposez de clés d'API existantes, le bouton peut être intitulé Créer.

    3. Entrez un nom et une description.

    4. Cliquez sur Créer.

    5. Copier la clé de l'API.

    6. Téléchargez la clé de l'API pour une utilisation ultérieure.

    7. Revenez au bloc-notes et collez votre clé d'API dans la zone ibmcloud_api_key .

  8. Dans la section 3. Model and Deployment, pour la variable model_name , collez le nom de modèle que vous avez sauvegardé dans un fichier texte dans la tâche précédente. Les zones nom_espace et nom_déploiement sont renseignées pour vous à l'aide des noms spécifiés dans le pipeline.

  9. Cliquez sur Cellule > Exécuter tout pour exécuter toutes les cellules du bloc-notes. Vous pouvez également cliquer sur l'icône Exécuter " Exécuter pour exécuter le bloc-notes cellule par cellule afin d'explorer chaque cellule et son résultat.

  10. Surveillez la progression cellule par cellule, en remarquant que l'astérisque "In [*]" est modifié en nombre, par exemple, "In [1]". L'exécution du bloc-notes prend de 1 à 3 minutes.

  11. Essayez ces conseils si vous rencontrez des erreurs lors de l'exécution du bloc-notes:

    • Cliquez sur Noyau > Redémarrer & Effacer la sortie pour redémarrer le noyau, puis exécutez à nouveau le bloc-notes.
    • Vérifiez que vous avez copié et collé le nom de déploiement exactement sans espaces de début ou de fin.

Icône de point de contrôle Vérifier votre progression

L'image suivante montre le bloc-notes lorsque l'exécution est terminée. Le bloc-notes a sauvegardé le modèle dans le projet, vous êtes donc prêt à évaluer le modèle.

Exécution du bloc-notes terminée




Tâche 7: Evaluer le modèle

vidéo du tutoriel d'aperçu Pour avoir un aperçu de cette tâche, regardez la vidéo à partir de 13:35.

Procédez comme suit pour évaluer le modèle dans Watson OpenScale:

  1. Cliquez sur le projet Data Science and MLOps dans la piste de navigation.
    'Trace de navigation

  2. Dans l'onglet Actifs , développez le type d'actif Données , puis cliquez sur Actifs de données.

  3. Cliquez sur le menu de débordement " Menu déroulant dynamique pour l'actif de données mortgage_sample_test_data.csv et choisissez Télécharger. Pour vérifier que le modèle fonctionne comme requis, vous avez besoin d'un ensemble de données étiquetées, qui ont été retenues à partir de l'entraînement du modèle. Ce fichier CSV contient les données de l'élément restant.

  4. Lancez Watson OpenScale.

    1. Dans le menu de navigation " Menu de navigation, choisissez Services > Instances de service.

    2. Cliquez sur le nom de votre instance Watson OpenScale . Si vous y êtes invité, connectez-vous à l'aide des mêmes données d'identification que celles que vous avez utilisées pour vous inscrire à Cloud Pak for Data.

    3. Sur la page de l'instance de service Watson OpenScale, cliquez sur Lancer l'application.

  5. Dans le tableau de bord Insights, cliquez sur la vignette Mortgage approbation model deployment-Data Science .

  6. Dans le menu Actions, sélectionnez Évaluer maintenant.

  7. Dans la liste des options d'importation, sélectionnez à partir d'un fichier CSV.

  8. Faites glisser le fichier de données mortgage_sample_test_data.csv que vous avez téléchargé à partir du projet dans le panneau latéral.

  9. Cliquez sur Télécharger et évaluer. L'évaluation peut prendre plusieurs minutes.

Icône de point de contrôle Vérifier votre progression

L'image suivante montre le résultat de l'évaluation du modèle déployé dans Watson OpenScale. Maintenant que vous avez évalué le modèle, vous êtes prêt à observer la qualité du modèle.

modèle évalué




Tâche 8: Observation de la qualité des moniteurs de modèle

vidéo du tutoriel d'aperçu Pour avoir un aperçu de cette tâche, regardez la vidéo à partir de 14:44.

Le moniteur de qualité Watson OpenScale génère un ensemble de métriques pour évaluer la qualité de votre modèle. Vous pouvez utiliser ces indicateurs de qualité pour déterminer dans quelle mesure votre modèle prédit les résultats. Une fois l'évaluation qui utilise les données restantes terminée, procédez comme suit pour observer la qualité ou l'exactitude du modèle:

  1. Dans le panneau de navigation de gauche, cliquez sur l'icône du tableau de bord Insights " Tableau de bord Analyses.

  2. Localisez la vignette Mortgage approbation model deployment-Data Science . Notez que le déploiement comporte 0 problème et que les tests Qualité et Equité n'ont pas généré d'erreurs, ce qui signifie que le modèle a atteint les seuils requis.

    Remarque: Vous devrez peut-être actualiser le tableau de bord pour voir les mises à jour après l'évaluation.
  3. Cliquez sur la vignette Mortgage approbation model deployment-Data Science pour afficher plus de détails.

  4. Dans la section Qualité, cliquez sur l'icône Configurer " Configurer. Vous pouvez voir ici que le seuil de qualité configuré pour ce moniteur est de 70% et que la mesure de la qualité utilisée est une zone sous la courbe ROC.

  5. Cliquez sur Aller au récapitulatif du modèle pour revenir à l'écran des détails du modèle.

  6. Dans la section Qualité, cliquez sur l'icône Détails 'Détails pour voir les résultats détaillés de la qualité du modèle. Vous voyez ici un certain nombre de calculs de métriques de qualité et une matrice de confusion affichant des décisions de modèle correctes ainsi que des faux positifs et des faux négatifs. L'aire calculée sous la courbe ROC est 0.9 ou supérieure, ce qui dépasse le seuil 0.7 , de sorte que le modèle répond à ses exigences de qualité.

  7. Cliquez sur Déploiement du modèle d'approbation hypothécaire-Science des données dans la trace de navigation pour revenir à l'écran des détails du modèle.

Icône de point de contrôle Vérifier votre progression

L'image suivante montre les détails de la qualité dans Watson OpenScale. Les scores de qualité peuvent varier. Maintenant que vous avez observé la qualité du modèle, vous pouvez observer l'équité du modèle.

Qualité




Tâche 9: Observez l'équité des moniteurs de modèle

vidéo du tutoriel d'aperçu Pour avoir un aperçu de cette tâche, regardez la vidéo à partir de 15:59.

Le moniteur d'équité Watson OpenScale génère un ensemble de métriques pour évaluer l'équité de votre modèle. Vous pouvez utiliser les mesures d'équité pour déterminer si votre modèle produit des résultats biaisés. Pour observer l'équité du modèle, procédez comme suit:

  1. Dans la section Équité, cliquez sur l'icône de configuration " Configurer. Ici, vous voyez que le modèle est en cours de révision pour s'assurer que les candidats sont traités équitablement quel que soit leur sexe. Les femmes sont identifiées comme le groupe surveillé pour lequel l'équité est mesurée, et le seuil d'équité doit être d'au moins 80%. Le contrôleur de l'équité utilise la méthode d'impact disparate pour déterminer l'équité. L'effet Disparate compare le pourcentage de résultats favorables pour un groupe surveillé au pourcentage de résultats favorables pour un groupe de référence.

  2. Cliquez sur Aller au récapitulatif du modèle pour revenir à l'écran des détails du modèle,

  3. Dans la section Équité, cliquez sur l'icône Détails 'Détails pour voir les résultats détaillés de l'équité du modèle. Vous voyez ici le pourcentage de candidats masculins et féminins qui sont automatiquement approuvés, ainsi qu'un score d'équité d'environ 100%, de sorte que la performance du modèle dépasse de loin le seuil d'équité de 80% requis.

  4. Notez les fichiers identifiés dans la liste Fichier . Pour s'assurer que les métriques d'équité sont les plus précises, Watson OpenScale utilise la perturbation pour déterminer les résultats dans lesquels seuls les attributs protégés et les entrées de modèle associées sont modifiés, tandis que les autres fonctions restent les mêmes.La perturbation modifie les valeurs de la fonction du groupe de référence vers le groupe surveillé, ou vice-versa. Ces glissières de sécurité supplémentaires sont utilisées pour calculer l'équité lorsque le jeu de données "équilibré" est utilisé, mais vous pouvez également afficher les résultats d'équité en utilisant uniquement des données d'entraînement de contenu ou de modèle. Comme le modèle se comporte de manière équitable, il n'est pas nécessaire d'entrer dans les détails pour cette mesure.
    Ensembles de données d'équité

  5. Cliquez sur la piste de navigation Déploiement du modèle d'approbation hypothécaire-Science des données pour revenir à l'écran des détails du modèle.

Icône de point de contrôle Vérifier votre progression

L'image suivante montre les détails de l'équité dans Watson OpenScale. Maintenant que vous avez observé l'équité du modèle, vous pouvez observer l'explicabilité du modèle.

Équité




Tâche 10: Observez les moniteurs de modèle pour l'explicabilité

vidéo du tutoriel d'aperçu Pour avoir un aperçu de cette tâche, regardez la vidéo à partir de 17:42.

Vous devez comprendre comment le modèle a pris sa décision. Cette compréhension est nécessaire à la fois pour expliquer les décisions aux personnes impliquées dans l'approbation du prêt et pour s'assurer que les propriétaires de modèles sont valides. Pour comprendre ces décisions, procédez comme suit pour observer l'explicabilité du modèle:

  1. Dans le panneau de navigation de gauche, cliquez sur l'icône Expliquer une transaction " Expliquer une transaction.

  2. Sélectionnez Déploiement de modèle d'approbation hypothécaire-Science des données pour afficher la liste des transactions.

  3. Pour toute transaction, cliquez sur Expliquer sous la colonne Actions. Vous trouverez ici l'explication détaillée de cette décision.Vous verrez les entrées les plus importantes du modèle ainsi que l'importance de chaque résultat final. Les barres bleues représentent les entrées qui ont eu tendance à prendre en charge la décision du modèle, tandis que les barres rouges représentent les entrées qui ont pu conduire à une autre décision. Par exemple, un demandeur peut avoir un revenu suffisant pour être approuvé autrement, mais son faible historique de crédit et sa dette élevée conduisent le modèle à rejeter la demande.Examinez cette explication pour vous satisfaire de la base de la décision du modèle.

  4. Facultatif: si vous souhaitez approfondir la manière dont le modèle a pris sa décision, cliquez sur l'onglet Inspecter . Utilisez la fonction Inspecter pour analyser la décision afin de trouver des zones de sensibilité dans lesquelles de petites modifications apportées à quelques entrées pourraient entraîner une décision différente. Vous pouvez tester la sensibilité vous-même en remplaçant certaines des entrées réelles par des alternatives pour voir si elles ont un impact sur le résultat.

Icône de point de contrôle Vérifier votre progression

L'image suivante montre l'explicabilité d'une transaction dans Watson OpenScale. Vous avez déterminé que le modèle est exact et que tous les demandeurs sont traités équitablement. Vous pouvez maintenant faire passer le modèle à la phase suivante de son cycle de vie.

Explicabilité



L'équipe de Golden Bank a utilisé des pipelines d'orchestration pour créer un pipeline de données qui fournit des données à jour sur tous les demandeurs d'hypothèque et un modèle d'apprentissage automatique que les prêteurs peuvent utiliser pour la prise de décision. Ensuite, l'équipe a utilisé Watson OpenScale pour s'assurer que le modèle traitait tous les candidats de manière équitable.


Nettoyage (facultatif)

Si vous souhaitez reprendre ce tutoriel, supprimez les artefacts suivants.

Artefact Comment supprimer
Déploiement de modèle d'approbation hypothécaire-Science des données dans l'espace de déploiement Approbation hypothécaire-Science des données et MLOps Supprimez un déploiement
Approbation hypothécaire-Espace de déploiement Data Science and MLOps Supprimer un espace de déploiement
Exemple de projet Data Science and MLOps Supprimer un projet

Etapes suivantes

En savoir plus

Rubrique parent: Tutoriels de cas d'utilisation

Recherche et réponse à l'IA générative
Ces réponses sont générées par un modèle de langue de grande taille dans watsonx.ai en fonction du contenu de la documentation du produit. En savoir plus