Tutoriel Data Science and MLOps: Orchestration d'un pipeline d'intelligence artificielle avec la surveillance de modèle
Suivez ce tutoriel pour créer un pipeline de bout en bout afin de fournir des données concises, prétraitées et à jour stockées dans une source de données externe pour le cas d'utilisation Data Science et MLOps. Votre objectif est d'utiliser des pipelines d'orchestration pour orchestrer ce flux de travaux de bout en bout afin de générer des résultats automatisés, cohérents et reproductibles. Le pipeline utiliseData Refinery etAutoAI, qui automatise plusieurs aspects d'un processus de création de modèles tels que l'ingénierie des fonctionnalités et l'optimisation des hyperparamètres. AutoAI classe les algorithmes candidats, puis sélectionne le meilleur modèle.
L'histoire de ce tutoriel est que Golden Bank souhaite étendre son activité en offrant des renouvellements spéciaux de prêts hypothécaires à taux réduit pour les applications en ligne. Les applications en ligne augmentent le nombre de clients de la banque et réduisent les coûts de traitement des demandes de la banque. Pour aider les prêteurs à prendre des décisions, l'équipe utilisera des pipelines d'orchestration pour créer un pipeline de données qui fournit des données à jour sur tous les demandeurs d'hypothèque. Les données sont stockées dans Db2 Warehouse. Vous devez préparer les données car elles sont potentiellement incomplètes, obsolètes et peuvent être brouillées ou totalement inaccessibles en raison de la confidentialité des données et des politiques de souveraineté. L'équipe construit ensuite un modèle d'approbation de prêt hypothécaire à partir de données sécurisées, puis déploie et teste le modèle dans un environnement de préproduction. Enfin, l'équipe utilise un bloc-notes pour configurer des moniteurs Watson OpenScale , puis évalue et observe les moniteurs dans Watson OpenScale pour s'assurer que le modèle traite tous les candidats de manière équitable.
L'image animée suivante fournit un aperçu rapide de ce que vous allez accomplir à la fin de ce tutoriel. Vous allez éditer et exécuter un pipeline pour générer et déployer un modèle d'apprentissage automatique, exécuter un bloc-notes pour configurer des moniteurs et valider le modèle. Cliquez sur l'image pour afficher une image plus grande.
Aperçu du tutoriel
Dans ce tutoriel, vous exécutez les tâches suivantes :
- Configurez les prérequis.
- Tâche 1: Afficher les actifs dans l'exemple de projet.
- Tâche 2: Explorer un pipeline existant.
- Tâche 3: Ajouter un noeud au pipeline.
- Tâche 4: Exécuter le pipeline.
- Tâche 5: Afficher les actifs, le modèle déployé et le déploiement en ligne.
Si vous souhaitez continuer à voir comment surveiller le modèle à l'aide de Watson OpenScale, effectuez les tâches 6 à 10:
- Tâche 6: Exécuter le bloc-notes pour configurer les moniteurs Watson OpenScale .
- Tâche 7: Evaluer le modèle.
- Tâche 8: Observation de la qualité des moniteurs de modèle.
- Tâche 9: Observez l'équité du modèle.
- Tâche 10: Observez les moniteurs de modèle pour l'explicabilité.
- Nettoyage (facultatif)
Regardez cette vidéo pour prévisualiser les étapes de ce tutoriel. Il peut y avoir de légères différences dans l'interface utilisateur affichée dans la vidéo. La vidéo est destinée à être un compagnon du tutoriel écrit.
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Conseils pour l'exécution de ce tutoriel
Voici quelques conseils pour réussir ce tutoriel.
Utiliser la vidéo image-in-picture
L'image animée suivante montre comment utiliser les fonctions d'image vidéo et de table des matières:
Obtenir de l'aide dans la communauté
Si vous avez besoin d'aide pour ce tutoriel, vous pouvez poser une question ou trouver une réponse dans le forum de discussion de la communautéCloud Pak for Data.
Configurez les fenêtres de votre navigateur
Pour une expérience optimale lors de l'exécution de ce tutoriel, ouvrez Cloud Pak for Data dans une fenêtre de navigateur et laissez cette page de tutoriel ouverte dans une autre fenêtre de navigateur pour basculer facilement entre les deux applications. Envisagez d'organiser les deux fenêtres du navigateur côte à côte pour faciliter le suivi.
Configuration des prérequis
Inscription à Cloud Pak for Data as a Service (en anglais)
Vous devez vous inscrire à Cloud Pak for Data as a Service et mettre à disposition les services nécessaires pour le cas d'utilisation d'intégration de données.
- Si vous disposez d'un compte Cloud Pak for Data as a Service existant, vous pouvez utiliser ce tutoriel. Si vous disposez d'un compte de plan Lite, un seul utilisateur par compte peut exécuter ce tutoriel.
- Si vous ne disposez pas encore d'un compte Cloud Pak for Data as a Service , inscrivez-vous.
Vérifiez les services mis à disposition nécessaires
Pour prévisualiser cette tâche, regardez la vidéo à partir de 00:50.
Procédez comme suit pour vérifier ou mettre à disposition les services nécessaires:
Dans le menu de navigation , choisissez Services > Instances de service.
Utilisez la liste déroulante Produit pour déterminer s'il existe une instance de service Watson Studio existante.
Si vous devez créer une instance de service Watson Studio, cliquez sur Ajouter un service.
Sélectionnez Watson Studio.
Sélectionnez le plan Lite .
Cliquez sur Créer.
Attendez que le service Watson Studio soit mis à disposition, ce qui peut prendre quelques minutes.
Répétez ces étapes pour vérifier ou mettre à disposition les services supplémentaires suivants :
- Watson Machine Learning
- Cloud Object Storage
- watsonx.governance -si vous souhaitez surveiller le modèle déployé
Vérifiez votre progression
L'image suivante montre les instances de service mises à disposition:
Créez l'exemple de projet
Pour prévisualiser cette tâche, regardez la vidéo qui commence à 01:27.
Si vous disposez déjà de l'exemple de projet pour ce tutoriel, ignorez cette tâche. Sinon, procédez comme suit :
Accédez à l' exemple de projet Data Science and MLOps dans le concentrateur de ressources.
Cliquez sur Créer un projet.
Si vous êtes invité à associer le projet à une instance Cloud Object Storage, sélectionnez une instance Cloud Object Storage dans la liste.
Cliquez sur Créer.
Attendez que l'importation du projet soit terminée, puis cliquez sur Afficher le nouveau projet pour vérifier que le projet et les actifs ont été créés avec succès.
Cliquez sur l'onglet Actifs pour afficher les actifs de ce tutoriel.
Vérifiez votre progression
L'image suivante montre l'onglet Actifs dans l'exemple de projet. Vous êtes maintenant prêt à démarrer le tutoriel.
Associez le service Watson Machine Learning à l'exemple de projet
Pour prévisualiser cette tâche, regardez la vidéo qui commence à 02:17.
Vous utiliserez Watson Machine Learning pour créer et déployer le modèle. Par conséquent, suivez les étapes ci-après pour associer votre instance de service Watson Machine Learning à l'exemple de projet.
Dans le projet Data Science and MLOps , cliquez sur l'onglet Manage .
Cliquez sur la page Services et intégrations .
Cliquez sur Associer un service.
Cochez la case en regard de votre instance de service Watson Machine Learning .
Cliquez sur Associer.
Cliquez sur Annuler pour revenir à la page Services & Intégrations .
Vérifiez votre progression
L'image suivante montre la page Services et intégrations avec le service Watson Machine Learning répertorié. Vous êtes maintenant prêt à créer l'exemple de projet.
Tâche 1: Afficher les actifs dans l'exemple de projet
Pour prévisualiser cette tâche, regardez la vidéo qui commence à 02:37.
L'exemple de projet inclut plusieurs actifs, notamment une connexion, une définition de données, un flux Data Refinery et un pipeline. Pour afficher ces actifs, procédez comme suit:
Cliquez sur l'onglet Actifs dans le projet Data Science and MLOps , puis affichez Tous les actifs.
Affichez la liste des actifs de données utilisés dans le flux Data Refinery et le pipeline. Ces actifs sont stockés dans une connexion Data Fabric Trial- Db2 Warehouse dans le schéma AI_HYPOTHÈQUE . Cliquez sur Import assets, puis accédez à Data Fabric Trial- Db2 Warehouse > AI_HYPOTHÈQUE. L'image suivante montre les actifs de cette connexion:
Le flux Mortgage_Data_Approvals_flow Data Refinery intègre des données sur chaque demandeur d'hypothèque. Les données intégrées incluent des informations personnelles identifiables, avec les détails de leur demande, les scores de crédit, le statut d'acheteur commercial et, enfin, les prix de la résidence choisie par chaque candidat. Le flux crée ensuite un fichier séquentiel nommé
Mortgage_Data_with_Approvals_DS.csv
dans le projet contenant les données jointes. L'image suivante montre le flux Mortgage_Data_Approvals_flow Data Refinery :
Vérifiez votre progression
L'image suivante montre tous les actifs de l'exemple de projet. Vous êtes maintenant prêt à explorer le pipeline dans l'exemple de projet.
Tâche 2: Explorer un pipeline existant
Pour prévisualiser cette tâche, regardez la vidéo qui commence à 03:25.
L'exemple de projet inclut un pipeline d'orchestration qui automatise les tâches suivantes:
Exécutez un travail Data Refinery existant.
Créez une expérimentation AutoAI .
Exécutez l'expérimentation AutoAI et sauvegardez le modèle le plus performant qui utilise le fichier de sortie résultant du travail Data Refinery comme données d'entraînement.
Créez un espace de déploiement.
Promouvez le modèle sauvegardé dans l'espace de déploiement.
Procédez comme suit pour explorer le pipeline:
Dans l'onglet Actifs du projet Data Science and MLOps , affichez Tous les actifs.
Cliquez sur Pipeline d'approbation hypothécaire-Science des données pour ouvrir le pipeline.
Cliquez deux fois sur le travail Intégrer les données d'approbation d'hypothèque Data Refinery , qui combine diverses tables de la connexion Db2 Warehouse on Cloud dans un ensemble de données étiqueté cohérent qui est utilisé comme données d'entraînement pour l'expérimentation AutoAI . Cliquez sur Annuler pour revenir au pipeline.
Cliquez sur la condition Vérifier l'état et choisissez Editer. Cette condition est un point de décision dans le pipeline pour confirmer l'achèvement du travail Data Refinery avec la valeur Terminé ou Terminé avec des avertissements. Cliquez sur Annuler pour revenir au pipeline.
Cliquez deux fois sur le noeud Créer une expérimentation AutoAI pour afficher les paramètres. Ce noeud crée une expérimentation AutoAI avec les paramètres.
Passez en revue les valeurs des paramètres suivants:
Nom de l'expérimentation AutoAI
Portée
Type de prévision
Colonne de prévision
Classe positive
Ratio de division des données d'entraînement
Algorithmes à inclure
Algorithmes à utiliser
Métrique d'optimisation
Cliquez sur Annuler pour fermer les paramètres.
Cliquez deux fois sur le noeud Exécuter l'expérimentation AutoAI pour afficher les paramètres. Ce noeud exécute l'expérimentation AutoAI qui est créée par le noeud Créer une expérimentation AutoAI qui utilise la sortie du travail Intégrer l'approbation hypothécaire Data Refinery comme données de formation.
Passez en revue les valeurs des paramètres suivants:
expérimentation AutoAI
Actifs de données d'entraînement
Préfixe de nom de modèle
Cliquez sur Annuler pour fermer les paramètres.
Entre les noeuds Exécuter l'expérimentation AutoAI et Créer un espace de déploiement , cliquez sur Voulez-vous déployer le modèle? et choisissez Editer. La valeur de True pour cette condition est un point de décision dans le pipeline pour continuer à créer l'espace de déploiement. Cliquez sur Annuler pour revenir au pipeline.
Cliquez deux fois sur le noeud Créer un espace de déploiement pour mettre à jour les paramètres. Ce noeud crée un nouvel espace de déploiement avec le nom spécifié et nécessite une entrée pour vos services Cloud Object Storage et Watson Machine Learning .
Vérifiez la valeur du paramètre Nouveau nom d'espace .
Pour la zone Nouveau CRN d'instance COS d'espace , sélectionnez votre instance Cloud Object Storage dans la liste.
Pour la zone Nouveau CRN d'instance WML d'espace , sélectionnez votre instance Watson Machine Learning dans la liste.
Cliquez sur Sauvegarder.
Cliquez deux fois sur le noeud Promouvoir le modèle dans l'espace de déploiement pour afficher les paramètres. Ce noeud promeut le meilleur modèle à partir du noeud Exécuter l'expérimentation AutoAI vers l'espace de déploiement créé à partir du noeud Créer un espace de déploiement .
Passez en revue les valeurs des paramètres suivants:
Actifs source
cible
Cliquez sur Annuler pour fermer les paramètres.
Vérifiez votre progression
L'image suivante montre le pipeline initial. Vous êtes maintenant prêt à éditer le pipeline pour ajouter un noeud.
Tâche 3: Ajouter un noeud au pipeline
Pour prévisualiser cette tâche, regardez la vidéo qui commence à 05:41.
Le pipeline crée le modèle, crée un espace de déploiement, puis le promeut dans un espace de déploiement. Vous devez ajouter un noeud pour créer un déploiement en ligne. Procédez comme suit pour éditer le pipeline afin d'automatiser la création d'un déploiement en ligne:
Ajoutez le noeud Créer un déploiement en ligne à l'espace de travail:
Développez la section Créer dans la palette de noeuds.
Faites glisser le noeud Créer un déploiement en ligne sur l'espace de travail et déposez le noeud après le noeud Promouvoir le modèle dans l'espace de déploiement .
Survolez le noeud Promouvoir le modèle dans l'espace de déploiement pour voir la flèche. Connectez la flèche au noeud Créer un déploiement en ligne .
Remarque: les noms de noeud dans votre pipeline peuvent différer de l'image animée suivante.Connectez le commentaire Créer un déploiement en ligne pour le modèle promu au noeud Créer un déploiement en ligne en connectant le cercle de la zone de commentaire au noeud.
Remarque: les noms de noeud dans votre pipeline peuvent différer de l'image animée suivante.Cliquez deux fois sur le noeud Créer un déploiement en ligne pour afficher les paramètres.
Remplacez le nom de noeud par
Create Online Deployment
.En regard de Actif ML, cliquez sur Sélectionner dans un autre noeud dans le menu.
Sélectionnez le noeud Promouvoir le modèle dans l'espace de déploiement dans la liste. L'ID de noeud winning_model est sélectionné.
Pour Nouveau nom de déploiement, entrez
Mortgage approval model deployment - Data Science
.Pour Mode de création, sélectionnez Ecraser.
Cliquez sur Sauvegarder pour sauvegarder les paramètres du noeud Créer un déploiement en ligne .
Vérifiez votre progression
L'image suivante montre le pipeline terminé. Vous êtes maintenant prêt à exécuter le pipeline.
Tâche 4: Exécuter le pipeline
Pour prévisualiser cette tâche, regardez la vidéo qui commence à 06:57.
Maintenant que le pipeline est terminé, procédez comme suit pour l'exécuter:
Dans la barre d'outils, cliquez sur Exécuter le pipeline > Exécuter l'essai.
Sur la page Définir les paramètres de pipeline , sélectionnez True pour le déploiement.
Si la valeur est True, le pipeline vérifie le modèle déployé et attribue un score au modèle.
Si la valeur est False, le pipeline vérifie que le modèle a été créé dans le projet par l'expérimentation AutoAI et passe en revue les informations du modèle et les métriques d'entraînement.
Fournissez une clé d'API si c'est la première fois que vous exécutez un pipeline. Les actifs de pipeline utilisent votre clé d'API IBM Cloud personnelle pour exécuter des opérations en toute sécurité sans interruption.
Si vous disposez d'une clé d'API existante, cliquez sur Utiliser une clé d'API existante, collez la clé d'API, puis cliquez sur Sauvegarder.
Si vous ne disposez pas d'une clé d'API existante, cliquez sur Générer une nouvelle clé d'API, indiquez un nom et cliquez sur Sauvegarder. Copiez la clé d'API, puis sauvegardez-la pour une utilisation ultérieure. Lorsque vous avez terminé, cliquez sur Fermer.
Cliquez sur Exécuter pour lancer l'exécution du pipeline.
Surveillez la progression du pipeline.
Faites défiler les journaux consolidés pendant que le pipeline est en cours d'exécution. L'exécution de l'essai peut prendre jusqu'à 10 minutes.
A mesure que chaque opération se termine, sélectionnez le noeud correspondant à cette opération dans l'espace de travail.
Dans l'onglet Inspecteur de noeud , affichez les détails de l'opération.
Cliquez sur l'onglet Sortie de noeud pour afficher un récapitulatif de la sortie de chaque opération de noeud.
Vérifiez votre progression
L'image suivante montre le pipeline une fois l'exécution de l'essai terminée. Vous êtes maintenant prêt à passer en revue les actifs créés par le pipeline.
Tâche 5: Afficher les actifs, le modèle déployé et le déploiement en ligne
Pour prévisualiser cette tâche, regardez la vidéo qui commence à 08:58.
Le pipeline a créé plusieurs actifs. Pour afficher les actifs, procédez comme suit:
Cliquez sur le nom de projet Data Science and MLOps dans la trace de navigation pour revenir au projet.
Dans l'onglet Actifs , affichez Tous les actifs.
Affichez les actifs de données.
Cliquez sur l'actif de données Mortgage_Data_with_Approvals_DS.csv . Le travail Data Refinery a créé cet actif.
Cliquez sur le nom de projet Data Science and MLOps dans la trace de navigation pour revenir à l'onglet Actifs .
Affichez le modèle.
Cliquez sur l'actif de modèle d'apprentissage automatique commençant par ds_mortgage_approval_best_model. L'expérimentation AutoAI a généré plusieurs modèles candidats et a choisi ce modèle comme meilleur modèle. Sauvegardez ce nom de modèle dans un fichier texte. Le nom de modèle est requis pour configurer les moniteurs Watson OpenScale dans la tâche suivante.
Faites défiler les informations du modèle.
Cliquez sur le nom de projet Data Science and MLOps dans la trace de navigation pour revenir à l'onglet Actifs .
Cliquez sur l'onglet Travaux du projet pour afficher des informations sur les travaux Data Refinery et Pipeline.
Ouvrez l'espace de déploiement que vous avez créé avec le pipeline.
Dans le menu de navigation , sélectionnez Déploiements.
Cliquez sur l'onglet Espaces .
Cliquez sur l'espace de déploiement Mortgage approbation-Data Science and MLOps .
Cliquez sur l'onglet Actifs et affichez le modèle déployé commençant par ds_mortgage_approval_best_model.
Cliquez sur l'onglet Déploiements.
Cliquez sur Déploiement de modèle d'approbation hypothécaire-Science des données pour afficher le déploiement.
Dans l'onglet Référence d'API , affichez le noeud final d'API et les fragments de code.
Cliquez sur l'onglet Tester.
Cliquez sur l'onglet Entrée JSON et remplacez l'exemple de texte par le texte JSON suivant.
{ "input_data": [ { "fields": [ "ID", "NAME", "STREET_ADDRESS", "CITY", "STATE", "STATE_CODE", "ZIP_CODE", "EMAIL_ADDRESS", "PHONE_NUMBER", "GENDER", "SOCIAL_SECURITY_NUMBER", "EDUCATION", "EMPLOYMENT_STATUS", "MARITAL_STATUS", "INCOME", "APPLIEDONLINE", "RESIDENCE", "YRS_AT_CURRENT_ADDRESS", "YRS_WITH_CURRENT_EMPLOYER", "NUMBER_OF_CARDS", "CREDITCARD_DEBT", "LOANS", "LOAN_AMOUNT", "CREDIT_SCORE", "CRM_ID", "COMMERCIAL_CLIENT", "COMM_FRAUD_INV", "FORM_ID", "PROPERTY_CITY", "PROPERTY_STATE", "PROPERTY_VALUE", "AVG_PRICE" ], "values": [ [ null, null, null, null, null, null, null, null, null, null, null, "Bachelor", "Employed", null, 144306, null, "Owner Occupier", 15, 19, 2, 7995, 1, 1483220, 437, null, false, false, null, null, null, 111563, null ], [ null, null, null, null, null, null, null, null, null, null, null, "High School", "Employed", null, 45283, null, "Private Renting", 11, 13, 1, 1232, 1, 7638, 706, null, false, false, null, null, null, 54262, null ] ] } ] }
Cliquez sur Prévoir. Les résultats montrent que le premier candidat ne sera pas approuvé et que le deuxième candidat sera approuvé.
Vérifiez votre progression
L'image suivante montre les résultats du test. Les scores de confiance de votre test peuvent être différents des scores affichés dans l'image.
Tâche 6: Exécuter le bloc-notes pour configurer les moniteurs Watson OpenScale
Pour prévisualiser cette tâche, regardez la vidéo à partir de 10:40.
Vous êtes maintenant prêt à exécuter le bloc-notes inclus dans l'exemple de projet. Le bloc-notes inclut le code pour:
- Extrayez le modèle et les déploiements.
- Configurez Watson OpenScale.
- Créez le fournisseur de services et l'abonnement pour votre service d'apprentissage automatique.
- Configurez le moniteur de qualité.
- Configurez le moniteur d'équité.
- Configurez l'explicabilité.
Procédez comme suit pour exécuter le bloc-notes inclus dans le projet exemple. Prenez le temps de lire les commentaires du bloc-notes, qui expliquent le code de chaque cellule.
Dans le menu de navigation , choisissez Projets > Afficher tous les projets.
Cliquez sur le nom de projet Data Science and MLOps .
Cliquez sur l'onglet Actifs , puis accédez à Notebooks.
Ouvrez le bloc-notes monitor-wml-model-with-watson-openscale-pipeline .
Cliquez sur l'icône Editer pour placer le bloc-notes en mode édition.
Lorsque vous importez un projet à partir du concentrateur de ressources, la première cellule du bloc-notes contient le jeton d'accès au projet. Si ce bloc-notes ne contient pas de première cellule avec un jeton d'accès de projet, vous devez générer le jeton. Dans le menu Plus, sélectionnez Insérer un jeton de projet. Cette action insère une nouvelle cellule comme première cellule du bloc-notes contenant le jeton de projet.
Indiquez votre clé d'API dans la section Fournir votre clé d'API IBM Cloud . Vous devez transmettre vos données d'identification à l'API Watson Machine Learning à l'aide d'une clé d'API. Si vous ne disposez pas déjà d'une clé d'API sauvegardée, procédez comme suit pour créer une clé d'API.
Pour prévisualiser cette tâche, regardez la vidéo qui commence à 04:55.Accédez à la page des clés d'API de la consoleIBM Cloud.
Cliquez sur Créer une clé d'API IBM Cloud. Si vous disposez de clés d'API existantes, le bouton peut être intitulé Créer.
Entrez un nom et une description.
Cliquez sur Créer.
Copier la clé de l'API.
Téléchargez la clé de l'API pour une utilisation ultérieure.
Revenez au bloc-notes et collez votre clé d'API dans la zone ibmcloud_api_key .
Dans la section 3. Model and Deployment, pour la variable model_name , collez le nom de modèle que vous avez sauvegardé dans un fichier texte dans la tâche précédente. Les zones nom_espace et nom_déploiement sont renseignées pour vous à l'aide des noms spécifiés dans le pipeline.
Cliquez sur Cellule > Exécuter tout pour exécuter toutes les cellules du bloc-notes. Vous pouvez également cliquer sur l'icône Exécuter pour exécuter le bloc-notes cellule par cellule afin d'explorer chaque cellule et sa sortie.
Surveillez la progression cellule par cellule, en remarquant que l'astérisque "In [
*
]" est modifié en nombre, par exemple, "In [1
]". L'exécution du bloc-notes prend de 1 à 3 minutes.Essayez ces conseils si vous rencontrez des erreurs lors de l'exécution du bloc-notes:
- Cliquez sur Noyau > Redémarrer & Effacer la sortie pour redémarrer le noyau, puis exécutez à nouveau le bloc-notes.
- Vérifiez que vous avez copié et collé le nom de déploiement exactement sans espaces de début ou de fin.
Vérifiez votre progression
L'image suivante montre le bloc-notes lorsque l'exécution est terminée. Le bloc-notes a sauvegardé le modèle dans le projet, vous êtes donc prêt à évaluer le modèle.
Tâche 7: Evaluer le modèle
Pour prévisualiser cette tâche, regardez la vidéo qui commence à 13:35.
Procédez comme suit pour évaluer le modèle dans Watson OpenScale:
Cliquez sur le projet Data Science and MLOps dans la trace de navigation.
Dans l'onglet Actifs , développez le type d'actif Données , puis cliquez sur Actifs de données.
Cliquez sur le menu Dépassement de l'actif de données mortgage_sample_test_data.csv et choisissez Télécharger. Pour vérifier que le modèle fonctionne comme requis, vous avez besoin d'un ensemble de données étiquetées, qui ont été retenues à partir de l'entraînement du modèle. Ce fichier CSV contient les données de l'élément restant.
Lancez Watson OpenScale.
Dans le menu de navigation , choisissez Services > Instances de service.
Cliquez sur le nom de votre instance Watson OpenScale . Si vous y êtes invité, connectez-vous à l'aide des mêmes données d'identification que celles que vous avez utilisées pour vous inscrire à Cloud Pak for Data.
Sur la page de l'instance de service Watson OpenScale, cliquez sur Lancer l'application.
Dans le tableau de bord Insights, cliquez sur la vignette Mortgage approbation model deployment-Data Science .
Dans le menu Actions, sélectionnez Évaluer maintenant.
Dans la liste des options d'importation, sélectionnez à partir d'un fichier CSV.
Faites glisser le fichier de données mortgage_sample_test_data.csv que vous avez téléchargé à partir du projet dans le panneau latéral.
Cliquez sur Télécharger et évaluer. L'évaluation peut prendre plusieurs minutes.
Vérifiez votre progression
L'image suivante montre le résultat de l'évaluation du modèle déployé dans Watson OpenScale. Maintenant que vous avez évalué le modèle, vous êtes prêt à observer la qualité du modèle.
Tâche 8: Observation de la qualité des moniteurs de modèle
Pour prévisualiser cette tâche, regardez la vidéo qui commence à 14:44.
Le moniteur de qualité Watson OpenScale génère un ensemble de métriques pour évaluer la qualité de votre modèle. Vous pouvez utiliser ces indicateurs de qualité pour déterminer dans quelle mesure votre modèle prédit les résultats. Une fois l'évaluation qui utilise les données restantes terminée, procédez comme suit pour observer la qualité ou l'exactitude du modèle:
Dans le panneau de navigation de gauche, cliquez sur l'icône Tableau de bord Insights .
Localisez la vignette Mortgage approbation model deployment-Data Science . Notez que le déploiement comporte 0 problème et que les tests Qualité et Equité n'ont pas généré d'erreurs, ce qui signifie que le modèle a atteint les seuils requis.
Remarque: Vous devrez peut-être actualiser le tableau de bord pour voir les mises à jour après l'évaluation.Cliquez sur la vignette Mortgage approbation model deployment-Data Science pour afficher plus de détails.
Dans la section Qualité , cliquez sur l'icône Configurer . Vous pouvez voir ici que le seuil de qualité configuré pour ce moniteur est de 70% et que la mesure de la qualité utilisée est une zone sous la courbe ROC.
Cliquez sur Aller au récapitulatif du modèle pour revenir à l'écran des détails du modèle.
Dans la section Qualité , cliquez sur l'icône Détails pour afficher les résultats détaillés de la qualité de modèle. Vous voyez ici un certain nombre de calculs de métriques de qualité et une matrice de confusion affichant des décisions de modèle correctes ainsi que des faux positifs et des faux négatifs. L'aire calculée sous la courbe ROC est 0.9 ou supérieure, ce qui dépasse le seuil 0.7 , de sorte que le modèle répond à ses exigences de qualité.
Cliquez sur Déploiement du modèle d'approbation hypothécaire-Science des données dans la trace de navigation pour revenir à l'écran des détails du modèle.
Vérifiez votre progression
L'image suivante montre les détails de la qualité dans Watson OpenScale. Les scores de qualité peuvent varier. Maintenant que vous avez observé la qualité du modèle, vous pouvez observer l'équité du modèle.
Tâche 9: Observez l'équité des moniteurs de modèle
Pour prévisualiser cette tâche, regardez la vidéo qui commence à 15:59.
Le moniteur d'équité Watson OpenScale génère un ensemble de métriques pour évaluer l'équité de votre modèle. Vous pouvez utiliser les mesures d'équité pour déterminer si votre modèle produit des résultats biaisés. Pour observer l'équité du modèle, procédez comme suit:
Dans la section Equité , cliquez sur l'icône Configurer . Ici, vous voyez que le modèle est en cours de révision pour s'assurer que les candidats sont traités équitablement quel que soit leur sexe. Les femmes sont identifiées comme le groupe surveillé pour lequel l'équité est mesurée, et le seuil d'équité doit être d'au moins 80%. Le contrôleur de l'équité utilise la méthode d'impact disparate pour déterminer l'équité. L'effet Disparate compare le pourcentage de résultats favorables pour un groupe surveillé au pourcentage de résultats favorables pour un groupe de référence.
Cliquez sur Aller au récapitulatif du modèle pour revenir à l'écran des détails du modèle,
Dans la section Equité , cliquez sur l'icône Détails pour afficher les résultats détaillés de l'équité du modèle. Vous voyez ici le pourcentage de candidats masculins et féminins qui sont automatiquement approuvés, ainsi qu'un score d'équité d'environ 100%, de sorte que la performance du modèle dépasse de loin le seuil d'équité de 80% requis.
Notez les fichiers identifiés dans la liste Fichier . Pour s'assurer que les métriques d'équité sont les plus précises, Watson OpenScale utilise la perturbation pour déterminer les résultats dans lesquels seuls les attributs protégés et les entrées de modèle associées sont modifiés, tandis que les autres fonctions restent les mêmes.La perturbation modifie les valeurs de la fonction du groupe de référence vers le groupe surveillé, ou vice-versa. Ces glissières de sécurité supplémentaires sont utilisées pour calculer l'équité lorsque le jeu de données "équilibré" est utilisé, mais vous pouvez également afficher les résultats d'équité en utilisant uniquement des données d'entraînement de contenu ou de modèle. Etant donné que le modèle se comporte de manière équitable, vous n'avez pas besoin d'entrer dans les détails supplémentaires pour cette métrique.
Cliquez sur la piste de navigation Déploiement du modèle d'approbation hypothécaire-Science des données pour revenir à l'écran des détails du modèle.
Vérifiez votre progression
L'image suivante montre les détails de l'équité dans Watson OpenScale. Maintenant que vous avez observé l'équité du modèle, vous pouvez observer l'explicabilité du modèle.
Tâche 10: Observez les moniteurs de modèle pour l'explicabilité
Pour prévisualiser cette tâche, regardez la vidéo qui commence à 17:42.
Vous devez comprendre comment le modèle a pris sa décision. Cette compréhension est nécessaire à la fois pour expliquer les décisions aux personnes impliquées dans l'approbation du prêt et pour s'assurer que les propriétaires de modèles sont valides. Pour comprendre ces décisions, procédez comme suit pour observer l'explicabilité du modèle:
Dans le panneau de navigation de gauche, cliquez sur l'icône Explain a transaction .
Sélectionnez Déploiement de modèle d'approbation hypothécaire-Science des données pour afficher la liste des transactions.
Pour toute transaction, cliquez sur Expliquer sous la colonne Actions. Vous trouverez ici l'explication détaillée de cette décision.Vous verrez les entrées les plus importantes du modèle ainsi que l'importance de chaque résultat final. Les barres bleues représentent les entrées qui ont eu tendance à prendre en charge la décision du modèle, tandis que les barres rouges représentent les entrées qui ont pu conduire à une autre décision. Par exemple, un demandeur peut avoir un revenu suffisant pour être approuvé autrement, mais son faible historique de crédit et sa dette élevée conduisent le modèle à rejeter la demande.Examinez cette explication pour vous satisfaire de la base de la décision du modèle.
Facultatif: si vous souhaitez approfondir la manière dont le modèle a pris sa décision, cliquez sur l'onglet Inspecter . Utilisez la fonction Inspecter pour analyser la décision afin de trouver des zones de sensibilité dans lesquelles de petites modifications apportées à quelques entrées pourraient entraîner une décision différente. Vous pouvez tester la sensibilité vous-même en remplaçant certaines des entrées réelles par des alternatives pour voir si elles ont un impact sur le résultat.
Vérifiez votre progression
L'image suivante montre l'explicabilité d'une transaction dans Watson OpenScale. Vous avez déterminé que le modèle est exact et que tous les demandeurs sont traités équitablement. Vous pouvez maintenant faire passer le modèle à la phase suivante de son cycle de vie.
L'équipe de Golden Bank a utilisé des pipelines d'orchestration pour créer un pipeline de données qui fournit des données à jour sur tous les demandeurs d'hypothèque et un modèle d'apprentissage automatique que les prêteurs peuvent utiliser pour la prise de décision. Ensuite, l'équipe a utilisé Watson OpenScale pour s'assurer que le modèle traitait tous les candidats de manière équitable.
Nettoyage (facultatif)
Si vous souhaitez reprendre ce tutoriel, supprimez les artefacts suivants.
Artefact | Comment supprimer |
---|---|
Déploiement de modèle d'approbation hypothécaire-Science des données dans l'espace de déploiement Approbation hypothécaire-Science des données et MLOps | Supprimez un déploiement |
Approbation hypothécaire-Espace de déploiement Data Science and MLOps | Supprimer un espace de déploiement |
Exemple de projet Data Science and MLOps | Supprimer un projet |
Etapes suivantes
Essayez les tutoriels suivants:
Inscrivez-vous pour un autre cas d'utilisation.
En savoir plus
Rubrique parent: Tutoriels de cas d'utilisation