Tutoriel MLOps et Trustworthy AI : Test et validation du modèle

Suivez ce tutoriel pour évaluer et surveiller un modèle déployé avec le cas d'utilisation MLOps et Trustworthy AI de l'offre d'essai de la matrice de données. Votre objectif est d'utiliser Watson OpenScale pour évaluer et configurer des moniteurs pour un modèle déployé qui prévoit les demandeurs admissibles aux hypothèques. Vous voulez vous assurer que le modèle est exact et qu'il traite tous les candidats de façon équitable.

L'histoire de ce tutoriel est que Golden Bank veut étendre son activité en offrant des renouvellements hypothécaires à faible taux pour les applications en ligne.Les applications en ligne augmentent le nombre de clients de la banque et réduisent les coûts de traitement des demandes de la banque. En tant que scientifique de données à Golden Bank, vous devez créer un modèle d'approbation de prêt hypothécaire qui évite les risques imprévus et traite tous les candidats de façon équitable. Vous devez exécuter un bloc-notes Jupyter pour configurer des moniteurs pour un modèle d'apprentissage automatique afin que vous puissiez les déployer dans une utilisation productive avec la certitude qu'ils fonctionneront de manière efficace et comme prévu. Cela s'effectue par le biais de services Cloud Pak for Data qui, ensemble, fournissent la confiance dans vos données, la confiance dans vos modèles et la confiance dans vos processus nécessaires à l'exploitation de l'IA avec certitude.

Procédez comme suit pour apprendre à surveiller et tester un modèle d'apprentissage automatique dans un environnement de préproduction avec Watson OpenScale où vous allez évaluer l'équité du modèle, générer une explication de la performance du modèle et marquer le modèle comme approuvé pour le déploiement de production.

Dans ce tutoriel, vous :

  1. Exécuter le bloc-notes pour configurer les moniteurs.
  2. Evaluer le modèle
  3. Observer les modèles de contrôle de la qualité.
  4. Observer les modèles de contrôle de l'équité.
  5. Observer les moniteurs de modèle pour leur explicabilité.
  6. Promouvoir le modèle pour la préproduction et approuver le modèle

Si vous avez besoin d'aide pour ce tutoriel, posez une question ou trouvez une réponse dans le forum de discussion communautaire Cloud Pak for Data.

Astuce : Pour l'expérience optimale de l'exécution de ce tutoriel, ouvrez Cloud Pak for Data en tant que service dans un onglet de navigateur, et gardez cette page de tutoriel ouverte dans un autre onglet de navigateur pour pouvoir basculer facilement entre les deux applications.

Aperçu du tutoriel

Regarder une vidéo Regardez cette vidéo pour prévisualiser les étapes de ce tutoriel.

Cette vidéo constitue une alternative visuelle aux procédures figurant dans cette documentation.

Prérequis

Vous devez vous inscrire pour Cloud Pak for Data en tant que service et fournir les services nécessaires pour le cas d'utilisation de l'intégration de données Multicloud.

Vous pouvez vous inscrire pour Cloud Pak for Data en tant que service de l'une des manières suivantes :

Génération et déploiement d'un modèle d'apprentissage automatique

Regarder une vidéo Pour prévisualiser cette tâche, regardez la vidéo à partir de 00:47.

Exécutez le tutoriel Génération et déploiement d'un modèle pour créer, promouvoir et déployer le modèle d'apprentissage automatique utilisé dans ce tutoriel.

Mettez à disposition les services nécessaires

Suivez ces étapes pour vérifier ou mettre à disposition les services nécessaires.

  1. Dans le menu de navigation Cloud Pak for Data, sélectionnez Services > Instances de service.
  2. Utilisez la liste déroulante du produit pour déterminer s'il existe une instance de service Watson OpenScale existante.
  3. Si vous devez créer une instance de service Watson OpenScale, cliquez sur Ajouter un service.
  4. Sélectionnez Watson OpenScale.
  5. Sélectionnez le plan Lite.
  6. Cliquez sur Créer.
  7. Répétez ces étapes pour vérifier ou mettre à disposition les services supplémentaires suivants :
    • Watson Studio
    • Watson Machine Learning
    • Watson Knowledge Catalog
    • Cloud Object Storage

Étape 1 : Exécution du bloc-notes pour configurer les moniteurs

Regarder une vidéo Pour prévisualiser cette tâche, regardez la vidéo à partir de 01:14.

Procédez comme suit pour exécuter le bloc-notes inclus dans le projet exemple. Ce bloc-notes va configurer des moniteurs pour votre modèle qui peuvent également être configurés via l'interface utilisateur. Cependant, il est plus rapide et moins enclin à les mettre en place avec un bloc-notes.

  1. Dans le menu de navigation Cloud Pak for Data, sélectionnez Projets > Afficher tous les projets.
  2. Ouvrez le projet MLOps et Trustworthy AI.
  3. Dans l'onglet Actifs, cliquez sur Code source > Bloc-notes.
  4. Ouvrez le bloc-notes 2-monitor-wml-model-with-watson-openscale.
  5. Étant donné que le bloc-notes est en mode lecture seule, cliquez sur l'icône Crayon pour placer le bloc-notes en mode édition.
  6. Suivez les instructions en haut du bloc-notes pour importer un jeton de projet.
    1. Dans le menu Plus, sélectionnez Insérer un jeton de projet. Une nouvelle cellule est insérée dans la partie supérieure du bloc-notes contenant le jeton de projet.
  7. Sous la section Insérer une clé d'API IBM Cloud, collez votre clé d'API dans la zone ibmcloud_api_key.
  8. Pour exécuter toutes les cellules du bloc-notes, cliquez sur Cellule > Exécuter tout. Vous pouvez également exécuter le bloc-notes cellule par cellule si vous souhaitez explorer chaque cellule et sa sortie.
  9. Le bloc-notes prendra de 1 à 3 minutes à se terminer. Vous pouvez surveiller la progression de la cellule par cellule en remarquant l'astérisque " Dans [*] ", en le remplaçant par un nombre, par exemple, " Dans [1] ".
  10. Si vous rencontrez des erreurs lors de l'exécution du bloc-notes, cliquez sur Noyau > Redémarrage & Effacer la sortie pour redémarrer le noyau, puis ré-exécutez le bloc-notes.

Étape 2 : Évaluer le modèle

Regarder une vidéoPour prévisualiser cette tâche, regardez la vidéo à partir de 02:58.

Procédez comme suit pour télécharger les données de retenues et utiliser ces données pour évaluer le modèle dans Watson OpenScale.

  1. Cliquez sur le projet MLOps et Trustworthy AI dans les éléments de navigation.
  2. Dans l'onglet Actifs, cliquez sur Données > Actif de données.
  3. Dans le menu déroulant dynamique de l'actif de données GoldenBank_HoldoutData.csv, sélectionnez Télécharger. Pour valider le fait que le modèle fonctionne comme requis, vous aurez besoin d'un ensemble de données étiqueté qui a été exclu de la formation du modèle. Ce fichier CSV contient les données de l'élément restant.
  4. Pour lancer Watson OpenScale, dans le menu de navigation Cloud Pak for Data , sélectionnez Services > Instances de service.
  5. Utilisez la liste déroulante Produit pour afficher l'instance de service Watson OpenScale existante.
  6. Ouvrez votre instance Watson OpenScale. Si vous y êtes invité, connectez-vous à l'aide des mêmes données d'identification utilisées pour la connexion à Cloud Pak for Data.
  7. Sur la page de l'instance de service Watson OpenScale, cliquez sur Lancer l'application.
  8. Dans les aperçus du tableau de bord, cliquez sur la mosaïque Déploiement du modèle d'approbation d'hypothèque.
  9. Dans le menu Actions, sélectionnez Évaluer maintenant.
  10. Dans la liste des options d'importation, sélectionnez à partir d'un fichier CSV.
  11. Faites glisser le fichier de données Golden Bank_HoldoutData.csv que vous avez téléchargé du projet dans le panneau latéral.
  12. Cliquez sur Télécharger et évaluer.

Étape 3 : Observer les moniteurs de modèle pour la qualité

Regarder une vidéo Pour prévisualiser cette tâche, regardez la vidéo à partir de 04:00.

Lorsque l'évaluation à l'aide des données des éléments restants se termine, suivez ces étapes pour observer la qualité ou la précision du modèle.

  1. Dans le panneau de navigation de gauche, cliquez sur l'icône Aperçus du tableau de bord .
  2. Localisez la mosaïque de déploiement du modèle d'approbation d'hypothèque. Notez qu'il n'y a aucun problème et que les tests de qualité et d'équité sont passés, ce qui signifie que le modèle a atteint les seuils requis.
  3. Pour plus de détails, cliquez sur la mosaïque Déploiement du modèle d'approbation d'hypothèque.
  4. Dans la section Qualité, cliquez sur l'icône de configuration configurer.Ici vous pouvez voir que le seuil de qualité configuré pour ce moniteur est de 70 % et que la mesure de la qualité utilisée est la zone sous la courbe ROC.
  5. Pour revenir à l'écran des détails du modèle, cliquez sur Accéder au récapitulatif du modèle.
  6. Pour afficher les résultats détaillés de la qualité du modèle, dans la section Qualité cliquez sur l'icône de flèche droite Flèche droite.Ici vous voyez un certain nombre de calculs de mesures de qualité et une matrice de confusion montrant les bonnes décisions de modèle ainsi que les faux positifs et faux négatifs.La surface calculée sous la courbe ROC est de 0,9 ou plus, bien au-dessus du seuil de 0,7, de sorte que le modèle satisfait à ses exigences de qualité.
  7. Pour revenir à l'écran des détails du modèle, cliquez sur l'élément de navigation Déploiement du modèle d'approbation d'hypothèque.

Étape 4 : Observer le modèle des moniteurs d'équité

Regarder une vidéo Pour prévisualiser cette tâche, regardez la vidéo à partir de 05:19.

Suivez ces étapes pour observer l'équité du modèle.

  1. Dans la section Équité, cliquez sur l'icône Configurer Configurer. Ici, vous voyez que le modèle est en cours de révision pour s'assurer que les candidats sont traités équitablement quel que soit leur sexe.Les femmes sont identifiées comme le groupe surveillé pour lequel l'équité est mesurée et le seuil d'équité doit être d'au moins 80 %.Le contrôleur de l'équité utilise la méthode d'impact disparate pour déterminer l'équité.
  2. Pour revenir à l'écran des détails du modèle, cliquez sur Accéder au récapitulatif du modèle.
  3. Pour afficher les résultats détaillés de l'équité du modèle, dans la section Équité, cliquez sur l'icône de flèche droite Flèche droite. Ici, vous voyez le pourcentage de candidats hommes et femmes qui sont automatiquement approuvés, avec un score d'équité de plus de 100 %, de sorte que le modèle fonctionne bien au-dessus du seuil d'équité de 80 % requis.
  4. Notez les fichiers identifiés en haut de l'écran.Pour s'assurer que les mesures d'équité soient aussi précises que possible, en plus des prévisions du modèle réel, Watson OpenScale utilise la perturbation pour déterminer les résultats lorsque seuls les attributs protégés et les entrées de modèle associées sont modifiés, et que d'autres fonctions restent les mêmes.Ces garde-fous supplémentaires sont utilisés pour calculer l'équité lorsque le jeu de données " équilibré " est utilisé, mais vous pouvez également afficher les résultats d'équité à l'aide uniquement de données de charge utile ou de modèle de formation.Puisque le modèle se comporte de façon équitable, vous n'avez pas besoin d'entrer dans les détails supplémentaires pour cette mesure.
  5. Pour revenir à l'écran des détails du modèle, cliquez sur l'élément de navigation Déploiement du modèle d'approbation d'hypothèque.

Étape 5 : Observer les moniteurs de modèle pour l'explicabilité

Regarder une vidéo Pour prévisualiser cette tâche, regardez la vidéo à partir de 07:00.

Il est également important de comprendre comment le modèle est arrivé à la décision qu'il a prise. Cela est nécessaire à la fois pour expliquer les décisions aux personnes qui participent à l'approbation du prêt et pour s'assurer que les propriétaires de modèles sont valides. Pour comprendre ces décisions, suivez ces étapes pour observer l'explication du modèle.

  1. Dans le panneau de navigation de gauche, cliquez sur l'icône Expliquer une transaction.
  2. Sélectionnez Déploiement du modèle d'approbation d'hypothèque pour afficher la liste des transactions pour ce modèle déployé.
  3. Pour toute transaction, cliquez sur Expliquer sous la colonne Actions. Vous trouverez ici l'explication détaillée de cette décision.Vous verrez les entrées les plus importantes du modèle ainsi que l'importance de chaque résultat final.Les barres bleues représentent des entrées qui ont eu tendance à soutenir la décision du modèle tandis que les barres violettes montrent des entrées qui peuvent avoir conduit à une autre décision.Par exemple, un demandeur peut avoir eu suffisamment de revenus pour être autrement approuvé, mais son manque d'antécédents en matière de crédit et sa dette élevée conduisent le modèle à rejeter la demande.Examinez cette explication pour vous satisfaire de la base de la décision du modèle.
  4. (Facultatif) Si vous souhaitez approfondir la manière dont le modèle a pris sa décision, cliquez sur l'onglet Inspecter. Ici, vous pouvez analyser la décision de trouver des zones de sensibilité où une petite modification de quelques entrées donnerait lieu à une décision différente, et vous pouvez tester vous-même la sensibilité en remplaçant certaines des entrées réelles par des alternatives pour voir si elles auraient un impact sur le résultat.

Étape 6 : Promouvoir le modèle pour la pré-production et approuver le modèle

Regarder une vidéo Pour prévisualiser cette tâche, regardez la vidéo à partir de 08:38.

Procédez comme suit pour modifier l'état de l'entrée de modèle dans l'inventaire du modèle et approuver le modèle.

  1. Dans le menu de navigation Cloud Pak for Data, sélectionnez Catalogues > Inventaire des modèles.
  2. Pour l'entrée de modèle d'approbation de prêt hypothécaire, cliquez sur Afficher les détails.
  3. Cliquez sur l'onglet Actif. Sous le suivi du modèle, vous pouvez voir que le modèle est maintenant dans l'étape Valider.
  4. Cliquez sur l'icône Crayon en regard du Statut de l'entrée de modèle, sélectionnez Promotion de la pré-production et cliquez sur Mise à jour.
  5. Revenez à l'aperçu du tableau de bord Watson OpenScale.
  6. Cliquez sur la mosaïque Déploiement du modèle d'approbation d'hypothèque.
  7. Dans le menu Actions, sélectionnez Approuver pour la production, puis cliquez sur Approuver. Cela permettra à l'équipe des opérations d'IA de déployer le modèle dans un espace de production désigné.

En savoir plus

Rubrique parent : Tutoriels sur les matrices de données