0 / 0
Retourner à la version anglaise de la documentation
Tutoriel sur la gouvernance de l'IA: Test et validation du modèle

Tutoriel sur la gouvernance de l'IA: Test et validation du modèle

Prenez ce tutoriel pour évaluer et surveiller le modèle généré et déployé dans le tutoriel Générer et déployer un modèle avec le cas d'utilisation de la gouvernance de l'IA. Votre objectif est d'utiliser Watson OpenScale pour configurer et évaluer les moniteurs d'un modèle déployé qui prévoit les candidats éligibles pour les prêts hypothécaires. Vous voulez vous assurer que le modèle est exact et que tous les candidats sont traités équitablement.

L'histoire de ce tutoriel est que Golden Bank veut étendre son activité en offrant des renouvellements hypothécaires à faible taux pour les applications en ligne.Les applications en ligne augmentent le nombre de clients de la banque et réduisent les coûts de traitement des demandes de la banque. En tant que scientifique de données à Golden Bank, vous devez créer un modèle d'approbation de prêt hypothécaire qui évite les risques imprévus et traite tous les candidats de façon équitable. Vous allez exécuter un bloc-notes Jupyter pour configurer des moniteurs pour un modèle d'apprentissage automatique afin de pouvoir les déployer en vue d'une utilisation productive avec la certitude qu'ils fonctionnent efficacement et comme prévu. Cette tâche est effectuée via les services Cloud Pak for Data , qui, ensemble, fournissent la confiance dans vos données, la confiance dans vos modèles et la confiance dans vos processus requis pour utiliser l'intelligence artificielle avec certitude.

L'image animée suivante fournit un aperçu rapide de ce que vous allez accomplir à la fin du tutoriel. Cliquez sur l'image pour afficher une image plus grande.

Image animée

Aperçu du tutoriel

Dans ce tutoriel, vous exécutez les tâches suivantes :

Regarder une vidéo Regardez cette vidéo pour prévisualiser les étapes de ce tutoriel.

Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.





Conseils pour l'exécution de ce tutorielVoici quelques conseils pour réussir ce tutoriel.

Utiliser la vidéo image-in-picture

Astuce: Démarrez la vidéo, puis au fur et à mesure que vous faites défiler le tutoriel, la vidéo passe en mode image-en-image. Fermez la table des matières vidéo pour la meilleure expérience avec l'image en image. Vous pouvez utiliser le mode image-dans-image pour pouvoir suivre la vidéo à mesure que vous effectuez les tâches de ce tutoriel. Cliquez sur les horodatages de chaque tâche à suivre.

L'image animée suivante montre comment utiliser les fonctions d'image vidéo et de table des matières:

Comment utiliser l'image en image et les chapitres

Obtenir de l'aide dans la communauté

Si vous avez besoin d'aide pour ce tutoriel, vous pouvez poser une question ou trouver une réponse dans le forum de discussion de la communautéCloud Pak for Data.

Configurez les fenêtres de votre navigateur

Pour une expérience optimale lors de l'exécution de ce tutoriel, ouvrez Cloud Pak for Data dans une fenêtre de navigateur et laissez cette page de tutoriel ouverte dans une autre fenêtre de navigateur pour basculer facilement entre les deux applications. Envisagez d'organiser les deux fenêtres du navigateur côte à côte pour faciliter le suivi.

Tutoriel et interface utilisateur côte à côte

Astuce: Si vous rencontrez une visite guidée lors de l'exécution de ce tutoriel dans l'interface utilisateur, cliquez sur Peut-être plus tard.



Configuration des prérequis

Suivez le tutoriel Générer et déployer un modèle

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo à partir de 00:47.

Suivez le tutoriel Générer et déployer un modèle pour créer, promouvoir et déployer le modèle d'apprentissage automatique utilisé dans ce tutoriel.

Mise à disposition des services

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo à partir de 01:14.

Important: Watson OpenScale est disponible uniquement dans les régions de Dallas et de Francfort. Une fois que vous avez terminé le tutoriel Générer et déployer un modèle, vous devez utiliser la région de Dallas. Si nécessaire, basculez vers la région de Dallas avant de continuer.

En plus des services requis pour exécuter le tutoriel Génération et déploiement d'un modèle, vous avez également besoin du service Watson OpenScale mis à disposition. Procédez comme suit pour vérifier ou mettre à disposition les services nécessaires:

  1. Dans Cloud Pak for Data, vérifiez que vous vous trouvez dans la région de Dallas. Si ce n'est pas le cas, cliquez sur le menu déroulant de la région, puis sélectionnez Dallas.
    Changer de région

  2. Dans le Cloud Pak for Data Menu de navigation, sélectionnez Services > Instances de service.

  3. Affichez la liste des services pour déterminer s'il existe une instance de service watsonx.governance .

  4. Si vous devez créer une instance de service watsonx.governance , cliquez sur Ajouter un service.

  5. Sélectionnez watsonx.governance.

    1. Pour la région, sélectionnez Dallas.

    2. Sélectionnez le plan Lite .

    3. Cliquez sur Créer.

  6. Les services supplémentaires suivants étaient requis pour le tutoriel Générer et déployer un modèle:

    • Watson Studio
    • Watson Machine Learning
    • IBM Knowledge Catalog
    • Cloud Object Storage

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre les instances de service mises à disposition. Vous êtes maintenant prêt à démarrer ce tutoriel.

Services mis à disposition




Tâche 1: Exécuter le bloc-notes pour configurer les moniteurs

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 01:55.


Exécutez le deuxième bloc-notes inclus dans l'exemple de projet pour:

  • Extrayez le modèle et les déploiements.
  • Configurez Watson OpenScale.
  • Créez le fournisseur de services et l'abonnement pour votre service d'apprentissage automatique.
  • Configurez le moniteur de qualité.
  • Configurez le moniteur d'équité.
  • Configurez l'explicabilité.

Procédez comme suit pour exécuter le bloc-notes inclus dans le projet exemple. Ce bloc-notes configure des moniteurs pour votre modèle, qui peut également être configuré via l'interface utilisateur. Cependant, il est plus rapide et moins enclin à les mettre en place avec un bloc-notes. Prenez le temps de lire les commentaires du bloc-notes, qui expliquent le code de chaque cellule.

  1. Dans le Cloud Pak for Data Menu de navigation, sélectionnez Projets > Afficher tous les projets.

  2. Ouvrez le projet de gouvernance de l'IA .

    Remarque: Vous pouvez voir une visite guidée présentant les tutoriels inclus avec ce cas d'utilisation. Les liens de la visite guidée ouvriront ces instructions de tutoriel.
  3. Cliquez sur l'onglet Actifs , puis accédez à Notebooks.
    Navigation de gauche

  4. Ouvrez le bloc-notes 2-monitor-wml-model-with-watson-openscale.

  5. Le bloc-notes étant en mode lecture seule, cliquez sur l'icône Editer Editer pour le placer en mode édition.

  6. Lorsque vous avez importé le projet à partir du concentrateur de ressources, la première cellule de ce bloc-notes contient le jeton d'accès au projet. Si ce bloc-notes ne contient pas de première cellule avec un jeton d'accès au projet, pour générer le jeton, dans le menu Plus , sélectionnez Insérer un jeton de projet. Cette action insère une nouvelle cellule comme première cellule du bloc-notes contenant le jeton de projet.

  7. Sous la section Insérer une clé d'API IBM Cloud , collez votre clé d'API dans la zone ibmcloud_api_key .

  8. Cliquez sur Cellule > Exécuter tout pour exécuter toutes les cellules du bloc-notes. Vous pouvez également exécuter le bloc-notes cellule par cellule si vous souhaitez explorer chaque cellule et sa sortie.

  9. L'exécution du bloc-notes prend entre 1 et 3 minutes. Vous pouvez surveiller la cellule de progression en remarquant que l'astérisque "In [*]" est changé en nombre, par exemple "In [1]".

  10. Si vous rencontrez des erreurs lors de l'exécution du bloc-notes, essayez les conseils de traitement des incidents suivants:

    • Cliquez sur Noyau > Redémarrer & Effacer la sortie pour redémarrer le noyau, puis exécutez à nouveau le bloc-notes.

    • Supprimez les déploiements Watson OpenScale existants et mettez à disposition une nouvelle instance de service.

    • Vérifiez que vous avez créé le cas d'utilisation de l'IA, l'espace de déploiement et le nom de déploiement dans le tutoriel Générer et déployer un modèle en copiant et en collant le nom d'artefact spécifié exactement sans espace de début ou de fin.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre le bloc-notes lorsque l'exécution est terminée. Le bloc-notes a configuré des moniteurs pour votre modèle, de sorte que vous pouvez maintenant afficher le déploiement dans Watson OpenScale.

Exécution de bloc-notes terminée




Tâche 2: Evaluer le modèle

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 03:40.

Procédez comme suit pour télécharger les données restantes et les utiliser pour évaluer le modèle dans Watson OpenScale:

  1. Cliquez sur le projet de gouvernance de l'intelligence artificielle dans la trace de navigation.
    Trace de navigation

  2. Dans l'onglet Actifs , cliquez sur Données > Actifs de données.

  3. Cliquez sur le bouton !Menu déroulant dynamique Menu déroulant dynamique pour l'actif de données GoldenBank_HoldoutData.csv et choisissez Télécharger. Pour vérifier que le modèle fonctionne comme requis, vous avez besoin d'un ensemble de données étiquetées, qui ont été retenues à partir de l'entraînement du modèle. Ce fichier CSV contient les données de l'élément restant.

  4. Lancez Watson OpenScale. Dans le menu de navigation Menu de navigation, sélectionnez Services > Instances de service.

  5. Ouvrez votre instance Watson OpenScale. Si vous y êtes invité, connectez-vous à l'aide des mêmes données d'identification que celles que vous avez utilisées pour vous inscrire à Cloud Pak for Data.

  6. Sur la page de l'instance de service Watson OpenScale, cliquez sur Lancer l'application.

  7. Dans les aperçus du tableau de bord, cliquez sur la mosaïque Déploiement du modèle d'approbation d'hypothèque.

  8. Dans le menu Actions, sélectionnez Évaluer maintenant.

  9. Dans la liste des options d'importation, sélectionnez à partir d'un fichier CSV.

  10. Faites glisser le fichier de données Golden Bank_HoldoutData.csv que vous avez téléchargé du projet dans le panneau latéral.

  11. Cliquez sur Télécharger et évaluer.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre le résultat de l'évaluation du modèle déployé dans Watson OpenScale. Maintenant que vous avez évalué le modèle, vous êtes prêt à observer la qualité du modèle.

modèle évalué




Tâche 3: Observation de la qualité des moniteurs de modèle

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo à partir de 04:44.

Le moniteur de qualité Watson OpenScale génère un ensemble de métriques pour évaluer la qualité de votre modèle. Vous pouvez utiliser ces indicateurs de qualité pour déterminer dans quelle mesure votre modèle prédit les résultats. Une fois l'évaluation qui utilise les données restantes terminée, procédez comme suit pour observer la qualité ou l'exactitude du modèle:

  1. Dans le panneau de navigation de gauche, cliquez sur l'icône Tableau de bord Insights Tableau de bord Analyses.

  2. Localisez la mosaïque de déploiement du modèle d'approbation d'hypothèque. Notez que le déploiement comporte 0 problème et que les tests Qualité et Equité ont réussi, ce qui signifie que le modèle a atteint les seuils requis.

  3. Cliquez sur la vignette Mortgage Approval Model Deployment pour afficher plus de détails.

  4. Dans la section Qualité , cliquez sur l'icône Configurer Configurer. Vous pouvez voir ici que le seuil de qualité configuré pour ce moniteur est de 70% et que la mesure de la qualité utilisée est une zone sous la courbe ROC.

  5. Cliquez sur Aller au récapitulatif du modèle pour revenir à l'écran des détails du modèle.

  6. Dans la section Qualité , cliquez sur l'icône DétailsDétails pour afficher les résultats détaillés de la qualité de modèle. Vous voyez ici un certain nombre de calculs de métriques de qualité et une matrice de confusion affichant des décisions de modèle correctes ainsi que des faux positifs et des faux négatifs. L'aire calculée sous la courbe ROC est 0.9 ou supérieure, ce qui dépasse le seuil 0.7 , de sorte que le modèle répond à ses exigences de qualité.

  7. Cliquez sur Mortgage Approval Model Deployment dans la piste de navigation pour revenir à l'écran des détails du modèle.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre les détails de la qualité dans Watson OpenScale. Maintenant que vous avez observé la qualité du modèle, vous pouvez observer l'équité du modèle.

Qualité




Tâche 4: Observez l'équité des moniteurs de modèle

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 06:01.

Le moniteur d'équité Watson OpenScale génère un ensemble de métriques pour évaluer l'équité de votre modèle. Vous pouvez utiliser les mesures d'équité pour déterminer si votre modèle produit des résultats biaisés. Pour observer l'équité du modèle, procédez comme suit:

  1. Dans la section Equité , cliquez sur l'icône Configurer Configurer. Ici, vous voyez que le modèle est en cours de révision pour s'assurer que les candidats sont traités équitablement quel que soit leur sexe.Les femmes sont identifiées comme le groupe surveillé pour lequel l'équité est mesurée et le seuil d'équité doit être d'au moins 80 %.Le contrôleur de l'équité utilise la méthode d'impact disparate pour déterminer l'équité. L'effet Disparate compare le pourcentage de résultats favorables pour un groupe surveillé au pourcentage de résultats favorables pour un groupe de référence.

  2. Cliquez sur Aller au récapitulatif du modèle pour revenir à l'écran des détails du modèle.

  3. Dans la section Equité , cliquez sur l'icône Détails Détails pour afficher les résultats détaillés de l'équité du modèle. Vous voyez ici le pourcentage de candidats masculins et féminins qui sont automatiquement approuvés, ainsi qu'un score d'équité de plus de 100%, de sorte que la performance du modèle dépasse de loin le seuil d'équité de 80% requis.

  4. Notez les jeux de données identifiés. Pour s'assurer que les métriques d'équité sont les plus précises, Watson OpenScale utilise la perturbation pour déterminer les résultats dans lesquels seuls les attributs protégés et les entrées de modèle associées sont modifiés, tandis que les autres fonctions restent les mêmes.La perturbation modifie les valeurs de la fonction du groupe de référence vers le groupe surveillé, ou vice-versa. Ces garde-fous supplémentaires sont utilisés pour calculer l'équité lorsque le jeu de données " équilibré " est utilisé, mais vous pouvez également afficher les résultats d'équité à l'aide uniquement de données de charge utile ou de modèle de formation.Puisque le modèle se comporte de façon équitable, vous n'avez pas besoin d'entrer dans les détails supplémentaires pour cette mesure.

    Ensembles de données d'équité

  5. Cliquez sur la trace de navigation Mortgage Approval Model Deployment pour revenir à l'écran des détails du modèle.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre les détails de l'équité dans Watson OpenScale. Maintenant que vous avez observé l'équité du modèle, vous pouvez observer l'explicabilité du modèle.

Équité




Tâche 5: Observez les moniteurs de modèle pour l'explicabilité

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 07:42.

Il est également important de comprendre comment le modèle a pris sa décision. Cette compréhension est nécessaire à la fois pour expliquer les décisions aux personnes impliquées dans l'approbation du prêt et pour s'assurer que les propriétaires de modèles sont valides. Pour comprendre ces décisions, procédez comme suit pour observer l'explicabilité du modèle:

  1. Dans le panneau de navigation de gauche, cliquez sur l'icône Explain a transaction Expliquer une transaction.

  2. Sélectionnez Mortgage Approval Model Deployment pour afficher la liste des transactions.

  3. Pour toute transaction, cliquez sur Expliquer sous la colonne Actions. Vous trouverez ici l'explication détaillée de cette décision.Vous verrez les entrées les plus importantes du modèle ainsi que l'importance de chaque résultat final. Les barres bleues représentent les entrées qui ont eu tendance à prendre en charge la décision du modèle, tandis que les barres rouges représentent les entrées qui ont pu conduire à une autre décision. Par exemple, un demandeur peut avoir un revenu suffisant pour être approuvé autrement, mais son faible historique de crédit et sa dette élevée conduisent le modèle à rejeter la demande.Examinez cette explication pour vous satisfaire de la base de la décision du modèle.

  4. (Facultatif) Si vous souhaitez approfondir la manière dont le modèle a pris sa décision, cliquez sur l'onglet Inspecter . Utilisez la fonction Inspecter pour analyser la décision afin de trouver des zones de sensibilité dans lesquelles de petites modifications apportées à quelques entrées peuvent entraîner une décision différente, et vous pouvez tester la sensibilité vous-même en remplaçant certaines des entrées réelles par des alternatives pour voir si elles ont un impact sur le résultat.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre l'explicabilité d'une transaction dans Watson OpenScale. Vous avez déterminé que le modèle est exact et que tous les demandeurs sont traités équitablement. Vous pouvez maintenant faire passer le modèle à la phase suivante de son cycle de vie.

Explicabilité




Tâche 6: Promouvoir le modèle en préproduction et approuver le modèle

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 09:21.

Procédez comme suit pour modifier le statut du cas d'utilisation de l'IA dans l'inventaire du modèle et approuver le modèle:

  1. Revenez à Cloud Pak for Dataet, à partir du menu de navigation Menu de navigation, sélectionnez Catalogues > Cas d'utilisation de l'intelligence artificielle.

  2. Pour le Cas d'utilisation du modèle d'approbation hypothécaire, cliquez sur Afficher les détails.

  3. Cliquez sur l'onglet Actif. Sous le suivi du modèle, vous pouvez voir que le modèle est maintenant dans l'étape Valider.

  4. Cliquez sur l'icône Editer Editer en regard de Statut, sélectionnez Promu en préproduction, puis cliquez sur Mettre à jour.

  5. Revenez à l'aperçu du tableau de bord Watson OpenScale.

  6. Cliquez sur la mosaïque Déploiement du modèle d'approbation d'hypothèque.

  7. Dans le menu Actions, sélectionnez Approuver pour la production, puis cliquez sur Approuver. Cette action indique à l'équipe des opérations d'IA qu'elle peut désormais déployer le modèle dans un espace de production désigné.

  8. Dans le Cloud Pak for Data Menu de navigation, sélectionnez Catalogues > Cas d'utilisation de l'intelligence artificielle.

  9. Pour le scénario d'utilisation du modèle d'approbation hypothécaire, cliquez sur Afficher les détails.

  10. Cliquez sur l'onglet Actif. Sous Suivi de modèle, le cas d'utilisation de l'IA s'affiche désormais comme évalué et approuvé dans l'étape Valider .

  11. Affichez le déploiement de modèle d'approbation hypothécaire pour voir la fiche d'information capturée par Watson OpenScale.

  12. Fermez la fiche technique de déploiement de modèle.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre le cas d'utilisation de l'IA avec le modèle dans la phase de validation. Votre modèle est maintenant en production.

Cas d'utilisation de l'intelligence artificielle dans la phase de validation

Partager le modèle

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo à partir de 10:39.

Vous pouvez générer un rapport à partir d'une feuille d'information ou d'un cas d'utilisation d'IA aux formats PDF, HTML et DOCX afin de partager ou d'imprimer les détails d'un modèle suivi.

  1. Dans l'onglet Actif du cas d'utilisation de l'IA, cliquez sur Exporter le rapport.

  2. Pour les Options de format, choisissez un format.

  3. Pour le modèle de rapport, sélectionnez un modèle:

    • Rapport complet: contient toutes les données du rapport de base et des détails sur les modèles et les déploiements dans le cas d'utilisation de l'intelligence artificielle.

    • Rapport de base: contient l'ensemble des faits visibles dans les onglets Présentation et Actifs.

  4. Cliquez sur Exporter. Le rapport s'affiche dans une nouvelle fenêtre.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre le rapport complet du cas d'utilisation du modèle d'approbation hypothécaire. Vous pouvez maintenant partager ce rapport avec vos collègues.

Rapport de cas d'utilisation de l'IA



En tant que spécialiste des données chez Golden Bank, vous avez créé un modèle d'approbation de prêt hypothécaire qui évite les risques imprévus et traite tous les candidats de manière équitable. Vous avez exécuté un bloc-notes Jupyter pour configurer des moniteurs pour votre modèle d'apprentissage automatique que vous avez déployé en vue d'une utilisation productive avec la certitude que le modèle fonctionne efficacement et comme prévu.


Nettoyage (facultatif)

Si vous souhaitez reprendre les tutoriels dans le cas d'utilisation de la gouvernance de l'IA, supprimez les artefacts suivants.

Artefact Comment supprimer
Déploiement d'un modèle d'approbation de prêt hypothécaire dans l'espace de préproduction de Golden Bank Supprimez un déploiement
Espace préproduction Golden Bank Supprimer un espace de déploiement
Cas d'utilisation du modèle d'approbation de prêt hypothécaire Supprimer un cas d'utilisation de modèle
Catalogue d'approbation de prêt hypothécaire Supprimer un catalogue
Exemple de projet de gouvernance de l'IA Supprimer un projet

Etapes suivantes

En savoir plus

Regarder une vidéo Découvrez comment utiliser IBM OpenPages pour gérer le modèle tout au long de son cycle de vie.

Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.

Rubrique parent: Tutoriels de cas d'utilisation

Recherche et réponse à l'IA générative
Ces réponses sont générées par un modèle de langue de grande taille dans watsonx.ai en fonction du contenu de la documentation du produit. En savoir plus