0 / 0
Retourner à la version anglaise de la documentation
Démarrage rapide: Evaluation d'un modèle d'apprentissage automatique

Démarrage rapide: Evaluation d'un modèle d'apprentissage automatique

Suivez ce tutoriel pour apprendre à évaluer un modèle qui prévoit quels demandeurs sont éligibles pour des prêts hypothécaires. Vous devez évaluer la qualité, l'équité et l'explicabilité du modèle.

Services requis
watsonx.ai
watsonx.governance

Votre flux de travaux de base inclut les tâches suivantes :

  1. Ouvrez un projet. Les projets permettent de collaborer avec d'autres personnes pour travailler avec des données et des modèles.
  2. Générez un modèle. Vous pouvez créer un modèle à l'aide de l'une des méthodes suivantes:
    • Créez un bloc-notes Jupyter et ajoutez du code Python .
    • Créez une expérimentation AutoAI .
  3. Déployez votre modèle.
  4. Configurez les moniteurs Watson OpenScale à l'aide de l'une des méthodes suivantes:
    • Créez un bloc-notes Jupyter.
    • Ajoutez le déploiement au tableau de bord Watson OpenScale à l'aide de l'interface utilisateur.

En savoir plus sur Watson OpenScale

Watson OpenScale suit et mesure les résultats de vos modèles d'IA et garantit qu'ils restent équitables, explicables et conformes, quel que soit l'endroit où vos modèles ont été créés ou sont en cours d'exécution. Watson OpenScale détecte également et aide à corriger les dérives d'exactitude lorsqu'un modèle d'intelligence artificielle est en production.

En savoir plus sur Watson OpenScale

Regardez une vidéo sur l'évaluation d'un modèle d'apprentissage automatique

Regarder la vidéo Regardez cette vidéo pour prévisualiser les étapes de ce tutoriel. Il peut y avoir de légères différences dans l'interface utilisateur affichée dans la vidéo. La vidéo est destinée à être un compagnon du tutoriel écrit.

Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.


Essayez un tutoriel sur l'évaluation d'un modèle d'apprentissage automatique

Dans ce tutoriel, vous exécutez les tâches suivantes :





Conseils pour l'exécution de ce tutoriel

Voici quelques conseils pour réussir ce tutoriel.

Utiliser la vidéo image-in-picture

Astuce: Démarrez la vidéo, puis au fur et à mesure que vous faites défiler le tutoriel, la vidéo passe en mode image-en-image. Fermez la table des matières vidéo pour la meilleure expérience avec l'image en image. Vous pouvez utiliser le mode image-dans-image pour pouvoir suivre la vidéo à mesure que vous effectuez les tâches de ce tutoriel. Cliquez sur les horodatages de chaque tâche à suivre.

L'image animée suivante montre comment utiliser les fonctions d'image vidéo et de table des matières:

Comment utiliser l'image en image et les chapitres

Obtenir de l'aide dans la communauté

Si vous avez besoin d'aide pour ce tutoriel, vous pouvez poser une question ou trouver une réponse dans le forum de discussion de la communautéwatsonx.

Configurez les fenêtres de votre navigateur

Pour une expérience optimale lors de l'exécution de ce tutoriel, ouvrez Cloud Pak for Data dans une fenêtre de navigateur et laissez cette page de tutoriel ouverte dans une autre fenêtre de navigateur pour basculer facilement entre les deux applications. Envisagez d'organiser les deux fenêtres du navigateur côte à côte pour faciliter le suivi.

Tutoriel et interface utilisateur côte à côte

Astuce: Si vous rencontrez une visite guidée lors de l'exécution de ce tutoriel dans l'interface utilisateur, cliquez sur Peut-être plus tard.



Tâche 1: Créer l'exemple de projet

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo à partir de 00:06.

Ce tutoriel utilise un exemple de projet contenant un modèle d'apprentissage automatique et un bloc-notes pour configurer les moniteurs. Procédez comme suit pour créer un projet basé sur un exemple.

  1. Accédez à Evaluer un exemple de projet de modèle ML dans le concentrateur de ressources.

  2. Cliquez sur Créer un projet.

  3. Si vous êtes invité à associer le projet à une instance Cloud Object Storage, sélectionnez une instance Cloud Object Storage dans la liste.

  4. Cliquez sur Créer.

  5. Attendez que l'importation du projet soit terminée, puis cliquez sur Afficher le nouveau projet pour vérifier que le projet et les actifs ont été créés avec succès.

  6. Cliquez sur l'onglet Actifs pour afficher les actifs dans l'exemple de projet.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre l'exemple de projet. Vous êtes maintenant prêt à démarrer le tutoriel.

Exemple de projet




Tâche 2: Déployer le modèle

Avant de pouvoir déployer le modèle, vous devez le promouvoir dans un nouvel espace de déploiement. Les espaces de déploiement vous aident à organiser les ressources de support telles que les données d'entrée et les environnements, à déployer des modèles ou des fonctions pour générer des prévisions ou des solutions et à afficher ou éditer les détails du déploiement.

Promouvoir le modèle dans un espace de déploiement

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo à partir de 00:49.

Procédez comme suit pour promouvoir le modèle dans un nouvel espace de déploiement:

  1. Dans l'onglet Actifs , cliquez sur Modèle de prévision d'approbation d'hypothèque pour afficher le modèle.

  2. Sur la page de modèle, cliquez sur l'icône Promouvoir dans l'espace de déploiement Icône Promouvoir dans l'espace de déploiement .

  3. Pour l'espace cible, sélectionnez Création d'un espace de déploiement.

    1. Pour le nom de l'espace de déploiement, copiez et collez le nom exactement comme indiqué sans espace de début ou de fin:

      Golden Bank Preproduction Space
      
    2. Sélectionnez un service de stockage dans la liste.

    3. Sélectionnez votre service d'apprentissage automatique mis à disposition dans la liste.

    4. Cliquez sur Créer.

    5. Cliquez sur Fermer.

  4. Pour l'espace cible vérifiez que l'espace de préproduction de Golden Bank est sélectionné.

  5. Vérifiez l'option Accéder au modèle dans l'espace après sa promotion.

  6. Cliquez sur Promouvoir.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre le modèle dans l'espace de déploiement. Vous êtes maintenant prêt à créer un déploiement de modèle.

Modèle dans l'espace de déploiement

Créer un déploiement en ligne pour le modèle

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo à partir de 01:30.

Pour créer un déploiement en ligne pour votre modèle, procédez comme suit:

  1. Lorsque l'espace de déploiement s'ouvre, cliquez sur Nouveau déploiement.

    1. Pour le type de déploiement, sélectionnez En ligne.

    2. Pour le Nom, copiez et collez le nom de déploiement exactement comme indiqué sans espace de début ou de fin:

      Mortgage Approval Model Deployment
      
    3. Cliquez sur Créer.

  2. Attendez la fin du déploiement du modèle. Lorsque le modèle est déployé avec succès, affichez le déploiement pour voir le noeud final d'évaluation et, si vous le souhaitez, testez le modèle.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre le déploiement de modèle. Vous êtes maintenant prêt à exécuter le bloc-notes pour configurer les moniteurs.

Déploiement de modèle




Tâche 3: Exécuter le bloc-notes pour configurer les moniteurs

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 01:55.


Exécutez le deuxième bloc-notes inclus dans l'exemple de projet pour:

  • Extrayez le modèle et les déploiements.
  • Configurez Watson OpenScale.
  • Créez le fournisseur de services et l'abonnement pour votre service d'apprentissage automatique.
  • Configurez le moniteur de qualité.
  • Configurez le moniteur d'équité.
  • Configurez l'explicabilité.

Procédez comme suit pour exécuter le bloc-notes inclus dans le projet exemple. Ce bloc-notes configure des moniteurs pour votre modèle, qui peut également être configuré via l'interface utilisateur. Cependant, il est plus rapide et moins enclin à les mettre en place avec un bloc-notes. Prenez le temps de lire les commentaires du bloc-notes, qui expliquent le code de chaque cellule.

  1. Dans le menu de navigation Menu de navigation, sélectionnez Projets > Afficher tous les projets.

  2. Ouvrez le projet Evaluer un modèle ML .

  3. Cliquez sur l'onglet Actifs , puis accédez à Notebooks.
    Navigation de gauche

  4. Ouvrez le bloc-notes monitor-wml-model-with-watson-openscale .

  5. Le bloc-notes étant en mode lecture seule, cliquez sur l'icône Editer Icône Editer pour le placer en mode édition.

  6. Lorsque vous avez importé le projet à partir du concentrateur de ressources, la première cellule de ce bloc-notes contient le jeton d'accès au projet. Si ce bloc-notes ne contient pas de première cellule avec un jeton d'accès au projet, pour générer le jeton, dans le menu Plus , sélectionnez Insérer un jeton de projet. Cette action insère une nouvelle cellule comme première cellule du bloc-notes contenant le jeton de projet.

  7. Sous la section Fournir votre clé d'API IBM Cloud , vous devez transmettre vos données d'identification à l'API Watson Machine Learning à l'aide d'une clé d'API. Si vous ne disposez pas déjà d'une clé d'API sauvegardée, procédez comme suit pour créer une clé d'API.

    1. Accédez à la page des clés d'API de la consoleIBM Cloud.

    2. Cliquez sur Créer une clé d'API IBM Cloud. Si vous disposez de clés d'API existantes, le bouton peut être intitulé Créer.

    3. Entrez un nom et une description.

    4. Cliquez sur Créer.

    5. Copier la clé de l'API.

    6. Téléchargez la clé de l'API pour une utilisation ultérieure.

    7. Revenez au bloc-notes et collez votre clé d'API dans la zone ibmcloud_api_key .

  8. Dans 3. Modèle et déploiement , vérifiez les valeurs affectées aux variables nom_espace, nom_modèleet nom_déploiement .

  9. Cliquez sur Cellule > Exécuter tout pour exécuter toutes les cellules du bloc-notes. Vous pouvez également cliquer sur l'icône Exécuter Icône Exécuter en regard de chaque cellule pour exécuter le bloc-notes cellule par cellule afin d'explorer chaque cellule et sa sortie.

  10. L'exécution du bloc-notes prend de 1 à 3 minutes. Vous pouvez surveiller la progression cellule par cellule en remarquant que l'astérisque "In [*]" est modifié en nombre, par exemple "In [1]".

  11. Si vous rencontrez des erreurs lors de l'exécution du bloc-notes, essayez les conseils de traitement des incidents suivants:

    • Cliquez sur Noyau > Redémarrer & Effacer la sortie pour redémarrer le noyau, puis exécutez à nouveau le bloc-notes.

    • Supprimez les déploiements Watson OpenScale existants et mettez à disposition une nouvelle instance de service.

    • Vérifiez que vous avez créé l'espace de déploiement et le nom de déploiement en copiant et en collant le nom d'artefact spécifié exactement sans espace de début ou de fin.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre le bloc-notes lorsque l'exécution est terminée. Le bloc-notes a configuré des moniteurs pour votre modèle, de sorte que vous pouvez maintenant afficher le déploiement dans Watson OpenScale.

Exécution de bloc-notes terminée




Tâche 4: Evaluer le modèle

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 03:35.

Procédez comme suit pour télécharger les données restantes et les utiliser pour évaluer le modèle dans Watson OpenScale:

  1. Cliquez sur le projet Evaluer un modèle ML dans la trace de navigation.

    Trace de navigation

  2. Dans l'onglet Actifs , cliquez sur Données > Actifs de données.

  3. Cliquez sur le menu Menu déroulant dynamique Débordement de l'actif de données GoldenBank_HoldoutData.csv et choisissez Télécharger. Pour vérifier que le modèle fonctionne comme requis, vous avez besoin d'un ensemble de données étiquetées, qui ont été conservées lors de l'entraînement du modèle. Ce fichier CSV contient les données de l'élément restant.

  4. Lancez Watson OpenScale.

    1. Dans le menu de navigation Menu de navigation, sélectionnez Services > Instances de service.

    2. Cliquez sur votre instance Watson OpenScale pour ouvrir la page d'instance de service. Si vous y êtes invité, connectez-vous à l'aide des mêmes données d'identification que celles que vous avez utilisées pour vous inscrire à Cloud Pak for Data.

      Remarque :Votre instance peut avoir un nom différent, tel que `watsonx.governance-xx`.
    3. Sur la page d'instance de service Watson OpenScale , cliquez sur Lancer Watson OpenScale.

  5. Dans les aperçus du tableau de bord, cliquez sur la mosaïque Déploiement du modèle d'approbation d'hypothèque.

  6. Dans le menu Actions, sélectionnez Évaluer maintenant.

  7. Dans la liste des options d'importation, sélectionnez à partir d'un fichier CSV.

  8. Faites glisser le fichier de données Golden Bank_HoldoutData.csv que vous avez téléchargé du projet dans le panneau latéral.

  9. Cliquez sur Télécharger et évaluer et attendez la fin de l'évaluation.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre le résultat de l'évaluation du modèle déployé dans Watson OpenScale. Maintenant que vous avez évalué le modèle, vous êtes prêt à observer la qualité du modèle.

modèle évalué




Tâche 5: Observez la qualité des moniteurs de modèle

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 04:40.

Le moniteur de qualité Watson OpenScale génère un ensemble de métriques pour évaluer la qualité de votre modèle. Vous pouvez utiliser ces indicateurs de qualité pour déterminer dans quelle mesure votre modèle prédit les résultats. Une fois l'évaluation qui utilise les données restantes terminée, procédez comme suit pour observer la qualité ou l'exactitude du modèle:

  1. Dans la section Qualité , cliquez sur l'icône Configurer Configurer . Vous pouvez voir ici que le seuil de qualité configuré pour ce moniteur est de 70% et que la mesure de la qualité utilisée est une zone sous la courbe ROC.

  2. Cliquez sur Aller au récapitulatif du modèle pour revenir à l'écran des détails du modèle.

  3. Dans la section Qualité , cliquez sur l'icône représentant une flèche vers la droite Flèche vers la droite pour afficher les résultats détaillés de la qualité du modèle. Vous voyez ici un certain nombre de calculs de métriques de qualité et une matrice de confusion affichant des décisions de modèle correctes ainsi que des faux positifs et des faux négatifs. L'aire calculée sous la courbe ROC est 0.9 ou supérieure, ce qui dépasse le seuil 0.7 , de sorte que le modèle répond à ses exigences de qualité.

  4. Cliquez sur Mortgage Approval Model Deployment dans la piste de navigation pour revenir à l'écran des détails du modèle.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre les détails de la qualité dans Watson OpenScale. Maintenant que vous avez observé la qualité du modèle, vous pouvez observer l'équité du modèle.

Qualité




Tâche 6: Observez les moniteurs de modèle pour l'équité

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 05:41.

Le moniteur d'équité Watson OpenScale génère un ensemble de métriques pour évaluer l'équité de votre modèle. Vous pouvez utiliser les mesures d'équité pour déterminer si votre modèle produit des résultats biaisés. Pour observer l'équité du modèle, procédez comme suit:

  1. Dans la section Equité , cliquez sur l'icône Configurer Configurer . Ici, vous voyez que le modèle est en cours de révision pour s'assurer que les candidats sont traités équitablement quel que soit leur sexe. Les femmes sont identifiées comme le groupe surveillé pour lequel l'équité est mesurée et le seuil d'équité doit être d'au moins 80 %. Le contrôleur de l'équité utilise la méthode d'impact disparate pour déterminer l'équité. L'effet Disparate compare le pourcentage de résultats favorables pour un groupe surveillé au pourcentage de résultats favorables pour un groupe de référence.

  2. Cliquez sur Aller au récapitulatif du modèle pour revenir à l'écran des détails du modèle.

  3. Dans la section Equité , cliquez sur l'icône de flèche droite Flèche vers la droite pour afficher les résultats détaillés de l'équité du modèle. Vous voyez ici le pourcentage de candidats masculins et féminins qui sont automatiquement approuvés, ainsi qu'un score d'équité de plus de 100%, de sorte que la performance du modèle dépasse de loin le seuil d'équité de 80% requis.

  4. Notez les jeux de données identifiés. Pour s'assurer que les métriques d'équité sont les plus précises, Watson OpenScale utilise la perturbation pour déterminer les résultats dans lesquels seuls les attributs protégés et les entrées de modèle associées sont modifiés, tandis que les autres fonctions restent les mêmes. La perturbation modifie les valeurs de la fonction du groupe de référence vers le groupe surveillé, ou vice-versa. Ces garde-fous supplémentaires sont utilisés pour calculer l'équité lorsque le jeu de données " équilibré " est utilisé, mais vous pouvez également afficher les résultats d'équité à l'aide uniquement de données de charge utile ou de modèle de formation. Puisque le modèle se comporte de façon équitable, vous n'avez pas besoin d'entrer dans les détails supplémentaires pour cette mesure.

    Ensembles de données d'équité

  5. Cliquez sur la trace de navigation Mortgage Approval Model Deployment pour revenir à l'écran des détails du modèle.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre les détails de l'équité dans Watson OpenScale. Maintenant que vous avez observé l'équité du modèle, vous pouvez observer l'explicabilité du modèle.

Équité




Tâche 7: Observez les moniteurs de modèle pour la dérive

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 07:25.

Le moniteur de dérive Watson OpenScale mesure les changements dans vos données au fil du temps afin de garantir des résultats cohérents pour votre modèle. Utilisez les évaluations de dérive pour identifier les changements dans la sortie de votre modèle, la précision de vos prévisions et la distribution de vos données d'entrée. Pour observer la dérive du modèle, procédez comme suit:

  1. Dans la section Dérive , cliquez sur l'icône Configurer Configurer . Vous voyez ici les seuils de dérive. La dérive des sorties mesure le changement dans la distribution de la confiance du modèle. La dérive de la qualité du modèle mesure la baisse de l'exactitude en comparant l'exactitude d'exécution estimée à l'exactitude d'entraînement. La dérive des caractéristiques mesure le changement dans la distribution des valeurs pour les caractéristiques importantes. La configuration indique également le nombre de fonctions sélectionnées et les fonctions les plus importantes.

  2. Cliquez sur Aller au récapitulatif du modèle pour revenir à l'écran des détails du modèle.

  3. Dans la section Dérive , cliquez sur l'icône en forme de flèche droite Flèche vers la droite pour afficher les résultats détaillés de la dérive du modèle. Vous pouvez afficher l'historique de l'évolution de chaque score d'indicateur dans le temps à l'aide d'un graphique de série temporelle. Les valeurs inférieures sont meilleures, de sorte que dans ce cas, les résultats sont supérieurs aux seuils supérieurs définis dans la configuration. Affichez ensuite des détails sur la façon dont la sortie des scores et les dérives des fonctions sont calculées. Vous pouvez également afficher des détails sur chaque fonction pour comprendre comment elle contribue aux scores générés par Watson OpenScale .

  4. Cliquez sur la trace de navigation Mortgage Approval Model Deployment pour revenir à l'écran des détails du modèle.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre les détails de la dérive dans Watson OpenScale. Maintenant que vous avez observé la dérive du modèle, vous pouvez observer l'explicabilité du modèle.

Dérive




Tâche 8: Observez les moniteurs de modèle pour l'explicabilité

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 08:46.

Il est également important de comprendre comment le modèle a pris sa décision. Cette compréhension est nécessaire à la fois pour expliquer les décisions aux personnes impliquées dans l'approbation du prêt et pour s'assurer que les propriétaires de modèles sont valides. Pour comprendre ces décisions, procédez comme suit pour observer l'explicabilité du modèle:

  1. Dans le panneau de navigation de gauche, cliquez sur l'icône Expliquer une transaction Icône d'explication d'une transaction .

  2. Sélectionnez Mortgage Approval Model Deployment pour afficher la liste des transactions.

  3. Pour toute transaction, cliquez sur Expliquer sous la colonne Actions. Vous trouverez ici l'explication détaillée de cette décision. Vous verrez les entrées les plus importantes du modèle ainsi que l'importance de chaque résultat final. Les barres bleues représentent les entrées qui ont eu tendance à prendre en charge la décision du modèle, tandis que les barres rouges représentent les entrées qui ont pu conduire à une autre décision. Par exemple, un demandeur peut avoir un revenu suffisant pour être approuvé autrement, mais son faible historique de crédit et sa dette élevée conduisent le modèle à rejeter la demande. Examinez cette explication pour vous satisfaire de la base de la décision du modèle.

  4. (Facultatif) Si vous souhaitez approfondir la manière dont le modèle a pris sa décision, cliquez sur l'onglet Inspecter . Utilisez la fonction Inspecter pour analyser la décision afin de trouver des zones de sensibilité dans lesquelles de petites modifications apportées à quelques entrées peuvent entraîner une décision différente, et vous pouvez tester la sensibilité vous-même en remplaçant certaines des entrées réelles par des alternatives pour voir si elles ont un impact sur le résultat.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre l'explicabilité d'une transaction dans Watson OpenScale. Vous avez déterminé que le modèle est exact et que tous les demandeurs sont traités équitablement. Vous pouvez maintenant faire passer le modèle à la phase suivante de son cycle de vie.

Explicabilité



Etapes suivantes

Essayez ces tutoriels supplémentaires pour acquérir une expérience plus pratique de l'évaluation des modèles:

Ressources supplémentaires

  • Afficher plus de vidéos.

  • Présentation de watsonx

  • Recherchez des exemples d'ensembles de données, de projets, de modèles, d'invites et de blocs-notes dans le concentrateur de ressources pour acquérir une expérience pratique:

    Icône de bloc-notes Notebooks que vous pouvez ajouter à votre projet pour commencer à analyser les données et à générer des modèles.

    Icône de projet Projets que vous pouvez importer contenant des blocs-notes, des ensembles de données, des invites et d'autres actifs.

    Icône d'ensemble de données Ensembles de données que vous pouvez ajouter à votre projet pour affiner, analyser et générer des modèles.

    Icône d'invite Invites que vous pouvez utiliser dans le lab d'invite pour demander un modèle de base.

    Icône de modèle Modèles Foundation que vous pouvez utiliser dans Prompt Lab.

Rubrique parent: Tutoriels de démarrage rapide

Recherche et réponse à l'IA générative
Ces réponses sont générées par un modèle de langue de grande taille dans watsonx.ai en fonction du contenu de la documentation du produit. En savoir plus