0 / 0
Retourner à la version anglaise de la documentation
Démarrage rapide: évaluation d'un déploiement dans des espaces

Démarrage rapide: évaluation d'un déploiement dans des espaces

Vous pouvez évaluer les déploiements de modèle dans un espace de déploiement pour obtenir des informations sur les performances de votre modèle. Lorsque vous configurez des évaluations, vous pouvez analyser les résultats d'évaluation et modéliser les enregistrements de transaction directement dans vos espaces.

Services requis
watsonx.governance
watsonx.ai

Votre flux de travaux de base inclut les tâches suivantes :

  1. Ouvrez un projet. Les projets sont l'endroit où vous collaborez avec d'autres personnes sur les données.
  2. Générez et sauvegardez un modèle d'apprentissage automatique. Il existe différents outils pour générer un modèle, tels qu'une expérimentation AutoAI , un bloc-notes Jupyter, un flux SPSS Modeler ou un pipeline. Voir Analyse des données et utilisation des modèles.
  3. Déployez et testez votre modèle dans un espace de déploiement.
  4. Configurez les évaluations dans l'espace de déploiement.
  5. Evaluez les performances de votre modèle.

En savoir plus sur l'évaluation des déploiements dans les espaces

watsonx.governance évalue vos déploiements de modèle pour vous aider à mesurer les performances et à comprendre les prévisions de votre modèle. Lorsque vous configurez des évaluations de modèle, watsonx.governance génère des métriques pour chaque évaluation qui fournissent des informations différentes que vous pouvez examiner. watsonx.governance consigne également les transactions qui sont traitées lors des évaluations pour vous aider à comprendre comment les prévisions de votre modèle sont déterminées.

En savoir plus sur l'évaluation des déploiements dans les espaces

Découvrez d'autres méthodes d'évaluation des modèles dans Watson OpenScale

Regardez une vidéo expliquant comment évaluer les déploiements dans les espaces

Regarder la vidéo Regardez cette vidéo pour prévisualiser les étapes de ce tutoriel. Il peut y avoir de légères différences dans l'interface utilisateur affichée dans la vidéo. La vidéo est destinée à être un compagnon du tutoriel écrit.

Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.


Essayez un tutoriel pour évaluer les déploiements dans les espaces

Dans ce tutoriel, vous exécutez les tâches suivantes :





Conseils pour l'exécution de ce tutorielVoici quelques conseils pour réussir ce tutoriel.

Utiliser la vidéo image-in-picture

Astuce: Démarrez la vidéo, puis au fur et à mesure que vous faites défiler le tutoriel, la vidéo passe en mode image-en-image. Fermez la table des matières vidéo pour la meilleure expérience avec l'image en image. Vous pouvez utiliser le mode image-dans-image pour pouvoir suivre la vidéo à mesure que vous effectuez les tâches de ce tutoriel. Cliquez sur les horodatages de chaque tâche à suivre.

L'image animée suivante montre comment utiliser les fonctions d'image vidéo et de table des matières:

Comment utiliser l'image en image et les chapitres

Obtenir de l'aide dans la communauté

Si vous avez besoin d'aide pour ce tutoriel, vous pouvez poser une question ou trouver une réponse dans le forum de discussion de la communautéwatsonx.

Configurez les fenêtres de votre navigateur

Pour une expérience optimale lors de l'exécution de ce tutoriel, ouvrez Cloud Pak for Data dans une fenêtre de navigateur et laissez cette page de tutoriel ouverte dans une autre fenêtre de navigateur pour basculer facilement entre les deux applications. Envisagez d'organiser les deux fenêtres du navigateur côte à côte pour faciliter le suivi.

Tutoriel et interface utilisateur côte à côte

Astuce: Si vous rencontrez une visite guidée lors de l'exécution de ce tutoriel dans l'interface utilisateur, cliquez sur Peut-être plus tard.



Tâche 1: Créer un projet à partir d'un exemple

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo à partir de 00:06.

Vous avez besoin d'un projet pour stocker les actifs utilisés pour générer le modèle. Par exemple, les données d'entraînement, l'expérience AutoAI ou le bloc-notes Jupyter et le modèle sauvegardé. Pour créer un projet à partir d'un exemple, procédez comme suit:

  1. Accédez à Evaluer un exemple de projet de modèle ML dans le concentrateur de ressources.

  2. Cliquez sur Créer un projet.

  3. Si vous êtes invité à associer le projet à une instance Cloud Object Storage, sélectionnez une instance Cloud Object Storage dans la liste.

  4. Cliquez sur Créer.

  5. Attendez que l'importation du projet soit terminée, puis cliquez sur Afficher le nouveau projet pour vérifier que le projet et les actifs ont été créés avec succès.

  6. Cliquez sur l'onglet Actifs pour afficher les actifs dans l'exemple de projet.

  7. Affichez le modèle de prévision d'approbation d'hypothèque. Ce modèle prévoit si un demandeur d'hypothèque doit être approuvé en fonction de plusieurs facteurs, tels que son historique de crédit, sa dette totale, son revenu, son montant de prêt et son historique d'emploi.

  8. Revenez à l'onglet Actifs du projet.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre l'exemple de projet. Vous êtes maintenant prêt à démarrer le tutoriel.

Exemple de projet




Tâche 2: Déployer le modèle

Avant de pouvoir déployer le modèle, vous devez le promouvoir dans un nouvel espace de déploiement. Les espaces de déploiement vous aident à organiser les ressources de support telles que les données d'entrée et les environnements, à déployer des modèles ou des fonctions pour générer des prévisions ou des solutions et à afficher ou éditer les détails du déploiement. La tâche suivante consiste à promouvoir les données d'évaluation et le modèle dans un espace de déploiement, puis à créer un déploiement en ligne.

Tâche 2a: Télécharger les données d'évaluation

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo à partir de 00:34.

Pour vérifier que le modèle fonctionne comme requis, vous avez besoin d'un ensemble de données étiquetées, qui ont été conservées lors de l'entraînement du modèle. L'exemple de projet inclut les données d'évaluation (GoldenBank_HoldoutData.csv), que vous pouvez télécharger pour effectuer l'évaluation dans l'espace de déploiement ultérieurement. Pour télécharger l'ensemble de données, procédez comme suit:

  1. Cliquez sur le menu Débordement Menu déroulant dynamique de l'actif de données GoldenBank_HoldoutData.csv , puis choisissez Télécharger.

Tâche 2b: Promouvoir le modèle dans un espace de déploiement

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo à partir de 00:42.

Avant de pouvoir déployer le modèle, vous devez le promouvoir dans un espace de déploiement. Procédez comme suit pour promouvoir le modèle dans un espace de déploiement:

  1. Dans l'onglet Actifs , cliquez sur le menu Dépassement Menu déroulant dynamique du modèle Modèle d'approbation d'hypothèque et choisissez Promouvoir dans l'espace.

  2. Choisissez un espace de déploiement existant. Si vous ne disposez pas d'un espace de déploiement:

    1. Cliquez sur Créer un nouvel espace de déploiement.

    2. Pour le nom, entrez:

      Golden Bank Preproduction Space
      ```   1. Select a storage service.
      
      
    3. Sélectionnez un service d'apprentissage automatique.

    4. Sélectionnez Développement pour l' étape de déploiement.

    5. Cliquez sur Créer.

    6. Fermez la notification lorsque l'espace est prêt.

  3. Sélectionnez l'option Aller au modèle dans l'espace après l'avoir promu .

  4. Cliquez sur Promouvoir.

Remarque: Si vous n'avez pas sélectionné l'option permettant d'accéder au modèle dans l'espace après l'avoir promu, vous pouvez utiliser le menu de navigation pour accéder à Déploiements afin de sélectionner votre espace de déploiement et votre modèle.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre le modèle dans l'espace de déploiement.

L'image suivante montre le modèle dans l'espace de déploiement.

Tâche 2c: Créer un déploiement de modèle

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 01:02.

Maintenant que le modèle se trouve dans l'espace de déploiement, procédez comme suit pour créer le déploiement de modèle:

  1. Une fois le modèle ouvert, cliquez sur Nouveau déploiement.

    1. Sélectionnez En ligne comme Type de déploiement.

    2. Pour le nom de déploiement, entrez:

      Mortgage Approval Model Deployment
      
    3. Cliquez sur Créer.

  2. Une fois le déploiement terminé, cliquez sur le nom du déploiement pour afficher la page des détails de déploiement.

  3. Passez en revue le noeud final d'évaluation, que vous pouvez utiliser pour accéder à ce modèle à l'aide d'un programme dans vos applications.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre le déploiement de modèle dans l'espace de déploiement.

L'image suivante montre le déploiement de modèle dans l'espace de déploiement.




Tâche 3: Configurer les évaluations dans un espace de déploiement

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 01:19.

Pour configurer des évaluations dans cet espace de déploiement, procédez comme suit:

Tâche 3a: Configurer les détails du modèle

d'abord. suivez ces étapes pour configurer les détails du modèle.

  1. Dans le déploiement, cliquez sur l'onglet Evaluations .
  2. Cliquez sur Configurer les paramètres d'évaluation d' OpenScale.
  3. En regard de Entrée de modèle, cliquez sur l'icône Editer Editer.

Spécifier une entrée de modèle

Les données d'apprentissage contiennent des données numériques et catégorielles qui conviennent à un modèle de classification binaire.

  1. Pour Type de données, sélectionnez Numérique / catégoriel.
  2. Pour Type d'algorithme, sélectionnez Classification binaire.
  3. Sélectionnez *Configurer manuellement les détails des données d'entraînement.
  4. Cliquez sur Enregistrer et continuer.

Se connecter aux données d'apprentissage

Les données de formation sont stockées dans une instance Db2 Warehouse on Cloud .

  1. En regard de Données d'apprentissage, cliquez sur l'icône Editer Editer.
  2. Sélectionnez Base de données ou stockage en cloud pour le type de stockage.
  3. Sélectionnez Db2 comme emplacement.
  4. Indiquez les informations de connexion:
    • Nom d'hôte ou adresse IP : db2w-ruggyab.us-south.db2w.cloud.ibm.com
    • Port SSL : 50001
    • Base de données : BLUDB
    • Nom d'utilisateur : CPDEMO
    • Mot de passe : DataFabric@2022IBM
  5. Cliquez sur CONNECTER.
  6. Sélectionnez AI_HYPOTHÈQUE pour le schéma.
  7. Sélectionnez MORTGAGE_APPROVAL_TABLE pour la table.
  8. Cliquez sur Suivant.

Sélectionner les colonnes de libellé et de fonction

La colonne MORTGAGE_RECEIVAL indique si le demandeur est approuvé et les colonnes de caractéristiques contiennent des informations qui contribuent à la décision d'approbation.

  1. Recherchez MORTGAGE_APPROVAL, puis cliquez sur Suivant.
  2. Sélectionnez les colonnes de fonction suivantes:
    • SEXE
    • ETUDES
    • EMPLOYMENT_STATUS
    • Statut_Marital
    • INCOME
    • APPLIQUÉEEN ligne
    • perso
    • YRS_AT_ADRESSE_CURRENT_ADDRESS
    • YRS_AVEC_EMPLOYEUR_ACTUEL
    • NOMBRE_DE_CARTES
    • CRÉDIT_CRÉDIT_DETTE
    • EMPRUNTS
    • PRÊT_MONTANT
    • CREDIT_SCORE
    • CLIENT ??? AL_client
  3. Cliquez sur Suivant.

Examen de la sortie du modèle

Watson OpenScale suit et stocke les transactions traitées par le modèle. Pour préparer Watson OpenScale, envoyez une demande d'évaluation au déploiement de modèle.

  1. Pour la méthode d'évaluation, sélectionnez Contenu JSON.

  2. Remplacez l'exemple de demande et de réponse par les données JSON suivantes.

    [
       {
          "request": {
                "fields": [
                   "INCOME",
                   "YRS_AT_CURRENT_ADDRESS",
                   "YRS_WITH_CURRENT_EMPLOYER",
                   "NUMBER_OF_CARDS",
                   "CREDITCARD_DEBT",
                   "LOAN_AMOUNT",
                   "CREDIT_SCORE",
                   "PROPERTY_VALUE",
                   "AREA_AVG_PRICE",
                   "LOANS",
                   "GENDER",
                   "EDUCATION",
                   "EMPLOYMENT_STATUS",
                   "MARITAL_STATUS",
                   "APPLIEDONLINE",
                   "RESIDENCE",
                   "COMMERCIAL_CLIENT",
                   "COMM_FRAUD_INV"
                ],
                "values": [
                   [
                      49124,
                      11,
                      12,
                      2,
                      1075,
                      7246,
                      534,
                      550580,
                      null,
                      1,
                      "Male",
                      "Master",
                      "Employed",
                      "Married",
                      "YES",
                      "Private Renting",
                      "FALSE",
                      "FALSE"
                   ]
                ]
          },
          "response": {
                "fields": [
                   "prediction",
                   "probability"
                ],
                "values": [
                   [
                      0,
                      [
                            0.9999447513812154,
                            0.00005524861878453039
                      ]
                   ]
                ]
          }
       }
    ]
    
  3. Cliquez sur Envoyer maintenant.

  4. Lorsque le message La demande d'évaluation a abouti s'affiche, cliquez sur Suivant.

Spécifier les détails de sortie du modèle

Dans les données de sortie du modèle, vous devez sélectionner la colonne de prévision générée par le modèle déployé et la colonne de probabilité, qui contient la confiance du modèle dans la prévision.

  1. Cochez les cases appropriées pour les colonnes Prévision et Probabilité .
  2. Cliquez sur Sauvegarder.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre les détails du modèle terminé. Vous êtes maintenant prêt à configurer l'explicabilité.

L'image suivante montre les détails du modèle terminé.

Tâche 3b: Configurer l'explicabilité

vidéo du tutoriel d'aperçuPour prévisualiser cette tâche, regardez la vidéo à partir de 02:58.

Ensuite, procédez comme suit pour configurer l'explicabilité.

Sélectionnez la méthode d'explication

Shapley Additive Explications, ou SHAP, utilise toutes les combinaisons possibles d'entrées pour découvrir comment chaque entrée déplace une prévision vers ou à partir d'une valeur de prévision moyenne ou d'une cote de confiance. Local interprétable model-agnostic explications, ou LIME, construit des modèles linéaires épars pour découvrir l'importance de chaque fonction. SHAP est plus approfondie, et LIME est plus rapide.

  1. Cliquez sur Paramètres généraux.
  2. En regard de Méthode d'explication, cliquez sur l'icône Editer Editer.
  3. Activez l'option SHAP global explication .
  4. Pour la méthode d'explication locale, sélectionnez LIME (enhanced).
  5. Cliquez sur Suivant.

Sélectionner les caractéristiques contrôlables

Vous pouvez spécifier les caractéristiques que vous souhaitez contrôler lors de l'exécution d'une analyse afin d'afficher les caractéristiques les plus importantes pour déterminer le résultat du modèle.

  1. Passez en revue la liste des caractéristiques contrôlables et cliquez sur Sauvegarder.

Configurer l'explicabilité globale

SHAP quantifie l'influence de chaque caractéristique sur le résultat du modèle. SHAP produit un tracé récapitulatif qui convient aux explications globales, mais peut également générer des explications de prévision uniques.

  1. Sous Explicabilité, cliquez sur SHAP.
  2. En regard de Paramètres communs, cliquez sur l'icône Editer Editer.
    1. Acceptez les valeurs par défaut pour les paramètres communs.
    2. Cliquez sur Sauvegarder.
  3. En regard de Explication globale, cliquez sur l'icône Editer Editer.
    1. Accédez aux valeurs par défaut pour une explication globale.
    2. Cliquez sur Sauvegarder.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre la configuration d'explicabilité terminée. Vous êtes maintenant prêt à configurer l'équité.

L'image suivante montre la configuration d'explicabilité terminée.

Tâche 3c: Configurer l'équité

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo à partir de 04:06.

Ensuite, procédez comme suit pour configurer l'équité.

Sélectionnez un type de configuration

Vous pouvez configurer l'équité manuellement ou télécharger un fichier de configuration généré à l'aide du bloc-notes Jupyter fourni.

  1. Cliquez sur Equité.
  2. En regard de Configuration, cliquez sur l'icône Editer Editer.
  3. Sélectionnez Configurer manuellement pour le Type de configuration.
  4. Cliquez sur Suivant.

Sélectionner les résultats favorables

Pour ce déploiement de modèle, un résultat favorable se produit lorsqu'un candidat est approuvé pour une hypothèque, et un résultat défavorable se produit lorsqu'un candidat n'est pas approuvé.

  1. Dans le tableau, sélectionnez Favorable pour la valeur 1 , qui indique que le demandeur est approuvé pour une hypothèque.
  2. Dans le tableau, sélectionnez Non favorable pour la valeur 0 , qui indique que le demandeur n'est pas approuvé pour une hypothèque.
  3. Cliquez sur Suivant.

Taille de l"échantillon

Ajustez la taille de l'échantillon en fonction du jeu de données que vous utiliserez pour évaluer le modèle.

  1. Remplacez Taille d'échantillon minimale par 100.
  2. Cliquez sur Suivant.

Métriques

Le moniteur d'équité assure le suivi de plusieurs métriques d'équité. L'impact disparate est le rapport entre le pourcentage de résultats favorables pour le groupe surveillé et le pourcentage de résultats favorables pour le groupe de référence.

  1. Passez en revue les métriques surveillées générées à partir de toutes les données à appliquer aux fonctions surveillées, puis passez en revue les métriques générées à partir des données de retour à appliquer aux fonctions surveillées.
  2. Acceptez les métriques par défaut et cliquez sur Suivant.
  3. Acceptez les valeurs par défaut pour les seuils inférieur et supérieur, puis cliquez sur Suivant.

Sélectionner les zones à surveiller

Vous souhaitez surveiller la tendance du modèle déployé à fournir un résultat favorable pour un groupe par rapport à un autre. Dans ce cas, vous souhaitez surveiller le biais de genre dans le modèle.

  1. Sélectionnez la zone GENDER .
  2. Cliquez sur Suivant.
  3. Si les valeurs sont répertoriées dans le tableau:
    1. Case à cocher Féminin: surveillé
    2. Vérifiez Homme: Référence.
  4. Si les valeurs ne sont pas répertoriées dans le tableau:
    1. Dans la zone Ajouter une valeur personnalisée , entrez Female.
    2. Cliquez sur Ajouter une valeur.
    3. Sélectionnez Monitored en regard de Homme dans la table.
    4. Dans la zone Ajouter une valeur personnalisée , entrez Female.
    5. Cliquez sur Ajouter une valeur.
    6. Sélectionnez Référence en regard de Homme dans le tableau.
  5. Cliquez sur Suivant.
  6. Acceptez le seuil par défaut pour le groupe surveillé et cliquez sur Sauvegarder.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre la configuration de l'équité terminée. Vous êtes maintenant prêt à configurer la qualité.

L'image suivante montre la configuration de l'équité terminée.

Tâche 3d: Configurer la qualité

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 05:17.

Ensuite, procédez comme suit pour configurer la qualité. Le moniteur de qualité évalue dans quelle mesure votre modèle prévoit des résultats précis.

  1. Cliquez sur Qualité.
  2. En regard de Seuils de qualité, cliquez sur l'icône Editer Editer.
  3. Remplacez la valeur de Area under ROC par 0.7.
  4. Cliquez sur Suivant.
  5. Remplacez la Taille minimale des échantillons par 100.
  6. Cliquez sur Sauvegarder.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre la configuration de la qualité terminée. Vous êtes maintenant prêt à configurer la dérive.

L'image suivante montre la configuration de la qualité terminée.

Tâche 3e: Configurer la dérive

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 05:42.

Enfin, suivez ces étapes pour configurer la dérive. Le moniteur de dérive vérifie si vos déploiements sont à jour et se comportent de manière cohérente.

  1. Cliquez sur Dérive v2.
  2. En regard de Calculer l'archive de dérive, cliquez sur l'icône Editer Editer.
  3. Pour l' option Calcul, sélectionnez Calcul dans Watson OpenScale. Cette option indique à Watson OpenScale d'effectuer une analyse de vos données d'apprentissage afin de déterminer les distributions de données des fonctions.
  4. Cliquez sur Suivant.
  5. Acceptez les valeurs par défaut pour les seuils supérieurs, puis cliquez sur Suivant.
  6. Acceptez les valeurs par défaut pour la taille d'échantillon et cliquez sur Sauvegarder.
  7. Cliquez sur le X pour fermer la fenêtre et attendez que Watson OpenScale récupère les moniteurs.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre la configuration terminée dans l'espace de déploiement. Vous êtes maintenant prêt à surveiller le déploiement du modèle.

L'image suivante montre la configuration terminée dans l'espace de déploiement.




Tâche 4: Evaluer le modèle

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 06:22.

Procédez comme suit pour utiliser les données restantes afin d'évaluer le modèle:

  1. Dans le menu Actions, sélectionnez Évaluer maintenant.

  2. Dans la liste des options d'importation, sélectionnez à partir d'un fichier CSV.

  3. Faites glisser le fichier de données Golden Bank_HoldoutData.csv que vous avez téléchargé du projet dans le panneau latéral.

  4. Cliquez sur Télécharger et évaluer et attendez la fin de l'évaluation.

  5. Une fois l'évaluation terminée, vous verrez le nombre de tests exécutés, de tests réussis et de tests ayant échoué. Faites défiler l'écran pour afficher les résultats de l' équité, de la qualité, de la dériveet de l' explication globale.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre le résultat de l'évaluation pour le modèle déployé. Maintenant que vous avez évalué le modèle, vous êtes prêt à observer la qualité du modèle.

modèle évalué




Tâche 5: Observez la qualité des moniteurs de modèle

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 06:36.

Le moniteur de qualité Watson OpenScale génère un ensemble de métriques pour évaluer la qualité de votre modèle. Vous pouvez utiliser ces indicateurs de qualité pour déterminer dans quelle mesure votre modèle prédit les résultats. Une fois l'évaluation qui utilise les données restantes terminée, procédez comme suit pour observer la qualité ou l'exactitude du modèle:

  1. Dans la section Qualité , cliquez sur l'icône Configurer Configurer. Vous pouvez voir ici que le seuil de qualité configuré pour ce moniteur est de 70% et que la mesure de la qualité utilisée est une zone sous la courbe ROC.

  2. Cliquez sur le X pour fermer la fenêtre et revenir à l'écran d'évaluation du modèle.

  3. Dans la section Qualité , cliquez sur l'icône Détails Détails pour afficher les résultats détaillés de la qualité de modèle. Vous voyez ici un certain nombre de calculs de métriques de qualité et une matrice de confusion affichant des décisions de modèle correctes ainsi que des faux positifs et des faux négatifs. L'aire calculée sous la courbe ROC est 0.9 ou supérieure, ce qui dépasse le seuil 0.7 , de sorte que le modèle répond à ses exigences de qualité.

  4. Cliquez sur Retour au récapitulatif pour revenir à l'écran des détails du modèle.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre les détails de la qualité dans Watson OpenScale. Maintenant que vous avez observé la qualité du modèle, vous pouvez observer l'équité du modèle.

Qualité




Tâche 6: Observez les moniteurs de modèle pour l'équité

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 07:20.

Le moniteur d'équité Watson OpenScale génère un ensemble de métriques pour évaluer l'équité de votre modèle. Vous pouvez utiliser les mesures d'équité pour déterminer si votre modèle produit des résultats biaisés. Pour observer l'équité du modèle, procédez comme suit:

  1. Dans la section Equité , cliquez sur l'icône Configurer Configurer. Ici, vous voyez que le modèle est en cours de révision pour s'assurer que les candidats sont traités équitablement quel que soit leur sexe. Les femmes sont identifiées comme le groupe surveillé pour lequel l'équité est mesurée et le seuil d'équité doit être d'au moins 80 %. Le contrôleur de l'équité utilise la méthode d'impact disparate pour déterminer l'équité. L'effet Disparate compare le pourcentage de résultats favorables pour un groupe surveillé au pourcentage de résultats favorables pour un groupe de référence.

  2. Cliquez sur le X pour fermer la fenêtre et revenir à l'écran d'évaluation du modèle.

  3. Dans la section Equité , cliquez sur l'icône Détails Détails pour afficher les résultats détaillés de l'équité du modèle. Vous voyez ici le pourcentage de candidats masculins et féminins qui sont automatiquement approuvés, ainsi qu'un score d'équité de plus de 100%, de sorte que la performance du modèle dépasse de loin le seuil d'équité de 80% requis.

  4. Notez les jeux de données identifiés. Pour s'assurer que les métriques d'équité sont les plus précises, Watson OpenScale utilise la perturbation pour déterminer les résultats dans lesquels seuls les attributs protégés et les entrées de modèle associées sont modifiés, tandis que les autres fonctions restent les mêmes. La perturbation modifie les valeurs de la fonction du groupe de référence vers le groupe surveillé, ou vice-versa. Ces garde-fous supplémentaires sont utilisés pour calculer l'équité lorsque le jeu de données " équilibré " est utilisé, mais vous pouvez également afficher les résultats d'équité à l'aide uniquement de données de charge utile ou de modèle de formation. Puisque le modèle se comporte de façon équitable, vous n'avez pas besoin d'entrer dans les détails supplémentaires pour cette mesure.

    Ensembles de données d'équité

  5. Cliquez sur Retour au récapitulatif pour revenir à l'écran des détails du modèle.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre les détails de l'équité dans Watson OpenScale. Maintenant que vous avez observé l'équité du modèle, vous pouvez observer l'explicabilité du modèle.

Equité




Tâche 7: Observez les moniteurs de modèle pour la dérive

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 08:25.

Le moniteur de dérive Watson OpenScale mesure les changements dans vos données au fil du temps afin de garantir des résultats cohérents pour votre modèle. Utilisez les évaluations de dérive pour identifier les changements dans la sortie de votre modèle, la précision de vos prévisions et la distribution de vos données d'entrée. Pour observer la dérive du modèle, procédez comme suit:

  1. Dans la section Dérive , cliquez sur l'icône Configurer Configurer. Vous voyez ici les seuils de dérive. La dérive des sorties mesure le changement dans la distribution de la confiance du modèle. La dérive de la qualité du modèle mesure la baisse de l'exactitude en comparant l'exactitude d'exécution estimée à l'exactitude d'entraînement. La dérive des caractéristiques mesure le changement dans la distribution des valeurs pour les caractéristiques importantes. La configuration indique également le nombre de fonctions sélectionnées et les fonctions les plus importantes.

  2. Cliquez sur le X pour fermer la fenêtre et revenir à l'écran d'évaluation du modèle.

  3. Dans la section Dérive , cliquez sur l'icône Détails Détails pour afficher les résultats détaillés de la dérive du modèle. Vous pouvez afficher l'historique de l'évolution de chaque score d'indicateur dans le temps à l'aide d'un graphique de série temporelle. Les valeurs inférieures sont meilleures, de sorte que dans ce cas, les résultats sont supérieurs aux seuils supérieurs définis dans la configuration. Affichez ensuite des détails sur la façon dont la sortie des scores et les dérives des fonctions sont calculées. Vous pouvez également afficher des détails sur chaque fonction pour comprendre comment elle contribue aux scores générés par Watson OpenScale .

  4. Cliquez sur Retour au récapitulatif pour revenir à l'écran des détails du modèle.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre les détails de la dérive dans Watson OpenScale. Maintenant que vous avez observé la dérive du modèle, vous pouvez observer l'explicabilité du modèle.

Dérive




Tâche 8: Observez les moniteurs de modèle pour l'explicabilité

vidéo du tutoriel d'aperçu Pour prévisualiser cette tâche, regardez la vidéo qui commence à 09:10.

Il est également important de comprendre comment le modèle a pris sa décision. Cette compréhension est nécessaire à la fois pour expliquer les décisions aux personnes impliquées dans l'approbation du prêt et pour s'assurer que les propriétaires de modèles sont valides. Pour comprendre ces décisions, procédez comme suit pour observer l'explicabilité du modèle:

  1. Cliquez sur l'onglet Transactions .

  2. Sur le graphique, sélectionnez un délai pour afficher la liste des transactions au cours de cette période.

  3. Pour toute transaction, cliquez sur Expliquer sous la colonne Actions. Vous trouverez ici l'explication détaillée de cette décision. Vous verrez les entrées les plus importantes du modèle ainsi que l'importance de chaque résultat final. Les barres bleues représentent les entrées qui ont eu tendance à prendre en charge la décision du modèle, tandis que les barres rouges représentent les entrées qui ont pu conduire à une autre décision. Par exemple, un demandeur peut avoir un revenu suffisant pour être approuvé autrement, mais son faible historique de crédit et sa dette élevée conduisent le modèle à rejeter la demande. Examinez cette explication pour vous satisfaire de la base de la décision du modèle.

  4. Facultatif: si vous souhaitez approfondir la manière dont le modèle a pris sa décision, cliquez sur l'onglet Inspecter . Utilisez la fonction Inspecter pour analyser la décision afin de trouver des zones de sensibilité dans lesquelles de petites modifications apportées à quelques entrées peuvent entraîner une décision différente, et vous pouvez tester la sensibilité vous-même en remplaçant certaines des entrées réelles par des alternatives pour voir si elles ont un impact sur le résultat. Cliquez sur Exécuter l'analyse pour que Watson OpenScale révèle les modifications minimales requises pour fournir un résultat différent. Sélectionnez Analyser uniquement les caractéristiques contrôlables pour limiter les modifications aux seules caractéristiques contrôlables.

Icône de point de contrôle Vérifiez votre progression

L'image suivante montre l'explicabilité d'une transaction dans Watson OpenScale. Vous avez déterminé que le modèle est exact et que tous les demandeurs sont traités équitablement. Vous pouvez maintenant faire passer le modèle à la phase suivante de son cycle de vie.

Explicabilité



Etapes suivantes

Essayez les tutoriels supplémentaires suivants:

Ressources supplémentaires

  • Voir plus de vidéos

  • Présentation de watsonx

  • Recherchez des exemples d'ensembles de données, de projets, de modèles, d'invites et de blocs-notes dans le concentrateur de ressources pour acquérir une expérience pratique:

    Bloc-notes Notebooks que vous pouvez ajouter à votre projet pour commencer à analyser les données et à générer des modèles.

    Projet Projets que vous pouvez importer contenant des blocs-notes, des ensembles de données, des invites et d'autres actifs.

    Jeu de données Ensembles de données que vous pouvez ajouter à votre projet pour affiner, analyser et générer des modèles.

    Invite Invites que vous pouvez utiliser dans le lab d'invite pour demander un modèle de base.

    Modèle Modèles Foundation que vous pouvez utiliser dans Prompt Lab.

Rubrique parent: Tutoriels de démarrage rapide

Recherche et réponse à l'IA générative
Ces réponses sont générées par un modèle de langue de grande taille dans watsonx.ai en fonction du contenu de la documentation du produit. En savoir plus