Démarrage rapide: évaluation d'un déploiement dans des espaces

Pour prévisualiser cette tâche, regardez la vidéo à partir de 00:06.

Vous avez besoin d'un projet pour stocker les actifs utilisés pour générer le modèle. Par exemple, les données d'entraînement, l'expérience AutoAI ou le bloc-notes Jupyter et le modèle sauvegardé. Pour créer un projet à partir d'un exemple, procédez comme suit:

1. Accédez à Evaluer un exemple de projet de modèle ML dans le concentrateur de ressources.

2. Cliquez sur Créer un projet.

3. Si vous êtes invité à associer le projet à une instance Cloud Object Storage, sélectionnez une instance Cloud Object Storage dans la liste.

4. Cliquez sur Créer.

5. Attendez que l'importation du projet soit terminée, puis cliquez sur Afficher le nouveau projet pour vérifier que le projet et les actifs ont été créés avec succès.

6. Cliquez sur l'onglet Actifs pour afficher les actifs dans l'exemple de projet.

7. Affichez le modèle de prévision d'approbation d'hypothèque. Ce modèle prévoit si un demandeur d'hypothèque doit être approuvé en fonction de plusieurs facteurs, tels que son historique de crédit, sa dette totale, son revenu, son montant de prêt et son historique d'emploi.

8. Revenez à l'onglet Actifs du projet.

Avant de pouvoir déployer le modèle, vous devez le promouvoir dans un nouvel espace de déploiement. Les espaces de déploiement vous aident à organiser les ressources de support telles que les données d'entrée et les environnements, à déployer des modèles ou des fonctions pour générer des prévisions ou des solutions et à afficher ou éditer les détails du déploiement. La tâche suivante consiste à promouvoir les données d'évaluation et le modèle dans un espace de déploiement, puis à créer un déploiement en ligne.

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 01:19.

Pour configurer des évaluations dans cet espace de déploiement, procédez comme suit:

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 06:22.

Procédez comme suit pour utiliser les données restantes afin d'évaluer le modèle:

1. Dans le menu Actions, sélectionnez Évaluer maintenant.

2. Dans la liste des options d'importation, sélectionnez à partir d'un fichier CSV.

3. Faites glisser le fichier de données Golden Bank_HoldoutData.csv que vous avez téléchargé du projet dans le panneau latéral.

4. Cliquez sur Télécharger et évaluer et attendez la fin de l'évaluation.

5. Une fois l'évaluation terminée, vous verrez le nombre de tests exécutés, de tests réussis et de tests ayant échoué. Faites défiler l'écran pour afficher les résultats de l' équité, de la qualité, de la dériveet de l' explication globale.

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 06:36.

Le moniteur de qualité Watson OpenScale génère un ensemble de métriques pour évaluer la qualité de votre modèle. Vous pouvez utiliser ces indicateurs de qualité pour déterminer dans quelle mesure votre modèle prédit les résultats. Une fois l'évaluation qui utilise les données restantes terminée, procédez comme suit pour observer la qualité ou l'exactitude du modèle:

1. Dans la section Qualité , cliquez sur l'icône Configurer . Vous pouvez voir ici que le seuil de qualité configuré pour ce moniteur est de 70% et que la mesure de la qualité utilisée est une zone sous la courbe ROC.

2. Cliquez sur le X pour fermer la fenêtre et revenir à l'écran d'évaluation du modèle.

3. Dans la section Qualité , cliquez sur l'icône Détails pour afficher les résultats détaillés de la qualité de modèle. Vous voyez ici un certain nombre de calculs de métriques de qualité et une matrice de confusion affichant des décisions de modèle correctes ainsi que des faux positifs et des faux négatifs. L'aire calculée sous la courbe ROC est 0.9 ou supérieure, ce qui dépasse le seuil 0.7 , de sorte que le modèle répond à ses exigences de qualité.

4. Cliquez sur Retour au récapitulatif pour revenir à l'écran des détails du modèle.

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 07:20.

Le moniteur d'équité Watson OpenScale génère un ensemble de métriques pour évaluer l'équité de votre modèle. Vous pouvez utiliser les mesures d'équité pour déterminer si votre modèle produit des résultats biaisés. Pour observer l'équité du modèle, procédez comme suit:

1. Dans la section Equité , cliquez sur l'icône Configurer . Ici, vous voyez que le modèle est en cours de révision pour s'assurer que les candidats sont traités équitablement quel que soit leur sexe. Les femmes sont identifiées comme le groupe surveillé pour lequel l'équité est mesurée et le seuil d'équité doit être d'au moins 80 %. Le contrôleur de l'équité utilise la méthode d'impact disparate pour déterminer l'équité. L'effet Disparate compare le pourcentage de résultats favorables pour un groupe surveillé au pourcentage de résultats favorables pour un groupe de référence.

2. Cliquez sur le X pour fermer la fenêtre et revenir à l'écran d'évaluation du modèle.

3. Dans la section Equité , cliquez sur l'icône Détails pour afficher les résultats détaillés de l'équité du modèle. Vous voyez ici le pourcentage de candidats masculins et féminins qui sont automatiquement approuvés, ainsi qu'un score d'équité de plus de 100%, de sorte que la performance du modèle dépasse de loin le seuil d'équité de 80% requis.

4. Notez les jeux de données identifiés. Pour s'assurer que les métriques d'équité sont les plus précises, Watson OpenScale utilise la perturbation pour déterminer les résultats dans lesquels seuls les attributs protégés et les entrées de modèle associées sont modifiés, tandis que les autres fonctions restent les mêmes. La perturbation modifie les valeurs de la fonction du groupe de référence vers le groupe surveillé, ou vice-versa. Ces garde-fous supplémentaires sont utilisés pour calculer l'équité lorsque le jeu de données " équilibré " est utilisé, mais vous pouvez également afficher les résultats d'équité à l'aide uniquement de données de charge utile ou de modèle de formation. Puisque le modèle se comporte de façon équitable, vous n'avez pas besoin d'entrer dans les détails supplémentaires pour cette mesure.

   

5. Cliquez sur Retour au récapitulatif pour revenir à l'écran des détails du modèle.

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 08:25.

Le moniteur de dérive Watson OpenScale mesure les changements dans vos données au fil du temps afin de garantir des résultats cohérents pour votre modèle. Utilisez les évaluations de dérive pour identifier les changements dans la sortie de votre modèle, la précision de vos prévisions et la distribution de vos données d'entrée. Pour observer la dérive du modèle, procédez comme suit:

1. Dans la section Dérive , cliquez sur l'icône Configurer . Vous voyez ici les seuils de dérive. La dérive des sorties mesure le changement dans la distribution de la confiance du modèle. La dérive de la qualité du modèle mesure la baisse de l'exactitude en comparant l'exactitude d'exécution estimée à l'exactitude d'entraînement. La dérive des caractéristiques mesure le changement dans la distribution des valeurs pour les caractéristiques importantes. La configuration indique également le nombre de fonctions sélectionnées et les fonctions les plus importantes.

2. Cliquez sur le X pour fermer la fenêtre et revenir à l'écran d'évaluation du modèle.

3. Dans la section Dérive , cliquez sur l'icône Détails pour afficher les résultats détaillés de la dérive du modèle. Vous pouvez afficher l'historique de l'évolution de chaque score d'indicateur dans le temps à l'aide d'un graphique de série temporelle. Les valeurs inférieures sont meilleures, de sorte que dans ce cas, les résultats sont supérieurs aux seuils supérieurs définis dans la configuration. Affichez ensuite des détails sur la façon dont la sortie des scores et les dérives des fonctions sont calculées. Vous pouvez également afficher des détails sur chaque fonction pour comprendre comment elle contribue aux scores générés par Watson OpenScale .

4. Cliquez sur Retour au récapitulatif pour revenir à l'écran des détails du modèle.

Pour prévisualiser cette tâche, regardez la vidéo qui commence à 09:10.

Il est également important de comprendre comment le modèle a pris sa décision. Cette compréhension est nécessaire à la fois pour expliquer les décisions aux personnes impliquées dans l'approbation du prêt et pour s'assurer que les propriétaires de modèles sont valides. Pour comprendre ces décisions, procédez comme suit pour observer l'explicabilité du modèle:

1. Cliquez sur l'onglet Transactions .

2. Sur le graphique, sélectionnez un délai pour afficher la liste des transactions au cours de cette période.

3. Pour toute transaction, cliquez sur Expliquer sous la colonne Actions. Vous trouverez ici l'explication détaillée de cette décision. Vous verrez les entrées les plus importantes du modèle ainsi que l'importance de chaque résultat final. Les barres bleues représentent les entrées qui ont eu tendance à prendre en charge la décision du modèle, tandis que les barres rouges représentent les entrées qui ont pu conduire à une autre décision. Par exemple, un demandeur peut avoir un revenu suffisant pour être approuvé autrement, mais son faible historique de crédit et sa dette élevée conduisent le modèle à rejeter la demande. Examinez cette explication pour vous satisfaire de la base de la décision du modèle.

4. Facultatif: si vous souhaitez approfondir la manière dont le modèle a pris sa décision, cliquez sur l'onglet Inspecter . Utilisez la fonction Inspecter pour analyser la décision afin de trouver des zones de sensibilité dans lesquelles de petites modifications apportées à quelques entrées peuvent entraîner une décision différente, et vous pouvez tester la sensibilité vous-même en remplaçant certaines des entrées réelles par des alternatives pour voir si elles ont un impact sur le résultat. Cliquez sur Exécuter l'analyse pour que Watson OpenScale révèle les modifications minimales requises pour fournir un résultat différent. Sélectionnez Analyser uniquement les caractéristiques contrôlables pour limiter les modifications aux seules caractéristiques contrôlables.