Configurez les évaluations watsonx.governance dans vos espaces de déploiement pour obtenir des informations sur les performances de votre modèle. Lorsque vous configurez des évaluations, vous pouvez analyser les résultats d'évaluation et modéliser les enregistrements de transaction directement dans vos espaces.

watsonx.governance évalue vos déploiements de modèle pour vous aider à mesurer les performances et à comprendre les prévisions de votre modèle. Lorsque vous configurez des évaluations de modèle, watsonx.governance génère des métriques pour chaque évaluation qui fournissent des informations différentes que vous pouvez examiner. watsonx.governance consigne également les transactions qui sont traitées lors des évaluations pour vous aider à comprendre comment les prévisions de votre modèle sont déterminées. Pour plus d'informations, voir Evaluation des modèles d'IA avec Watson OpenScale.

Si vous disposez d'une instance de watsonx.governance mise à disposition, vous pouvez créer en toute transparence un déploiement en ligne, puis surveiller les résultats de déploiement pour l'équité, la qualité, la dérive et l'explicabilité.

Un scénario typique suit cette séquence:

1. Créez un espace de déploiement et associez une instance watsonx.governance à l'espace pour activer toutes les fonctions de surveillance. Vous pouvez choisir le type d'espace, par exemple en production ou en préproduction, en fonction de vos besoins.
2. Promouvez un modèle d'apprentissage automatique entraîné et des données d'entrée (contenu) dans l'espace de déploiement et créez un déploiement en ligne pour le modèle.
3. Dans l'onglet Test de déploiement, fournissez les données d'entrée et obtenez les prévisions.
4. Dans l'onglet Evaluations, configurez l'évaluation pour surveiller la qualité, l'équité et l'explicabilité de votre déploiement. Fournissez tous les détails de modèle requis afin que Watson OpenScale puisse se connecter au modèle, aux données d'entraînement et de contenu et à un référentiel pour stocker les résultats d'évaluation.
5. Configurez un moniteur d'équité pour vous assurer que votre modèle génère des résultats non biaisés. Sélectionnez les champs à surveiller pour l'équité, puis définissez des seuils pour mesurer les prévisions d'un groupe surveillé par rapport à un groupe de référence. Par exemple, vous pouvez évaluer votre modèle pour vous assurer qu'il fournit des prévisions non biaisées basées sur le sexe.
6. Configurez un moniteur de qualité pour déterminer les performances du modèle en fonction du nombre de résultats corrects générés par le modèle en fonction des données de test étiquetées appelées données de retour. Définissez des seuils de qualité pour effectuer le suivi lorsqu'une valeur de métrique se trouve en dehors d'une plage acceptable.
7. Configurez un moniteur pour la dérive afin de vous assurer que vos déploiements sont à jour et cohérents. Utilisez l'importance des fonctions pour déterminer l'impact de la dérive des fonctions sur votre modèle. Par exemple, une petite quantité de dérive dans une fonction importante peut avoir un impact plus important sur votre modèle qu'une quantité modérée de dérive dans une fonction moins importante.
8. Vous pouvez surveiller les résultats de votre déploiement pour l'explicabilité afin de comprendre les facteurs qui ont conduit le modèle à déterminer une prévision. Choisissez la méthode d'explication la mieux adaptée à vos besoins. Par exemple, vous pouvez choisir la méthode SHAP (Shapley Additive EXplanations) pour des explications approfondies ou la méthode LIME (Local Interpretable Model-Agnostic Explications) pour des explications plus rapides.
9. Enfin, vous pouvez inspecter vos évaluations de modèle pour trouver les zones où de petits changements apportés à quelques entrées pourraient entraîner une décision différente. Testez les scénarios pour déterminer si la modification des entrées peut améliorer les performances du modèle.

Les sections suivantes expliquent comment configurer les évaluations watsonx.governance et passer en revue les informations sur les modèles dans vos espaces de déploiement: