Configuration des évaluations de l'équité
Vous pouvez configurer des évaluations de l'équité pour déterminer si votre modèle produit des résultats biaisés. Utilisez les évaluations de l'équité pour identifier les cas où votre modèle a tendance à fournir des résultats favorables plus souvent à un groupe qu'à un autre.
Configuration des évaluations d'équité pour les modèles d'apprentissage automatique
Si vous enregistrez les données de charge utile lorsque vous préparez les évaluations de modèle, vous pouvez configurer les évaluations de l'équité.
Vous pouvez configurer les évaluations d'équité manuellement ou exécuter un bloc-notes personnalisé pour générer un fichier de configuration. Vous pouvez télécharger le fichier de configuration pour spécifier les paramètres de votre évaluation.
Lorsque vous configurez les évaluations d'équité manuellement, vous pouvez spécifier le groupe de référence (valeur) qui doit représenter les résultats favorables. Vous pouvez également sélectionner les attributs de modèle correspondants (caractéristiques) pour surveiller le biais (par exemple, l'âge ou le sexe), qui seront comparés au groupe de référence. En fonction de vos données de formation, vous pouvez également spécifier la taille minimale et maximale de l'échantillon pour les évaluations.
Sélectionner les résultats favorables et défavorables
Vous devez spécifier les résultats favorables et défavorables lors de la configuration des évaluations de l'équité. Les valeurs qui représentent un résultat favorable sont dérivées de la colonne labelpredictedLabelpredictionprediction01
Sélectionnez les fonctions
Vous devez sélectionner les caractéristiques qui sont les attributs du modèle que vous souhaitez évaluer pour détecter les biais. Par exemple, vous pouvez évaluer des caractéristiques telles que SexAge
Les valeurs des fonctions sont spécifiées en tant que groupe de référence ou de surveillance. Le groupe surveillé représente les valeurs les plus à risque pour les résultats biaisés. Par exemple, pour la fonction SexFemaleNon-binaryAge[18-25]Sex=MaleAge=[26,100]
Fixer le seuil d'équité
Vous pouvez définir le seuil d'équité pour spécifier une différence acceptable entre le pourcentage de résultats favorables pour le groupe surveillé et le pourcentage de résultats favorables pour le groupe de référence. Par exemple, si le pourcentage de résultats favorables pour un groupe dans votre modèle est de 70 % et que le seuil d'équité est fixé à 80 %, le moniteur d'équité détecte un biais dans votre modèle.
Fixer la taille d'échantillon
La taille des échantillons est utilisée pour déterminer comment traiter le nombre de transactions qui sont évaluées. Vous devez définir une taille d'échantillon minimale pour indiquer le plus petit nombre de transactions que vous souhaitez évaluer. Vous pouvez également définir une taille d'échantillon maximale pour indiquer le nombre maximum de transactions que vous souhaitez évaluer.
Test de biais indirect
Si vous sélectionnez un champ qui n'est pas une caractéristique d'apprentissage, appelé champ ajouté, le biais indirect est identifié en trouvant les valeurs associées dans les caractéristiques d'apprentissage. Par exemple, la profession "étudiant" peut impliquer un individu plus jeune même si le champ Age a été exclu de l'entraînement du modèle. Pour plus d'informations sur la configuration des évaluations de l'équité afin de prendre en compte les préjugés indirects, voir Configuration du moniteur d'équité pour les préjugés indirects.
Atténuation du biais
Le débiaisage passif et actif est utilisé pour l'évaluation des modèles d'apprentissage automatique. Le débiaisement passif révèle le biais, tandis que le débiaisement actif vous empêche de prolonger le biais en modifiant le modèle en temps réel pour l'application en cours. Pour plus de détails sur l'interprétation des résultats et l'atténuation du biais dans un modèle, voir Examen des résultats d'une évaluation de l'équité.
Configuration des évaluations de l'équité dans watsonx.governance
Lorsque vous évaluez les modèles d'invite, vous pouvez consulter un résumé des résultats de l'évaluation de l'équité pour les tâches de classification de texte.
Sélectionner les résultats favorables et défavorables
Vous devez spécifier les résultats favorables et défavorables lors de la configuration des évaluations de l'équité. Les valeurs qui représentent un résultat favorable sont dérivées de la colonne labelpredictedLabelpredictionprediction01
Sélectionner les méta-champs
Vous devez sélectionner des méta-champs pour permettre à watsonx.governance d'identifier les champs qui ne sont pas spécifiés comme caractéristiques dans les données de test que vous fournissez.
Fixer des seuils d'équité
Pour configurer les évaluations de l'équité avec vos propres paramètres, vous pouvez définir une taille d'échantillon minimale et maximale pour chaque mesure. La taille minimale ou maximale de l'échantillon indique le nombre minimal ou maximal de transactions du modèle que vous souhaitez évaluer.
Vous pouvez également configurer des données de référence et définir des valeurs seuils pour chaque mesure. Les valeurs seuils créent des alertes sur la page de résumé de l'évaluation qui s'affichent lorsque les scores des métriques ne respectent pas les seuils fixés. Les valeurs doivent être comprises entre 0 et 1. Les scores métriques doivent être inférieurs aux valeurs seuils pour éviter les violations.
Fixer la taille d'échantillon
Watsonx.governance utilise la taille des échantillons pour comprendre comment traiter le nombre de transactions évaluées lors des évaluations. Vous devez définir une taille d'échantillon minimale pour indiquer le plus petit nombre de transactions que vous voulez que watsonx.governance évalue. Vous pouvez également définir une taille d'échantillon maximale pour indiquer le nombre maximum de transactions que vous voulez que watsonx.governance évalue.
Thème parent: Configuration des évaluations de l'équité