Vous pouvez configurer des évaluations de l'équité pour déterminer si votre modèle produit des résultats biaisés. Utilisez les évaluations de l'équité pour identifier les cas où votre modèle a tendance à fournir des résultats favorables plus souvent à un groupe qu'à un autre.
Configuration des évaluations d'équité pour les modèles d'apprentissage automatique
Si vous enregistrez les données de la charge utile lorsque vous préparez les évaluations du modèle, vous pouvez configurer les évaluations de l'équité.
Vous pouvez configurer les évaluations d'équité manuellement ou exécuter un bloc-notes personnalisé pour générer un fichier de configuration. Vous pouvez télécharger le fichier de configuration pour spécifier les paramètres de votre évaluation.
Lorsque vous configurez les évaluations d'équité manuellement, vous pouvez spécifier le groupe de référence (valeur) qui doit représenter les résultats favorables. Vous pouvez également sélectionner les attributs de modèle correspondants (caractéristiques) pour surveiller le biais (par exemple, l'âge ou le sexe), qui seront comparés au groupe de référence. En fonction de vos données de formation, vous pouvez également spécifier la taille minimale et maximale de l'échantillon pour les évaluations.
Sélectionner les résultats favorables et défavorables
Vous devez spécifier les résultats favorables et défavorables lors de la configuration des évaluations de l'équité. Les valeurs qui représentent un résultat favorable sont dérivées de la colonne label dans les données de formation. Par défaut, la colonne predictedLabel est définie comme la colonne prediction. Les valeurs favorites et non favorables doivent être spécifiées à l'aide de la valeur de la colonne prediction comme type de données de chaîne, par exemple 0 ou 1 lorsque vous téléchargez des données de formation.
Sélectionnez les fonctions
Vous devez sélectionner les caractéristiques qui sont les attributs du modèle que vous souhaitez évaluer pour détecter les biais. Par exemple, vous pouvez évaluer des caractéristiques telles que Sex ou Age pour la partialité. Seules sont prises en charge les caractéristiques qui sont de type de données d'équité catégoriel, numérique (entier), flottant ou double.
Les valeurs des fonctions sont spécifiées en tant que groupe de référence ou de surveillance. Le groupe surveillé représente les valeurs les plus à risque pour les résultats biaisés. Par exemple, pour la fonction Sex, vous pouvez définir Female et Non-binary en tant que groupes surveillés. Pour une fonction numérique, telle que Age, vous pouvez définir [18-25] comme groupe surveillé. Toutes les autres valeurs de la fonction sont alors considérées comme groupe de référence, par exemple, Sex=Maleou Age=[26,100].
Fixer le seuil d'équité
Vous pouvez définir le seuil d'équité pour spécifier une différence acceptable entre le pourcentage de résultats favorables pour le groupe surveillé et le pourcentage de résultats favorables pour le groupe de référence. Par exemple, si le pourcentage de résultats favorables pour un groupe dans votre modèle est de 70 % et que le seuil d'équité est fixé à 80 %, le moniteur d'équité détecte un biais dans votre modèle.
Fixer la taille d'échantillon
La taille des échantillons est utilisée pour déterminer comment traiter le nombre de transactions qui sont évaluées. Vous devez définir une taille d'échantillon minimale pour indiquer le plus petit nombre de transactions que vous souhaitez évaluer. Vous pouvez également définir une taille d'échantillon maximale pour indiquer le nombre maximum de transactions que vous souhaitez évaluer.
Test de biais indirect
Si vous sélectionnez un champ qui n'est pas une caractéristique d'apprentissage, appelé champ ajouté, le biais indirect est identifié en trouvant les valeurs associées dans les caractéristiques d'apprentissage. Par exemple, la profession "étudiant" peut impliquer un individu plus jeune même si le champ Age a été exclu de l'entraînement du modèle. Pour plus d'informations sur la configuration des évaluations de l'équité afin de prendre en compte les préjugés indirects, voir Configuration du moniteur d'équité pour les préjugés indirects.
Atténuation du biais
Le débiaisage passif et actif est utilisé pour l'évaluation des modèles d'apprentissage automatique. Le débiaisement passif révèle les biais, tandis que le débiaisement actif vous empêche de conserver le biais plus avant en modifiant le modèle en temps réel pour l'application en cours. Pour plus de détails sur l'interprétation des résultats et l'atténuation du biais dans un modèle, voir Examen des résultats d'une évaluation de l'équité.
Mesurer la performance avec la matrice de confusion
La matrice de confusion mesure la performance en classant les prédictions positives et négatives dans quatre quadrants qui représentent la mesure des valeurs réelles et prédites, comme le montre l'exemple suivant :
| Réel/prédit | Négatif | Positif |
|---|---|---|
| Négatif | TN | point focal |
| Positif | FN | programme transactionnel |
Le quadrant des vrais négatifs (TN) représente les valeurs qui sont réellement négatives et prédites comme négatives et le quadrant des vrais positifs (TP) représente les valeurs qui sont réellement positives et prédites comme positives. Le quadrant des faux positifs (FP) représente les valeurs qui sont en fait négatives mais prédites comme positives et le quadrant des faux négatifs (FN) représente les valeurs qui sont en fait positives mais prédites comme négatives.
Thème parent: Configuration des évaluations de l'équité