Portée

La mesure de l'impact disparate évalue les actifs d'IA générative et les modèles d'apprentissage automatique.

• Types d'actifs d'IA :
  • Modèles d'invite
  • Modèles d'apprentissage automatique
• Tâches d'IA générative : Classification de textes
• Type de problème d'apprentissage automatique : Classification binaire

Scores et valeurs

Le score de la mesure de l'impact disparate indique si le groupe de référence reçoit des résultats plus favorables que le groupe contrôlé.

• Plage de valeurs : 0.0-1.0
• Meilleure note possible : 0.0
• Ratios :
  • A 0 : Les deux groupes ont des chances égales
  • Sous 0 : Résultats biaisés pour le groupe contrôlé
  • Plus de 0 : résultats biaisés pour le groupe de référence

Calculs

La formule suivante est utilisée pour calculer l'impact disparate :

La valeur num_positives représente le nombre d'individus dans le groupe ayant reçu un résultat positif, et la valeur num_instances représente le nombre total d'individus dans le groupe. Le libellé privileged=False indique les groupes non privilégiés et l'étiquette privileged=True indique les groupes privilégiés. Les résultats positifs sont appelés résultats favorables et les résultats négatifs sont appelés résultats défavorables. Le groupe privilégié est appelé le groupe de référence et le groupe non privilégié, le groupe surveillé.

Le calcul produit un pourcentage qui indique la fréquence à laquelle le groupe non privilégié reçoit le résultat positif est le même que celui que le groupe privilégié reçoit du résultat positif. Par exemple, si un modèle de risque de crédit attribue la " non-prédiction du risque à 80 % des candidats non privilégiés et à 100 % des candidats privilégiés, ce modèle a un impact disparate de 80 %.

Sujet parent : Mesures d'évaluation