La mesure de la différence moyenne des cotes mesure la différence entre les taux de faux positifs et de faux négatifs entre les groupes surveillés et les groupes de référence.
Détails de l'indicateur
La différence moyenne des cotes est une mesure d'évaluation de l'équité qui peut aider à déterminer si votre actif produit des résultats biaisés.
Portée
La mesure de la différence moyenne des cotes évalue les actifs d'IA générative et les modèles d'apprentissage automatique.
- Types d'actifs d'IA :
- Modèles d'invite
- Modèles d'apprentissage automatique
- Tâches d'IA générative : Classification de textes
- Type de problème d'apprentissage automatique : Classification binaire
Scores et valeurs
Le score moyen de la mesure de la différence de probabilité indique la différence entre les taux de faux positifs et de faux négatifs pour les groupes surveillés et de référence.
- Plage de valeurs : 0.0-1.0
- Meilleure note possible : 0.0
- Ratios :
- A 0 : Les deux groupes ont les mêmes chances
- Sous 0 : Résultats biaisés pour le groupe contrôlé
- Plus de 0 : résultats biaisés pour le groupe de référence
Calculs
La formule suivante est utilisée pour calculer le taux de faux positifs (FPR) :
La formule suivante est utilisée pour calculer le taux de vrais positifs (TPR) :
La formule suivante est utilisée pour calculer la différence de cote moyenne :
Sujet parent : Mesures d'évaluation