La mesure de la différence absolue moyenne des cotes compare la moyenne de la différence absolue des taux de faux positifs et des taux de vrais positifs entre les groupes contrôlés et les groupes de référence.
Détails de l'indicateur
La différence moyenne de chances absolues est une mesure d'évaluation de l'équité qui peut aider à déterminer si votre actif produit des résultats biaisés.
Portée
La mesure de la différence de cote absolue moyenne évalue les actifs d'IA générative et les modèles d'apprentissage automatique.
- Types d'actifs d'IA :
- Modèles d'invite
- Modèles d'apprentissage automatique
- Tâches d'IA générative : Classification de textes
- Type de problème d'apprentissage automatique : Classification binaire
Scores et valeurs
Le score de la métrique de différence absolue moyenne indique la différence absolue moyenne dans les taux de faux positifs et de faux négatifs entre les groupes protégés. Des scores plus bas indiquent une meilleure équité entre les groupes.
- Plage de valeurs : 0.0-1.0
- Meilleure note possible : 0.0
- Ratios :
- A 0 : Pas de disparité entre les groupes
- Plus de 0 : disparité croissante entre les groupes
Calculs
La formule suivante est utilisée pour calculer le taux de faux positifs (FPR) :
La formule suivante est utilisée pour calculer le taux de vrais positifs (TPR) :
La formule suivante est utilisée pour calculer la différence moyenne des cotes absolues :
Sujet parent : Mesures d'évaluation