La mesure de la différence du taux de fausses découvertes calcule le nombre de transactions faussement positives en pourcentage de toutes les transactions ayant un résultat positif.
Détails de l'indicateur
La différence de taux de fausses découvertes est une mesure d'évaluation de l'équité qui peut aider à déterminer si votre actif produit des résultats biaisés.
Portée
La métrique de différence de taux de fausses découvertes évalue les actifs d'IA générative et les modèles d'apprentissage automatique.
- Types d'actifs d'IA :
- Modèles d'invite
- Modèles d'apprentissage automatique
- Tâches d'IA générative : Classification de texte
- Type de problème d'apprentissage automatique : Classification binaire
Scores et valeurs
Le score de la mesure de la différence du taux de fausses détections indique la prévalence des faux positifs parmi toutes les transactions positives pour les groupes surveillés et de référence.
- Plage de valeurs : 0.0-1.0
- Meilleur score possible : 0.0
- Ratios :
- Moins de 0 : moins de faux positifs dans le groupe surveillé
- À 0 : Les deux groupes ont des chances égales
- Plus de 0 : Taux plus élevé de faux positifs dans les groupes surveillés
Processus d'évaluation
Pour calculer la différence du taux de fausses découvertes, des matrices de confusion sont générées pour les groupes surveillés et de référence afin d'identifier le nombre de faux positifs et de vrais positifs pour chaque groupe. Les valeurs fausses et vraies positives sont utilisées pour calculer le taux de faux positifs pour chaque groupe. Le taux de faux positifs du groupe de référence est soustrait du taux de faux positifs du groupe surveillé pour calculer la différence de taux de fausses découvertes.
Calculs
La formule suivante est utilisée pour calculer le taux de fausses découvertes (FDR) :
La formule suivante est utilisée pour calculer la différence du taux de fausses découvertes :
Sujet parent : Indicateurs d'évaluation