Métricas de evaluación de impacto dispares

Ámbito

Copy link to section

La métrica de impacto dispar evalúa los activos de IA generativa y los modelos de aprendizaje automático.

• Tipos de activos de IA :
  • Plantillas de solicitud
  • Modelos de aprendizaje automático
• Tareas de IA generativa : Clasificación de texto
• Tipo de problema de aprendizaje automático : Clasificación binaria

Puntuaciones y valores

Copy link to section

La puntuación de la métrica de impacto dispar indica si el grupo de referencia recibe resultados más favorables que el grupo supervisado.

• Rango de valores : 0.0-1.0
• Mejor puntuación posible : 0.0
• Ratios :
  • A las 0: Ambos grupos tienen las mismas probabilidades
  • Menos de 0: resultados sesgados para el grupo supervisado
  • Más de 0: resultados sesgados para el grupo de referencia

Cómo se calcula

Copy link to section

Para calcular el impacto dispar se utiliza la siguiente fórmula:

El valor num_positives representa el número de individuos del grupo que han recibido un resultado positivo y el valor num_instances representa el número total de individuos del grupo. La etiqueta privileged=False especifica grupos sin privilegios y la etiqueta privileged=True especifica grupos con privilegios. Los resultados positivos se designan como resultados favorables, y los resultados negativos se designan como resultados desfavorables. El grupo con privilegios se designa como el grupo de referencia, y el grupo sin privilegios se designa como el grupo supervisado.

El cálculo produce un porcentaje que especifica la frecuencia con la que el grupo sin privilegios recibe el resultado positivo es la misma tasa que el grupo con privilegios recibe el resultado positivo. Por ejemplo, si un modelo de riesgo de crédito asigna la predicción "sin riesgo" al 80% de los solicitantes no privilegiados y al 100% de los solicitantes privilegiados, ese modelo tiene un impacto dispar del 80%.

Tema principal: Métricas de evaluación