Puede configurar evaluaciones de imparcialidad para determinar si su modelo produce resultados sesgados. Utilice las evaluaciones de equidad para identificar cuándo su modelo muestra una tendencia a proporcionar resultados favorables más a menudo para un grupo que para otro.
Configuración de evaluaciones de equidad para modelos de aprendizaje automático
Si registra datos de carga útil al preparar las evaluaciones de modelos, puede configurar evaluaciones de equidad.
Puede configurar evaluaciones de equidad manualmente o puede ejecutar un cuaderno personalizado para generar un archivo de configuración. Puede cargar el archivo de configuración para especificar los valores para la evaluación.
Cuando configura las evaluaciones de equidad manualmente, puede especificar el grupo de referencia (valor) que espera que represente los resultados favorables. También puede seleccionar los atributos de modelo correspondientes (características) para supervisar el sesgo (por ejemplo, Edad o Sexo), que se comparará con el grupo de referencia. En función de sus datos de entrenamiento, también puede especificar el tamaño mínimo y máximo de la muestra para las evaluaciones.
Seleccionar resultados favorables y desfavorables
Debe especificar los resultados favorables y desfavorables al configurar las evaluaciones de equidad. Los valores que representan un resultado favorable se derivan de la columna label de los datos de entrenamiento. De forma predeterminada, la columna predictedLabel se establece como la columna prediction. Los valores favorables y desfavorables deben especificarse utilizando el valor de la columna prediction como un tipo de datos de serie, como por ejemplo 0 o 1, cuando se cargan datos de entrenamiento.
Seleccionar las características
Debe seleccionar las características que son los atributos del modelo que desea evaluar para detectar sesgos. Por ejemplo, puede evaluar rasgos como Sex o Age en busca de sesgos. Solo se da soporte a las características de un tipo de datos de equidad categórico, numérico (entero), flotante o doble.
Los valores de las características se especifican como un grupo de referencia o supervisado. El grupo supervisado representa los valores que están más expuestos a tener resultados sesgados. Por ejemplo, para la característica Sex, puede establecer Female y Non-binary como los grupos supervisados. Para una característica numérica, como por ejemplo Age, puede establecer [18-25] como el grupo supervisado. Todos los demás valores de la característica se consideran como el grupo de referencia, por ejemplo, Sex=Male o Age=[26,100].
Fijar umbral de equidad
Puede establecer el umbral de equidad para especificar una diferencia aceptable entre el porcentaje de resultados favorables del grupo supervisado y el porcentaje de resultados favorables del grupo de referencia. Por ejemplo, si el porcentaje de resultados favorables para un grupo en el modelo es del 70% y el umbral de equidad se establece en el 80%, el supervisor de equidad detecta el sesgo en el modelo.
Establecer tamaño de muestra
El tamaño de las muestras se utiliza para acelerar el procesamiento del número de transacciones que se evalúan. Debe establecer un tamaño mínimo de muestra para indicar el menor número de transacciones que desea evaluar. También puede establecer un tamaño máximo de muestra para indicar el número máximo de transacciones que desea evaluar.
Prueba de sesgo indirecto
Si selecciona un campo que no es una característica de entrenamiento, llamado campo añadido, el sesgo indirecto se identifica encontrando valores asociados en las características de entrenamiento. Por ejemplo, la profesión "estudiante" puede implicar a un individuo más joven aunque el campo Edad se haya excluido del entrenamiento del modelo. Para obtener más información sobre la configuración de las evaluaciones de imparcialidad para tener en cuenta la parcialidad indirecta, consulte Configuración del monitor de imparcialidad para la parcialidad indirecta.
Sesgo atenuante
Para la evaluación de los modelos de aprendizaje automático, se utiliza el desbarbado pasivo y activo. La eliminación del sesgo pasiva revela el sesgo, mientras que la eliminación de la eliminación del sesgo activa evita que se lleve a cabo ese sesgo cambiando el modelo en tiempo real para la aplicación actual. Para obtener detalles sobre cómo interpretar los resultados y mitigar el sesgo en un modelo, consulte Revisión de los resultados de una evaluación de equidad.
Medir el rendimiento con la matriz de confusión
La matriz de confusión mide el rendimiento clasifica las predicciones positivas y negativas en cuatro cuadrantes que representan la medida de los valores reales y predichos, como se muestra en el siguiente ejemplo:
| Real/Previsto | Negativos | Positivos |
|---|---|---|
| Negativos | TN | FP |
| Positivos | FN | TPORC |
El cuadrante negativo verdadero (NT) representa los valores que son realmente negativos y se predicen como negativos y el cuadrante positivo verdadero (PT) representa los valores que son realmente positivos y se predicen como positivos. El cuadrante de falsos positivos (FP) representa valores que en realidad son negativos pero que se predicen como positivos y el cuadrante de falsos negativos (FN) representa valores que en realidad son positivos pero que se predicen como negativos.
Tema principal: Configuración de las evaluaciones de equidad