Traducción no actualizada
Configuración de las evaluaciones de imparcialidad
creado: "2022-11-07 16:19:58 -0500" title: "Configuración de las evaluaciones de imparcialidad" fname: " model\wos-monitor-fairness.liquid.md "
Puede configurar evaluaciones de imparcialidad para determinar si su modelo produce resultados sesgados. Utilice las evaluaciones de equidad para identificar cuándo su modelo muestra una tendencia a proporcionar resultados favorables más a menudo para un grupo que para otro.
Configuración de evaluaciones de equidad para modelos de aprendizaje automático
Si registra datos de carga útil cuando prepara evaluaciones de modelos, puede configurar evaluaciones de equidad.
Puede configurar evaluaciones de equidad manualmente o puede ejecutar un cuaderno personalizado para generar un archivo de configuración. Puede cargar el archivo de configuración para especificar los valores para la evaluación.
Cuando configura las evaluaciones de equidad manualmente, puede especificar el grupo de referencia (valor) que espera que represente los resultados favorables. También puede seleccionar los atributos de modelo correspondientes (características) para supervisar el sesgo (por ejemplo, Edad o Sexo), que se comparará con el grupo de referencia. En función de sus datos de entrenamiento, también puede especificar el tamaño mínimo y máximo de la muestra para las evaluaciones.
Seleccionar resultados favorables y desfavorables
Debe especificar los resultados favorables y desfavorables al configurar las evaluaciones de equidad. Los valores que representan un resultado favorable se derivan de la columna label de los datos de entrenamiento. De forma predeterminada, la columna predictedLabel se establece como la columna prediction. Los valores favorables y desfavorables deben especificarse utilizando el valor de la columna prediction como un tipo de datos de serie, como por ejemplo 0 o 1, cuando se cargan datos de entrenamiento.
Seleccionar características de
Debe seleccionar las características que son los atributos del modelo que desea evaluar para detectar sesgos. Por ejemplo, puede evaluar rasgos como Sex o Age en busca de sesgos. Solo se da soporte a las características de un tipo de datos de equidad categórico, numérico (entero), flotante o doble.
Los valores de las características se especifican como un grupo de referencia o supervisado. El grupo supervisado representa los valores que están más expuestos a tener resultados sesgados. Por ejemplo, para la característica Sex, puede establecer Female y Non-binary como los grupos supervisados. Para una característica numérica, como por ejemplo Age, puede establecer [18-25] como el grupo supervisado. Todos los demás valores de la característica se consideran como el grupo de referencia, por ejemplo, Sex=Male o Age=[26,100].
Fijar umbral de equidad
Puede establecer el umbral de equidad para especificar una diferencia aceptable entre el porcentaje de resultados favorables del grupo supervisado y el porcentaje de resultados favorables del grupo de referencia. Por ejemplo, si el porcentaje de resultados favorables para un grupo en el modelo es del 70% y el umbral de equidad se establece en el 80%, el supervisor de equidad detecta el sesgo en el modelo.
Establecer tamaño de muestra
El tamaño de las muestras se utiliza para acelerar el procesamiento del número de transacciones que se evalúan. Debe establecer un tamaño mínimo de muestra para indicar el menor número de transacciones que desea evaluar. También puede establecer un tamaño máximo de muestra para indicar el número máximo de transacciones que desea evaluar.
Prueba de sesgo indirecto
Si selecciona un campo que no es una característica de entrenamiento, llamado campo añadido, el sesgo indirecto se identifica encontrando valores asociados en las características de entrenamiento. Por ejemplo, la profesión "estudiante" puede implicar a un individuo más joven aunque el campo Edad se haya excluido del entrenamiento del modelo. Para obtener más información sobre la configuración de las evaluaciones de imparcialidad para tener en cuenta el sesgo indirecto, consulte Configuración del monitor de imparcialidad para el sesgo indirecto.
Sesgo atenuante
Para la evaluación de los modelos de aprendizaje automático se utiliza el desbarbado pasivo y activo. La eliminación del sesgo pasiva revela el sesgo, mientras que la eliminación de la eliminación del sesgo activa evita que se lleve a cabo ese sesgo cambiando el modelo en tiempo real para la aplicación actual. Para obtener detalles sobre cómo interpretar los resultados y mitigar el sesgo en un modelo, consulte Revisión de los resultados de una evaluación de equidad.
Configuración de las evaluaciones de equidad en watsonx.governance
Cuando evalúa plantillas de avisos, puede revisar un resumen de los resultados de la evaluación de la equidad para las tareas de clasificación de texto.
Seleccionar resultados favorables y desfavorables
Debe especificar los resultados favorables y desfavorables al configurar las evaluaciones de equidad. Los valores que representan un resultado favorable se derivan de la columna label de los datos de la prueba que proporcione. De forma predeterminada, la columna predictedLabel se establece como la columna prediction. Los valores favorables y desfavorables deben especificarse utilizando el valor de la columna prediction como un tipo de datos de cadena, como 0 o 1 cuando se cargan datos de entrenamiento.
Seleccionar metacampos
Debe seleccionar meta-campos para permitir que watsonx.governance identifique los campos que no se especifican como características en los datos de prueba que proporcione.
Fijar umbrales de equidad
Para configurar las evaluaciones de imparcialidad con sus propios parámetros, puede establecer un tamaño de muestra mínimo y máximo para cada métrica. El tamaño mínimo o máximo de la muestra indica el número mínimo o máximo de transacciones del modelo que desea evaluar.
También puede configurar datos de referencia y establecer valores umbral para cada métrica. Los valores umbral crean alertas en la página de resumen de la evaluación que aparecen cuando las puntuaciones de las métricas violan sus umbrales. Los valores deben estar comprendidos entre 0 y 1. Las puntuaciones métricas deben ser inferiores a los valores umbral para evitar infracciones.
Establecer tamaño de muestra
Watsonx.governance utiliza tamaños de muestra para entender cómo procesar el número de transacciones que se evalúan durante las evaluaciones. Debe establecer un tamaño de muestra mínimo para indicar el menor número de transacciones que desea que watsonx.governance evalúe. También puede establecer un tamaño máximo de muestra para indicar el número máximo de transacciones que desea que watsonx.governance evalúe.
Tema principal: Configuración de las evaluaciones de equidad