Cómo se calcula el sesgo

El algoritmo para el monitor de equidad calcula el sesgo cada hora utilizando los últimos registros N que están presentes en la tabla de registro de carga útil y el valor de N se especifica al configurar el monitor de equidad. El algoritmo aplica un método llamado perturbación para evaluar las diferencias en los resultados esperados en los datos.

La perturbación cambia los valores de la característica del grupo de referencia al grupo supervisado o viceversa. A continuación, los datos perturbados se envían al modelo para evaluar su comportamiento. El algoritmo examina los últimos N registros en la tabla de carga útil, y el comportamiento del modelo en los datos alterados, para decidir si los resultados del modelo indican la presencia de sesgo.

Un modelo está sesgado si el porcentaje de resultados favorables para el grupo supervisado es menor que el porcentaje de resultados favorables para el grupo de referencia, por un valor de umbral que especifique al configurar el supervisor de equidad.

Tenga en cuenta que los valores de equidad pueden ser superiores al 100%. Este cálculo significa que el grupo supervisado recibió más resultados favorables que el grupo de referencia. Además, si no se envían nuevas solicitudes de puntuación, el valor de equidad permanece constante.

Datos equilibrados e igualdad perfecta

Para conjuntos de datos equilibrados, se aplican los conceptos siguientes:

• Para determinar el valor de igualdad perfecto, las transacciones de grupo de referencia se sintetizan cambiando el valor de la característica supervisada de cada transacción de grupo supervisado a todos los valores de grupo de referencia. Estas nuevas transacciones sintetizadas se añaden al conjunto de transacciones de grupo de referencia y evaluadas por el modelo.

Por ejemplo, si la característica supervisada es SEX y el grupo supervisado es FEMALE, todas las transacciones FEMALE se duplican como transacciones MALE . Otros valores de características permanecen sin cambios. Estas nuevas transacciones MALE sintetizadas se añaden al conjunto de transacciones de grupo de referencia de MALE originales.

• El porcentaje de resultados favorables se determina a partir del nuevo grupo de referencia. Este porcentaje representa la equidad perfecta para el grupo supervisado.
• Las transacciones de grupo supervisado también se sintetizan cambiando el valor de la característica de referencia de cada transacción de grupo de referencia al valor de grupo supervisado. Estas nuevas transacciones sintetizadas se añaden al conjunto de transacciones de grupo supervisado y son evaluadas por el modelo.

Si la característica supervisada es SEX y el grupo supervisado es FEMALE, todas las transacciones MALE se duplican como transacciones FEMALE. Otros valores de características permanecen sin cambios. Estas nuevas transacciones FEMALE sintetizadas se añaden al conjunto de transacciones del grupo supervisado FEMALE original.

Perfect equality =   Percentage of favorable outcomes for all reference transactions, 
                     including the synthesized transactions from the monitored group

Perfect equality for `SEX` =  Percentage of favorable outcomes for `MALE` transactions, 
                                 including the synthesized transactions that were initially `FEMALE` but changed to `MALE`

Conversión del tipo de datos de una columna de predicción

Para la supervisión de equidad, la columna de predicción solo permite un valor numérico entero aunque la etiqueta de predicción sea categórica. La conversión del tipo de datos de columna de predicción es posible.

Por ejemplo, los datos de entrenamiento pueden tener etiquetas de clase como "Préstamo denegado", "Préstamo otorgado". El valor de predicción que devuelve IBM watsonx.ai Runtime scoring end point tiene valores como "0.0", "1.0". El punto final de puntuación también tiene una columna opcional que contiene la representación de texto de la predicción. Por ejemplo, si prediction=1.0, la columna predictionLabel podría tener un valor "Préstamo otorgado". Si esta columna está disponible, cuando configure el resultado favorable y desfavorable para el modelo, especifique los valores de serie "Préstamo otorgado" y "Préstamo denegado". Si esta columna no está disponible, debe especificar los valores enteros y dobles de 1.0, 0.0 para las clases favorables y desfavorables.

'IBM ' watsonx.ai Runtime tiene un concepto de esquema de salida que define el esquema de la salida de ' IBM ' watsonx.ai Runtime scoring end point y el rol para las diferentes columnas. Los roles se utilizan para identificar qué columna contiene el valor de predicción, qué columna contiene la probabilidad de predicción y el valor de etiqueta de clase, etc. El esquema de salida se establece automáticamente para los modelos que se crean utilizando el constructor de modelos. También puede establecerse utilizando el cliente IBM watsonx.ai Runtime Python. Los usuarios pueden utilizar el esquema de salida para definir una columna que contenga la representación de serie de la predicción. Establezca modeling_role para la columna en 'decoded-target'. La documentación del cliente IBM watsonx.ai Runtime Python está disponible en: https://ibm.github.io/watsonx-ai-python-sdk/core_api.html#repository Busque "OUTPUT_DATA_SCHEMA" para comprender el esquema de salida. La llamada de API que se va a utilizar es la llamada store_model que acepta OUTPUT_DATA_SCHEMA como parámetro.

Interpretación de una puntuación de equidad superior al 100 por ciento

En función de su configuración de equidad, su puntuación de equidad puede exceder el 100 por cien. Esto significa que el grupo supervisado obtiene resultados relativamente más "equitativos" en comparación con el grupo de referencia. Técnicamente, significa que el modelo no es equitativo en sentido contrario.

Más información

Configuración del supervisor de equidad para sesgo indirecto

Revisión de los modelos

Tema padre: Configuración del supervisor de equidad