Explicación de las transacciones

Para cada despliegue, puede ver los datos de explicabilidad de transacciones específicas. En función del tipo de modelo, puede incluir diferentes tipos de análisis, por ejemplo, LIME, explicaciones contrastativas o la posibilidad de probar los escenarios hipotéticos.

 

Visualización de las explicaciones por ID de transacción

  1. Pulse la pestaña Explicar una transacción (Pestaña Explicar una transacción) en el navegador.
  2. Especifique un ID de transacción.
  3. Para analizar más detenidamente los resultados, pulse la pestaña Inspeccionar, seleccione si solo desea analizar la característica controlable y pulse Ejecutar análisis.

    Los resultados de este análisis muestran cómo los diferentes valores pueden cambiar el resultado de esta transacción específica. Debe designar qué características son controlables. Para obtener más información, consulte Configuración del supervisor de explicabilidad

    Detalles de la transacción en la pestaña de inspección que muestra valores que pueden generar un resultado diferente

Cada vez que se envían datos al modelo para la puntuación, IBM Watson Machine Learning establece un ID de transacción en la cabecera HTTP, estableciendo el campo X-Global-Transaction-Id. Este ID de transacción se almacena en la tabla de carga útil. Para encontrar una explicación del comportamiento del modelo para una puntuación determinada, especifique el ID de transacción asociado con dicha solicitud de puntuación. Este comportamiento sólo se aplica a las transacciones de IBM Watson Machine Learning y no es aplicable para transacciones que no son de WML.

 

Buscar un ID de transacción en Watson OpenScale

  1. En el gráfico, deslice el marcador por el gráfico y pulse el enlace Ver detalles para visualizar datos para una hora específica.
  2. Pulse Ver transacciones para ver la lista de los ID de transacción.
  3. Pulse el enlace Explicar en la columna Acción para cualquier ID de transacción, que abre esta transacción en la pestaña Explicar.

 

Búsqueda de explicaciones en los detalles de los gráficos

Dado que existen explicaciones para el riesgo del modelo, la equidad, la desviación y el rendimiento, puede pulsar uno de los enlaces siguientes para ver las transacciones detalladas:

  • En la página Evaluaciones, en la sección Número de explicaciones, pulse el enlace de número. En la ventana Seleccionar una explicación, pulse una transacción y, a continuación, pulse Ver.
  • Para ver uno de los atributos de equidad, en la página Evaluaciones, pulse el enlace de porcentaje de equidad. Pulse el atributo, como sexo o edad, pulse el gráfico y, a continuación, pulse Ver transacciones.
  • Para el supervisor de desviación, en la página Evaluaciones, pulse el enlace de porcentaje de desviación. Pulse en el gráfico, pulse el tipo de desviación y, a continuación, pulse un mosaico para ver las transacciones asociadas a este grupo de desviación específico.
  • Para un gráfico de rendimiento, en la página Evaluaciones, pulse cualquiera de los enlaces de porcentaje. En la sección Rendimiento, pulse Rendimiento, pulse el gráfico y, a continuación, pulse el enlace Explicar que sigue a la transacción que desea ver.

 

Explicación de la diferencia entre las explicaciones contrastativas y LIME

Las explicaciones LIME (Local Interpretable Model-Agnostic Explanations) son una biblioteca Python que utiliza Watson OpenScale para analizar valores de entrada y salida de un modelo para crear interpretaciones del modelo que pueden comprender las personas. No obstante, tanto las explicaciones LIME como la explicación contrastativa son herramientas valiosas para dar sentido a un modelo y ofrecen diferentes perspectivas. Las explicaciones contrastativas relevan cuántos valores deben cambiar para cambiar la predicción o seguir teniendo la misma. Los factores que necesitan un cambio máximo se consideran más importantes en este tipo de explicación. En otras palabras, las características con mayor importancia en las explicaciones contrastativas son las características donde el modelo es menos sensible. De forma alternativa, LIME revela qué características son más importantes para un punto de datos específico. Las 5000 perturbaciones que normalmente se realizan para el análisis se acercan al punto de datos. En un entorno ideal, las características con una alta importancia en LIME son las características que son más importantes para este punto de datos específico. Por estos motivos, las características de importancia alta para LIME son diferentes de las características de importancia alta para las explicaciones contrastativas.

Para el proceso correcto de las explicaciones de LIME, Watson OpenScale no da soporte a nombres de columna con signo de igual (=) en el conjunto de datos.

Para las explicaciones contrastativas, Watson OpenScale muestra los cambios máximos para el mismo resultado y los cambios mínimos de un resultado modificado. Estas categorías también se conocen como valores positivos pertinentes y negativos pertinentes. Estos valores ayudan a explicar el comportamiento del modelo en la proximidad del punto de datos para el que se genera una explicación.

Considere un ejemplo de un modelo utilizado para el proceso de préstamos. Puede tener las siguientes predicciones: Préstamo aprobado, Préstamo parcialmente aprobado y Préstamo denegado. Para simplificarlo, presuponga que el modelo solo tiene una característica en la entrada: salario. Considere un punto de datos donde salary=150000 y el modelo predice el Préstamo parcialmente aprobado. Presuponga que el valor medio del salario es 90000. Un positivo pertinente podría ser: Incluso si el salario de la persona fuera 100000, el modelo todavía predice el Préstamo parcialmente aprobado. De forma alternativa, el negativo pertinente es: Si el salario de la persona fuera 200000, la predicción del modelo cambiaría a Préstamo aprobado. Por lo tanto, el positivo pertinente y el negativo persistente conjuntamente explican el comportamiento del modelo en la proximidad del punto de datos para el que se está generando la explicación.

Watson OpenScale siempre muestra un positivo pertinente incluso cuando no se muestran negativos pertinentes. Cuando Watson OpenScale calcula el valor negativo pertinente, cambia los valores de todas las características lejos de su valor medio. Si el valor cambia y se aleja del valor medio, la predicción no cambia, entonces no habrá negativos pertinentes que mostrar. En el caso de los positivos pertinentes, Watson OpenScale, encuentra el cambio máximo de los valores de la característica que se acercan al valor medio, de modo que la predicción no cambia. En la práctica, casi siempre hay un positivo pertinente para explicar una transacción (y es posible que sea el valor de característica del propio punto de datos de entrada).

 

Explicación de un modelo categórico

Un modelo categórico, como un modelo de clasificación binaria, clasifica los datos en grupos distintos. A diferencia de la regresión, la imagen y los modelos de texto no estructurados, Watson OpenScale genera explicaciones avanzadas para los modelos de clasificación binaria. Puede utilizar la pestaña Inspeccionar para experimentar con las características cambiando los valores para ver si el resultado cambia.

Aunque los gráficos son útiles para mostrar los factores más significativos en la determinación del resultado de una transacción, los modelos de clasificación también pueden incluir explicaciones avanzadas en las pestañas Explicar e Inspeccionar.

  • La pestaña Explicar, además de la información básica sobre la transacción y el modelo, también muestra la información siguiente:

    • Resultado pronosticado: Los resultados se establecen en el modelo.
    • Cómo se ha determinado esta predicción: Muestra la explicación LIME.
    • Nivel de confianza: La confianza, como porcentaje, que tiene el servicio Watson OpenScale con respecto al análisis.
    • Características que influyen en esta predicción: Para esta transacción, a cada característica del modelo se le asigna un porcentaje de ponderación relativa que indica la fuerza con la que la característica influye en el resultado pronosticado del modelo. Un porcentaje de ponderación relativa negativa indica que la característica influido en el modelo de modo que se acerca a un resultado pronosticado diferente.
  • La pestaña Inspeccionar muestra la información siguiente como parte de la explicación contrastativa:

    • Característica: La característica del modelo. Si el modelo se ha creado con metacampos que no se han utilizado en el entrenamiento, tiene la opción de visualizar sólo estas características seleccionando la opción Analizar sólo características controlables.
    • Valor original: El valor original que se utiliza en el entrenamiento del modelo.
    • Nuevo valor: Puede especificar un nuevo valor para una o varias características para ver cómo puede cambiar el resultado.
    • Valor para un resultado diferente: Después de ejecutar un análisis, puede ver cuáles son los valores que con mayor probabilidad pueden cambiar el resultado.
    • Importancia: Después de ejecutar un análisis, puede ver cuál es la importancia relativa de cada uno de los valores de la característica modificados.

 

Explicación de los modelos de imagen

Watson OpenScale da soporte a la explicabilidad para datos de imagen. Consulte las zonas de imagen que han contribuido a la salida del modelo y las zonas que no han contribuido. Pulse una imagen para aumentar la vista.

Explicación de las transacciones de modelos de imagen

Para un ejemplo de explicabilidad de modelo de clasificación de imagen, puede ver qué partes de una imagen han contribuido positivamente al resultado previsto y cuáles han contribuido negativamente. En el ejemplo siguiente, la imagen del panel positivo muestra las partes que han tenido un impacto positivo en la predicción. La imagen del panel negativo muestra las partes de las imágenes que han tenido un impacto negativo en el resultado.

Se muestra el detalle de confianza de la clasificación de explicabilidad de imagen con la imagen de una rana arbórea. Las diferentes partes de la imagen se han resaltado en marcos separados. Cada parte muestra hasta qué punto ha ayudado o no a determinar que la imagen es una rana.

Consulte las zonas de imagen que han contribuido a la salida del modelo y las zonas que no han contribuido. Pulse una imagen para aumentar la vista.

Ejemplos de modelo de imagen

Utilice los dos cuadernos siguientes para ver ejemplos de código detallados y desarrollar sus propios despliegues de Watson OpenScale:

 

Explicación de los modelos de texto no estructurado

Watson OpenScale da soporte a la explicabilidad para datos de texto no estructurados.

Si utiliza un modelo Keras que toma la entrada como una matriz de bytes, debe crear una función desplegable en IBM Watson Machine Learning. La función debe aceptar todo el texto como una única característica en la entrada y no como texto que se vectoriza y representa como un tensor, o dividido en varias características. IBM Watson Machine Learning da soporte a la creación de funciones desplegables. Para obtener más información, consulte Pasar datos de carga útil a despliegues de modelos

Para obtener más información, consulte Cómo trabajar con modelos de texto no estructurados y Habilitación del soporte de idioma no delimitado por espacios.

Explicación de las transacciones de texto no estructurado

El ejemplo siguiente de explicabilidad muestra un modelo de clasificación que evalúa el texto no estructurado. La explicación muestra las palabras clave que han tenido tanto un impacto positivo o negativo en la predicción del modelo. También muestra la posición de las palabras clave identificadas en el texto original que se ha especificado como entrada para el modelo.

Se muestra el gráfico de clasificación de imagen de explicabilidad. Muestra los niveles de confianza para el texto no estructurado

Los modelos de texto no estructurados presentan la importancia de las palabras o señales. Para cambiar el idioma, seleccione un idioma diferente en la lista. Se vuelve a ejecutar la explicación utilizando un tokenizador diferente.

Ejemplo de modelo de texto no estructurado

Utilice los cuadernos siguientes para ver ejemplos de código detallados y desarrollar sus propios despliegues de Watson OpenScale:

 

Explicación de las transacciones tabulares

El ejemplo siguiente de explicabilidad muestra un modelo de clasificación que evalúa datos tabulares.

Se muestra el gráfico de clasificación de la imagen de explicabilidad. Muestra los niveles de confianza para el modelo de datos tabulares

 

Próximos pasos