Desviación de precisión

A largo plazo, la importancia y el impacto de determinadas características en un cambio de modelo. Esto afecta a las aplicaciones asociadas y a los resultados de negocio resultantes. Mediante la detección de desviación, Watson OpenScale proporciona un modo de realizar un seguimiento de las métricas del modelo, el rendimiento del modelo y el modo en que cambian las ponderaciones de las características a lo largo del tiempo. A medida que los datos cambian, la capacidad del modelo para hacer predicciones exactas puede empeorar. La magnitud de la desviación es el grado de degradación del rendimiento predictivo a lo largo del tiempo. Utilice la información sobre desviación para realizar la acción correctiva.

Información sobre la detección de la desviación

La desviación es la degradación del rendimiento predictivo a lo largo del tiempo debido a un contexto oculto. A medida que los datos cambian a lo largo del tiempo, la capacidad del modelo para hacer predicciones exactas puede empeorar. Watson OpenScale detecta y resalta la desviación para que se pueda llevar a cabo la acción correctiva.

Cómo funciona

Hay diferencias en la forma de trabajo de detección de desviación en los entornos de preproducción y producción.

En los entornos de preproducción, el supervisor de desviación calcula la precisión real utilizando datos de prueba. Para la preproducción, el supervisor de desviación lee los datos de entrada de la tabla de comentarios, en lugar de la tabla de registro de carga útil, de modo que la columna de etiqueta esté disponible para determinar la desviación de los datos de prueba.

En entornos de producción, Watson OpenScale crea el modelo de detección de desviación examinando los datos que se utilizaron para entrenar y probar el modelo. Por ejemplo, si el modelo tiene una precisión del 90% en los datos de prueba, significa que proporciona predicciones incorrectas en el 10% de los datos de prueba. Watson OpenScale crea un modelo de clasificación binario que acepta un punto de datos y pronostica si este punto de datos es similar a los datos que el modelo ha pronosticado incorrectamente (10%) o de forma precisa (90%).

Cuando Watson OpenScale ha creado el modelo de detección de desviación, durante la ejecución puntúa este modelo utilizando todos los datos que recibe el modelo del cliente. Por ejemplo, si el modelo del cliente ha recibido 1000 registros en las últimas 3 horas, Watson OpenScale ejecuta el modelo de detección de desviación en estos mismos 1000 puntos de datos. Calcula cuántos registros son similares al 10% de los registros en los que el modelo ha cometido un error durante el entrenamiento. Si 200 de estos registros son similares al 10%, esto implica que probablemente la precisión del modelo sea del 80%. Dado que la precisión del modelo durante el entrenamiento era del 90%, esto significa que en el modelo hay una desviación de la precisión del 10%.

Cómo calcularlo

Watson OpenScale analiza cada transacción para realizar una estimación de si la predicción del modelo es precisa. Si la predicción del modelo es inexacta, la transacción se marca como desviada. A continuación, se calcula la precisión estimada se calcula como la fracción de las transacciones no desviadas en relación con el número total de transacciones analizadas. La precisión base es la precisión del modelo en los datos de prueba. Watson OpenScale calcula hasta dónde llega la desviación en la precisión como la diferencia entre la precisión base y la precisión estimada. Además, Watson OpenScale analiza todas las transacciones desviadas y, a continuación, agrupa las transacciones basándose en la similitud de la contribución que cada característica aporta a la desviación de la precisión. En cada clúster, Watson OpenScale también realiza una estimación de las características importantes que han jugado un papel importante en la desviación de la precisión y clasifica su impacto en las características como grande, alguno y pequeño.

Próximos pasos

  • Para obtener información sobre cómo configurar la detección de desviación, consulte Configuración del supervisor de detección de desviación.
  • Para mitigar la desviación, una vez que Watson OpenScale la ha detectado, debe crear una nueva versión del modelo que corrija el problema. Un buen lugar por donde empezar es con los puntos de datos resaltados como motivos de la desviación. Introduzca los nuevos datos en el modelo predictivo una vez que haya etiquetado manualmente las transacciones desviadas y utilícelos para reentrenar el modelo.