Pérdida en la métrica de evaluación de precisión
La caída en la métrica de precisión estima la caída en la precisión de su modelo en tiempo de ejecución en comparación con los datos de entrenamiento.
Detalles de métrica
La caída en la precisión es una métrica de evaluación de la deriva que puede ayudar a determinar lo bien que su modelo predice los resultados a lo largo del tiempo.
Ámbito
La caída en la métrica de precisión evalúa solo los modelos de aprendizaje automático.
- Tipos de activos de IA : modelos de aprendizaje automático
- Tipo de problema de aprendizaje automático :
- Clasificación binaria
- Clasificación de varias clases
Puntuaciones y valores
La caída en la puntuación de la métrica de precisión indica si hay un aumento en las transacciones similares a aquellas que el modelo no evaluó correctamente en los datos de entrenamiento.
Rango de valores : 0.0-1.0
Proceso de evaluación
El supervisor de desviación funciona de forma diferente en entornos de preproducción y de producción.
En los entornos de preproducción, al cargar datos de prueba etiquetados, los datos se añaden a las tablas de comentarios y de carga útil. Los datos etiquetados se añaden como una anotación en la tabla de carga útil. La precisión se calcula con la columna de datos etiquetada y la columna de predicción de la tabla de carga útil.
En entornos de producción, se crea un modelo de detección de desviaciones observando los datos que se utilizaron para entrenar y probar el modelo. Por ejemplo, si el modelo tiene una precisión del 90% en los datos de prueba, significa que proporciona predicciones incorrectas en el 10% de los datos de prueba. Se construye un modelo de clasificación binaria que acepta un punto de datos y predice si ese punto de datos es similar a los datos que el modelo predijo de forma incorrecta (10 %) o precisa (90 %).
Después de crear el modelo de detección de deriva, en tiempo de ejecución, este modelo se puntúa utilizando todos los datos que recibe el modelo cliente. Por ejemplo, si el modelo del cliente recibió 1000 registros en las últimas 3 horas, el modelo de detección de desviaciones se ejecuta en esos mismos 1000 puntos de datos. Calcula cuántos de los registros son similares al 10% de los registros en los que el modelo cometió un error durante el entrenamiento. Si 200 de estos registros son similares al 10%, significa que la precisión del modelo es probable que sea del 80%. Dado que la precisión del modelo en el momento del entrenamiento era del 90%, significa que hay una desviación de precisión del 10% en el modelo.
Para calcular la caída en la métrica de precisión, se analiza cada transacción para estimar si la predicción del modelo es precisa. Si la predicción del modelo es inexacta, la transacción se marca como desviada. La precisión estimada se calcula entonces como la fracción de transacciones no desviadas respecto al número total de transacciones analizadas. La precisión base es la precisión del modelo en los datos de prueba. El alcance de la desviación en la precisión se calcula como la diferencia entre la precisión base y la precisión estimada. Se calculan todas las transacciones desviadas y, a continuación, se agrupan las transacciones en función de la similitud de la contribución de cada característica a la desviación en la precisión. En cada grupo, se estiman las características importantes que contribuyeron a la desviación en la precisión y su impacto se clasifica como grande, algo y pequeño.
Próximos pasos
Para mitigar la desviación después de que se detecte, debe crear una nueva versión del modelo que solucione el problema. Un buen lugar por donde empezar es con los puntos de datos resaltados como motivos de la desviación. Introduzca los nuevos datos en el modelo predictivo después de etiquetar manualmente las transacciones desviadas y utilícelos para volver a entrenar el modelo.
Tema principal: Métricas de evaluación