Métricas de evaluación de la desviación de calidad del modelo

Ámbito

Copy link to section

La métrica de desviación de calidad del modelo evalúa únicamente los modelos de aprendizaje automático.

Tipos de activos de IA : modelos de aprendizaje automático

Puntuaciones y valores

Copy link to section

La puntuación de la métrica de desviación de la calidad del modelo indica la caída en la precisión desde la precisión de entrenamiento hasta la precisión estimada en tiempo de ejecución.

• Mejor puntuación posible : 0.0
• Ratios :
  • A las 0: Sin cambios en la precisión
  • Más de 0: Cambio creciente en la precisión

Proceso de evaluación

Copy link to section

Se crea un modelo de detección de deriva que procesa los datos de carga útil cuando se configuran evaluaciones de la deriva e v2 o para predecir si el modelo genera predicciones precisas sin la verdad de campo. El modelo de detección de deriva utiliza las características de entrada y las probabilidades de clase de su modelo para crear sus propias características de entrada.

Cómo se calcula

Copy link to section

La siguiente fórmula se utiliza para calcular la desviación de la calidad del modelo:

La precisión de su modelo se calcula como el porcentaje de aciertos ( base_accuracy ) midiendo la fracción de transacciones correctamente predichas en sus datos de entrenamiento. Durante las evaluaciones, sus transacciones se puntúan con respecto al modelo de detección de desviaciones para medir la cantidad de transacciones que es probable que su modelo prediga correctamente. Estas transacciones se comparan con el número total de transacciones procesadas para calcular el índice de fraude ( predicted_accuracy). Si el predicted_accuracy es menor que el base_accuracy, se genera una puntuación de desviación de calidad del modelo.

Tema principal: Métricas de evaluación