Descripción general de las métricas de calidad

Utilice la supervisión de calidad para determinar con qué precisión el modelo predice los resultados. Cuando la supervisión de calidad está habilitada, de forma predeterminada genera un conjunto de métricas cada hora. Puede generar estas métricas bajo demanda pulsando el botón Comprobar calidad ahora o utilizando el cliente Python.

Las métricas de calidad se calculan según la siguiente información:

  • Los datos de opinión etiquetados manualmente
  • Las respuestas de despliegue supervisado para estos datos.

Para una supervisión adecuada, los datos de opinión se deben registrar en Watson OpenScale con regularidad. Los datos de opinión se pueden proporcionar mediante la opción "Añadir datos de opinión" o mediante el cliente Python o la API REST.

Para motores de aprendizaje de máquina que no sean Watson OpenScale, como por ejemplo, Microsoft Azure ML Studio, Microsoft Azure ML Service o Amazon Sagemaker ML, la supervisión de calidad crea solicitudes de puntuación adicionales en el despliegue supervisado.

Puede revisar los valores de todas las métricas de rendimiento a lo largo del tiempo en el panel de control de Watson OpenScale:

gráfico de métricas de calidad que muestra la desviación del área bajo ROC

Para consultar la información relacionada, como por ejemplo la matriz de confusión para la clasificación binaria y multiclase, que está disponible para algunas métricas, pulse el gráfico.

tabla de detalles de métricas de calidad

Métricas de calidad soportadas

Watson OpenScale da soporte a las métricas de calidad siguientes:

Problemas de clasificación binaria

Para modelos binarios, Watson OpenScale realiza un seguimiento cuando la calidad del modelo cae por debajo de un nivel aceptable. Para los modelos de clasificación binarios, comprobará la puntuación del Área bajo ROC que mide la capacidad del modelo de distinguir dos clases. Cuanto más alta es el Área bajo ROC, mejor es el modelo en la identificación de la clase A como clase A y la clase B como clase B.

Problemas de clasificación de regresión

Para los modelos de regresión, Watson OpenScale realiza un seguimiento cuando la calidad del modelo cae por debajo de un nivel aceptable y comprueba la puntuación R cuadrado. R cuadrado mide la correlación entre los valores previstos y los valores reales. Cuanto más alta sea la puntuación de R cuadrado, mejor se ajustará el modelo a los valores reales.

Problemas de clasificación multiclase

Para los modelos de clasificación múltiple, Watson OpenScale realiza un seguimiento cuando la calidad del modelo cae por debajo de un nivel aceptable y comprueba la puntuación Precisión que es el porcentaje de predicciones que el modelo ha obtenido correctamente.

Detalles de calidad soportados

Watson OpenScale da soporte a los siguientes detalles de métricas de calidad:

Matriz de confusión

La matriz de confusión le ayuda a comprender para qué datos de opinión es correcta la respuesta de despliegue supervisado y para qué datos no lo es.

Para obtener más información, consulte Matriz de confusión.

Próximos pasos

  • Después de que Watson OpenScale detecte problemas con la calidad, como por ejemplo violaciones de umbrales de exactitud, debe crear una nueva versión del modelo que corrija el problema. Utilizando los datos etiquetados manualmente en la tabla de opinión, debe reentrenar el modelo junto con los datos de entrenamiento originales.