Debe proporcionar datos de retroalimentación en watsonx.governance governance para poder configurar las evaluaciones de calidad y determinar cualquier cambio en las predicciones de su modelo.
Cuando proporciona datos de comentarios, puede evaluar regularmente la precisión de las predicciones del modelo.
Registro de comentarios
Los datos que proporcione se almacenan en forma de registros en una tabla de registro de opiniones.
Los datos de retroalimentación que proporcione deben contener la misma estructura de columnas de características y predicciones que sus datos de entrenamiento. Los datos también deben incluir el resultado del modelo conocido. Las columnas de los datos de respuesta que proporcione y que no estén incluidas en los datos de entrenamiento no se procesan.
Debe registrar sus datos de retroalimentación en la tabla de registro de retroalimentación para configurar la calidad y las evaluaciones de calidad de IA generativa. La tabla de registro de comentarios contiene las columnas siguientes al evaluar plantillas de solicitud:
- Columnas necesarias:
- Variable (s) de solicitud: Contiene los valores de las variables que se crean para las plantillas de solicitud
reference_output
: Contiene el valor de datos de campo
- Columnas opcionales:
_original_prediction
: Contiene la salida generada por el foundation model
Las evaluaciones de calidad de IA generativas utilizan datos de comentarios para generar resultados para los siguientes tipos de tarea al evaluar plantillas de solicitud:
- Resumen de texto
- Generación de contenido
- Respuesta a preguntas
- Extracción de entidades
Las evaluaciones de calidad utilizan datos de comentarios para generar resultados para tareas de clasificación de texto.
Carga de los datos de comentarios
Puede utilizar un punto final de registro de comentarios para cargar datos para evaluaciones de calidad. También puede cargar datos de comentarios con un archivo CSV. Para obtener más información, consulte Envío de transacciones de modelo.
Para los modelos de preproducción, puede conectarse a un archivo CSV con datos de retroalimentación almacenados en Cloud Object Storage o Db2. Para obtener más información, consulte Revisión de los resultados de la evaluación.
Tema padre: Gestión de datos para evaluaciones de modelo en Watson OpenScale