Puede evaluar plantillas de avisos en espacios de despliegue con el servicio watsonx.governance para medir el rendimiento de las tareas foundation model y comprender cómo su modelo genera respuestas.
Con watsonx.governance, puede evaluar plantillas de solicitud en espacios de despliegue para medir la eficacia con la que los modelos de base generan respuestas para los siguientes tipos de tarea:
- Clasificación
- Resumen
- Generación
- Respuesta a preguntas
- Extracción de entidades
- Recuperación-Generación aumentada
Las plantillas de solicitud se guardan en las entradas de solicitud para los modelos de base. Puede evaluar despliegues de plantillas de solicitud en espacios de preproducción y producción.
Puede evaluar las plantillas de avisos para medir el rendimiento de los modelos personalizadosBringYourOwnModel) o de los modelos de base ajustados.
Antes de empezar
Permisos necesarios
Debe tener los roles siguientes para evaluar plantillas de solicitud: rol
Admin o Editor en un espacio de despliegue
En su proyecto, también debe crear y guardar una plantilla de avisos y promover una plantilla de avisos a un espacio de despliegue. Debe especificar al menos una variable al crear plantillas de solicitud para habilitar las evaluaciones.
Despliegue de plantillas de avisos para modelos personalizados o ajustados
Puede evaluar las plantillas de avisos para medir el rendimiento cuando implante modelos de base personalizados o ajustados. Al desplegar estos modelos, puede mover las plantillas de avisos a diferentes espacios. Para obtener más información, consulte Despliegue de una plantilla de avisos mediante programación.
En las secciones siguientes se describe cómo evaluar plantillas de solicitud en espacios de despliegue y revisar los resultados de evaluación:
Evaluación de plantillas de solicitud en espacios de preproducción
Ejecutar evaluación
Para ejecutar evaluaciones de plantilla de solicitud, puede pulsar Evaluar en la pestaña Evaluaciones cuando abra un despliegue para abrir el asistente Evaluar plantilla de solicitud . Sólo puede ejecutar evaluaciones si tiene asignados los roles Admin o Editor para el espacio de despliegue.
Si no tiene una base de datos asociada con la instancia de watsonx.governance , también debe asociar una base de datos para poder ejecutar evaluaciones. Para asociar una base de datos, también debe pulsar Asociar base de datos en el recuadro de diálogo Base de datos necesaria para conectarse a una base de datos. Debe tener asignado el rol Admin para el espacio de despliegue y la instancia de watsonx.governance para asociar bases de datos.
Seleccionar dimensiones
El asistente Evaluar plantilla de solicitud muestra las dimensiones que están disponibles para evaluar el tipo de tarea que está asociado con la solicitud. Puede expandir las dimensiones para ver la lista de métricas que se utilizan para evaluar las dimensiones que selecciona.
Watsonx.governance configura automáticamente las evaluaciones para cada dimensión con los valores predeterminados. Para configurar evaluaciones con diferentes ajustes, puede seleccionar Ajustes avanzados para establecer tamaños de muestra y seleccionar las métricas que desea utilizar para evaluar su plantilla de avisos:
También puede establecer valores umbral para cada métrica que seleccione para sus evaluaciones:
Seleccionar datos de prueba
Para seleccionar los datos de prueba, puede navegar para cargar un archivo CSV o puede seleccionar un activo de su espacio de despliegue. Los datos de prueba que seleccione deben contener columnas de referencia y columnas para cada variable de consulta.
Correlacionar variables
Debe asignar variables de aviso a las columnas asociadas de sus datos de prueba.
Revisar y evaluar
Puede revisar las selecciones para el tipo de tarea de solicitud, los datos de prueba cargados y el tipo de evaluación que se ejecuta. Debe seleccionar Evaluar para ejecutar la evaluación.
Revisión de los resultados de la evaluación
Cuando finalice la evaluación, puede revisar un resumen de los resultados de la evaluación en la pestaña Evaluaciones en watsonx.governance para obtener información sobre el rendimiento del modelo. El resumen proporciona una visión general de las puntuaciones de métrica y las infracciones de los umbrales de puntuación predeterminados para las evaluaciones de plantilla de solicitud.
Para analizar los resultados, puede hacer clic en la flecha 
situada junto a la evaluación de su plantilla de preguntas para ver visualizaciones de datos de sus resultados a lo largo del tiempo. También puede analizar los resultados de la evaluación de estado del modelo que se ejecuta de forma predeterminada durante las evaluaciones de plantilla de solicitud para comprender la eficacia con la que el modelo procesa los datos.
El menú Acciones también proporciona las opciones siguientes para ayudarle a analizar los resultados:
- Evaluar ahora: Ejecutar evaluación con un conjunto de datos de prueba diferente
- Todas las evaluaciones: muestra un historial de sus evaluaciones para comprender cómo cambian los resultados a lo largo del tiempo.
- Configurar supervisores: configurar umbrales de evaluación y tamaños de muestra.
- Ver información de modelo: Ver detalles sobre el modelo para comprender cómo se configura el entorno de despliegue.
Si realiza un seguimiento de las plantillas de solicitud, puede revisar los resultados de la evaluación para obtener información sobre el rendimiento del modelo a lo largo del ciclo de vida de IA.
Evaluación de plantillas de solicitud en espacios de producción
Activar evaluación
Para ejecutar evaluaciones de plantilla de solicitud, puede pulsar Activar en la pestaña Evaluaciones cuando abra un despliegue para abrir el asistente Evaluar plantilla de solicitud .
Si no tiene una instancia de watsonx.governance asociada con el espacio de despliegue, debe seleccionar Asociar una instancia de servicio en el recuadro de diálogo Asociar una instancia de servicio para poder ejecutar evaluaciones. En la ventana Asociar instancia para evaluación , debe elegir la instancia de watsonx.governance que desea utilizar y seleccionar Asociar una instancia de servicio para asociar una instancia con el espacio de despliegue. Debe tener asignado el rol Admin para el espacio de despliegue para asociar instancias.
Si no tiene una base de datos asociada con la instancia de watsonx.governance , también debe asociar una base de datos para poder ejecutar evaluaciones. Para asociar una base de datos, también debe pulsar Asociar base de datos en el recuadro de diálogo Base de datos necesaria para conectarse a una base de datos. Debe tener asignado el rol Admin para el espacio de despliegue y la instancia de watsonx.governance para asociar bases de datos.
Seleccionar dimensiones
El asistente Evaluar plantilla de solicitud muestra las dimensiones que están disponibles para evaluar el tipo de tarea que está asociado con la solicitud. Puede proporcionar un nombre de columna de etiqueta para la salida de referencia que especifique en los datos de comentarios. También puede expandir las dimensiones para ver la lista de métricas que se utilizan para evaluar las dimensiones que selecciona.
Watsonx.governance configura automáticamente las evaluaciones para cada dimensión con los valores predeterminados. Para configurar evaluaciones con diferentes ajustes, puede seleccionar Ajustes avanzados para establecer tamaños de muestra y seleccionar las métricas que desea utilizar para evaluar su plantilla de avisos:
También puede establecer valores umbral para cada métrica que seleccione para sus evaluaciones:
Revisar y evaluar
Puede revisar las selecciones para el tipo de tarea de solicitud y el tipo de evaluación que se ejecuta. También puede seleccionar Ver esquema de carga útil o Ver esquema de comentarios para validar que los nombres de columna coinciden con los nombres de variable de solicitud en la plantilla de solicitud. Debe seleccionar Activar para ejecutar la evaluación.
Para generar resultados de evaluación, seleccione Evaluar ahora en el menú Acciones para abrir la ventana Importar datos de prueba cuando se muestre la página de resumen de evaluación.
Importar datos de prueba
En la ventana Importar datos de prueba , puede seleccionar Cargar datos de carga útil o Cargar datos de comentarios para cargar un archivo CSV que contenga columnas etiquetadas que coincidan con las columnas de los esquemas de carga útil y comentarios.
Cuando la carga se complete correctamente, puede seleccionar Evaluar ahora para ejecutar la evaluación.
Revisión de los resultados de la evaluación
Cuando finalice la evaluación, puede revisar un resumen de los resultados de la evaluación en la pestaña Evaluaciones en watsonx.governance para obtener información sobre el rendimiento del modelo. El resumen proporciona una visión general de las puntuaciones de métrica y las infracciones de los umbrales de puntuación predeterminados para las evaluaciones de plantilla de solicitud.
Para analizar los resultados, puede hacer clic en la flecha situada junto a la evaluación de su plantilla de preguntas para ver visualizaciones de datos de sus resultados a lo largo del tiempo. También puede analizar los resultados de la evaluación de estado del modelo que se ejecuta de forma predeterminada durante las evaluaciones de plantilla de solicitud para comprender la eficacia con la que el modelo procesa los datos.
El menú Acciones también proporciona las opciones siguientes para ayudarle a analizar los resultados:
- Evaluar ahora: Ejecutar evaluación con un conjunto de datos de prueba diferente
- Configurar supervisores: configurar umbrales de evaluación y tamaños de muestra.
- Ver información de modelo: Ver detalles sobre el modelo para comprender cómo se configura el entorno de despliegue.
Si realiza un seguimiento de sus plantillas de avisos, puede revisar los resultados de la evaluación para obtener información sobre el rendimiento de su modelo a lo largo del ciclo de vida de la IA.