Evaluación de plantillas de solicitud en proyectos
Puede evaluar plantillas de avisos en proyectos con watsonx.governance para medir el rendimiento de las tareas foundation model y comprender cómo su modelo genera respuestas.
Con watsonx.governance, puede evaluar plantillas de solicitud en proyectos para medir la eficacia con la que los modelos de base generan respuestas para los siguientes tipos de tarea:
- Clasificación
- Resumen
- Generación
- Respuesta a preguntas
- Extracción de entidades
- Recuperación-Generación aumentada
Antes de empezar
Debe tener acceso a un proyecto para evaluar plantillas de solicitud. Para obtener más información, consulte Configuración de watsonx.governance.
Para ejecutar evaluaciones, debe iniciar sesión y conmutar a una cuenta de watsonx que tenga instancias de watsonx.governance y watsonx.ai instaladas. A continuación, abra un proyecto. Debe tener asignados los roles Admin o Editor para que la cuenta abra proyectos.
En su proyecto, debe utilizar el Prompt Lab watsonx.ai para crear y guardar una plantilla de avisos. Debe especificar variables al crear plantillas de solicitud para habilitar evaluaciones. La sección Try del Prompt Lab Lab debe contener al menos una variable.
Vea este vídeo para ver cómo evaluar una plantilla de solicitud en un proyecto.
Este vídeo proporciona un método visual para aprender los conceptos y tareas de esta documentación.
En las secciones siguientes se describe cómo evaluar plantillas de solicitud en proyectos y revisar los resultados de evaluación.
Ejecución de evaluaciones
Para ejecutar evaluaciones de plantilla de solicitud, puede pulsar Evaluar cuando abra una plantilla de solicitud guardada en la pestaña Activos en watsonx.governance para abrir el asistente Evaluar plantilla de solicitud . Sólo puede ejecutar evaluaciones si tiene asignados los roles Admin o Editor para el proyecto.
Evaluación de plantillas de avisos con modelos personalizados o ajustados
Puede evaluar plantillas de aviso que utilicen despliegues de foundation model personalizados o ajustados en un proyecto. También puede gestionar y desplegar estos modelos cuando los traslade entre distintos proyectos. Para obtener más información, consulte Despliegue de una plantilla de avisos mediante programación.
En las secciones siguientes se describe cómo evaluar plantillas de solicitud en proyectos y revisar los resultados de evaluación.
Ejecución de evaluaciones
Para ejecutar evaluaciones de plantillas de avisos, puede seleccionar Evaluar al abrir una plantilla de avisos guardada en la pestaña Activos de su proyecto para abrir el asistente Evaluar plantilla de avisos.
Si su proyecto no tiene una instancia watsonx.governance asociada, debe seleccionar Asociar una instancia de servicio en el cuadro de diálogo Asociar una instancia de servicio antes de poder ejecutar evaluaciones. En la ventana Asociar instancia para evaluación, debe elegir la instancia de watsonx.governance que desea utilizar y seleccionar Asociar una instancia de servicio para asociar una instancia a su proyecto. Debe tener asignado el rol de Administrador para su proyecto para asociar instancias.
Si no tiene una base de datos asociada a su instancia de watsonx.governance, también debe asociar una base de datos antes de poder ejecutar evaluaciones. Para asociar una base de datos, también debe hacer clic en Asociar base de datos en el cuadro de diálogo Base de datos necesaria para conectarse a una base de datos. Debe tener asignado el rol de Administrador para su proyecto y su instancia de watsonx.governance para asociar bases de datos.
Seleccionar dimensiones
El asistente Evaluar plantilla de solicitud muestra las dimensiones que están disponibles para evaluar el tipo de tarea que está asociado con la solicitud. Puede expandir las dimensiones para ver la lista de métricas que se utilizan para evaluar las dimensiones que selecciona.
Watsonx.governance configura automáticamente las evaluaciones para cada dimensión con los valores predeterminados. Para configurar evaluaciones con diferentes ajustes, puede seleccionar Ajustes avanzados para establecer tamaños de muestra y seleccionar las métricas que desea utilizar para evaluar su plantilla de avisos:
También puede establecer valores umbral para cada métrica que seleccione para sus evaluaciones:
Seleccionar datos de prueba
Para seleccionar los datos de prueba, puede cargar un archivo CSV o seleccionar un activo de su proyecto. Los datos de prueba que seleccione deben contener columnas de referencia y columnas para cada variable de consulta.
Correlacionar variables
Debe asignar variables de aviso a las columnas asociadas de sus datos de prueba.
Revisar y evaluar
Antes de ejecutar la evaluación de plantilla de solicitud, puede revisar las selecciones para el tipo de tarea de solicitud, los datos de prueba cargados y el tipo de evaluación que se ejecuta.
Revisión de los resultados de la evaluación
Cuando finalice la evaluación, puede revisar un resumen de los resultados de la evaluación en la pestaña Evaluar en watsonx.governance para obtener información sobre el rendimiento del modelo. El resumen proporciona una visión general de las puntuaciones de métrica y las infracciones de los umbrales de puntuación predeterminados para las evaluaciones de plantilla de solicitud.
Si tiene asignado el rol de Visor para el proyecto, puede seleccionar Evaluar en la lista de activos en la pestaña Activos para ver los resultados de la evaluación.
Para analizar los resultados, puede hacer clic en la flecha 
situada junto a la evaluación de su plantilla de preguntas para ver visualizaciones de datos de sus resultados a lo largo del tiempo. También puede analizar los resultados de la evaluación de estado del modelo que se ejecuta de forma predeterminada durante las evaluaciones de plantilla de solicitud para comprender la eficacia con la que el modelo procesa los datos.
El menú Acciones también proporciona las opciones siguientes para ayudarle a analizar los resultados:
- Evaluar ahora: Ejecutar evaluación con un conjunto de datos de prueba diferente
- Todas las evaluaciones: muestra un historial de sus evaluaciones para comprender cómo cambian los resultados a lo largo del tiempo.
- Configurar supervisores: configurar umbrales de evaluación y tamaños de muestra.
- Ver información de modelo: Ver detalles sobre el modelo para comprender cómo se configura el entorno de despliegue.
Si realiza un seguimiento de las plantillas de solicitud, puede revisar los resultados de la evaluación para obtener información sobre el rendimiento del modelo a lo largo del ciclo de vida de IA.
Tema principal: Evaluación de modelos de IA.