Inicio rápido: Comparar el rendimiento de los avisos

Para previsualizar esta tarea, vea el vídeo a partir del minuto 00:16.

El hub de recursos incluye un proyecto de muestra que contiene plantillas de avisos de muestra que puede comparar en Evaluation Studio. Siga estos pasos para crear el proyecto basado en una muestra:

1. En la pantalla de inicio, haga clic en el icono Crear un nuevo proyecto .

2. Seleccionar muestra.

3. Busque Getting started with watsonx.governanceSe ha copiado en el portapapeles, seleccione ese proyecto de ejemplo y haga clic en Siguiente.

4. Elija una instancia de servicio de almacenamiento de objetos existente o cree una nueva.

5. Pulse Crear.

6. Espere a que se complete la importación del proyecto y, a continuación, haga clic en Ver nuevo proyecto.

7. Asociar un servicio watsonx.ai Runtime al proyecto. Para obtener más información, consulte Añadir servicios asociados a un proyecto.

   1. Cuando se abra el proyecto, haz clic en la pestaña Gestionar y selecciona la página Servicios e integraciones.

   2. En la pestaña Servicios IBM, haga clic en Asociar servicio.

   3. Seleccione su instancia de watsonx.ai Runtime. Si aún no dispone de una instancia del servicio watsonx.ai Runtime, siga estos pasos:

      1. Haga clic en Nuevo servicio.

      2. Seleccione watsonx.ai Runtime.

      3. Pulse Crear.

      4. Seleccione la nueva instancia de servicio de la lista.

   4. Haga clic en Asociar servicio.

   5. Si es necesario, haga clic en Cancelar para volver a la página Servicios e integraciones.

8. Haga clic en la pestaña Activos del proyecto para ver los activos de muestra.

Para obtener más información o ver un vídeo, consulte Creación de un proyecto. Para obtener más información sobre los servicios asociados, consulte Adición de servicios asociados.

Para previsualizar esta tarea, vea el vídeo a partir del minuto 01:11.

Para comparar el rendimiento de las preguntas, debe crear un experimento en Evaluation Studio. Siga estos pasos para crear el experimento:

1. En la pestaña Activos, haga clic en Nuevo activo > Evaluar y comparar indicaciones.

2. En la página Configuración, escriba Summarization Evaluation experimentSe ha copiado en el portapapeles como nombre.

3. Seleccione un tipo de tarea. En este caso, desea comparar las plantillas de avisos de integración, así que seleccione Integración.

4. Haga clic en Siguiente para continuar con la página Plantillas de solicitud.

5. Seleccione las plantillas de Resumen de reclamo de seguro, 2 Resumen de reclamo de seguro y 3 Resumen de reclamo de seguro.

   Observe que las tres plantillas incluyen variables de entrada, un requisito de Evaluation Studio.

6. Haga clic en Siguiente para continuar con la página Métricas.

7. Amplíe las secciones Calidad de la IA Generativa y Salud del Modelo para revisar las métricas que se utilizarán en la evaluación.

8. Haga clic en Siguiente para pasar a la página Datos de prueba.

9. Seleccione los datos de la prueba:

   1. Pulse Seleccionar datos del proyecto.

   2. Seleccione Archivo de proyecto > data.csv de prueba de resumen de reclamaciones de seguro.csv.

      Los datos de prueba que cargue deben contener columnas de salida y entrada de referencia para cada variable de aviso. Las columnas de salida de referencia se utilizan para calcular métricas basadas en referencias, como ROUGE y BLEU.

   3. Pulse Seleccionar.

   4. En la columna Entrada, seleccione Reclamación_de_seguro.

   5. Para la columna de salida Referencia, seleccione Resumen.

10. Haga clic en Siguiente para continuar con la página Revisar y ejecutar.

11. Revise la configuración y haga clic en Ejecutar evaluación. Las evaluaciones pueden durar unos minutos.

Para previsualizar esta tarea, vea el vídeo a partir del minuto 02:26.

Ahora ya puede evaluar y comparar los activos de IA. Siga estos pasos para revisar los resultados en Evaluation Studio:

1. Cuando finalice la evaluación, vea las visualizaciones de comparación de métricas.

   Los gráficos comparan los resultados de cada plantilla de consulta seleccionada. La visualización muestra si las puntuaciones infringen los umbrales de cada métrica.

2. Haga clic en la lista Registros para seleccionar una métrica diferente. Por ejemplo, seleccione Análisis de contenido para ver las actualizaciones del gráfico en función de la métrica seleccionada.

   

3. Pase el ratón por encima de una barra del gráfico para ver los detalles.

4. Revise la tabla debajo de la visualización que muestra las tres plantillas de avisos. Observe que cada una de las indicaciones utiliza un modelo de base diferente.

5. Para realizar comparaciones, haga clic en el icono Establecer como referencia situado junto a una plantilla de consulta.

   La configuración de la plantilla de referencia resalta las columnas de la tabla para mostrar si otros activos tienen un rendimiento mejor o peor que el activo seleccionado.

6. Haga clic en el icono de clasificación personalizada .

   

   Para analizar los resultados, también puede crear una clasificación personalizada de las métricas de los distintos grupos especificando factores de ponderación y una fórmula de clasificación para determinar qué plantillas de avisos tienen el mejor rendimiento. Al crear una clasificación personalizada, puede seleccionar métricas que sean relevantes para su clasificación y proporcionarles un factor de ponderación. Pulse Cancelar.

7. Para volver a realizar las evaluaciones, haga clic en el icono Ajustar configuración . Utilice el panel de detalles de la evaluación para actualizar los datos de la prueba o reconfigurar las métricas.

8. Para editar el experimento, haga clic en el icono Activos para eliminar o añadir activos a su evaluación y cambiar su comparación.

9. En la tabla, haga clic en el menú Desbordamiento situado junto a una plantilla de consulta y seleccione Ver hoja de datos AI. Las hojas de datos recogen detalles sobre el activo en cada fase del ciclo de vida de la IA para ayudarle a cumplir los objetivos de gobernanza y cumplimiento.

10. Cierre la página Hoja informativa sobre IA para volver al Estudio de evaluación.

11. Desde aquí, puede iniciar el seguimiento de una plantilla de aviso en un caso de uso de AI. En la tabla, haga clic en el menú Desbordamiento situado junto a una plantilla de aviso y seleccione Seguimiento en caso de uso AI.