Realice esta guía de aprendizaje para aprender a evaluar y realizar el seguimiento de una plantilla de solicitud. Puede evaluar plantillas de avisos en proyectos o espacios de despliegue para medir el rendimiento de las tareas foundation model y comprender cómo genera respuestas su modelo. A continuación, puede realizar un seguimiento de la plantilla de solicitud en un caso de uso de IA para capturar y compartir hechos sobre el activo para ayudarle a cumplir los objetivos de gobierno y conformidad.
- Servicios necesarios
- watsonx.governance
El flujo de trabajo básico incluye estas tareas:
- Abra un proyecto que contenga la plantilla de solicitud a evaluar. Los proyectos son donde puede colaborar con otros para trabajar con activos.
- Evaluar una plantilla de solicitud utilizando datos de prueba.
- Revise los resultados en la hoja de datos de IA.
- Realice un seguimiento de la plantilla de solicitud evaluada en un caso de uso de IA.
- Despliegue y pruebe la plantilla de solicitud evaluada.
Leer acerca de las plantillas de solicitud
Con watsonx.governance, puede evaluar plantillas de solicitud en proyectos para medir la eficacia con la que los modelos de base generan respuestas para los siguientes tipos de tarea:
- Clasificación
- Resumen
- Generación
- Respuesta a preguntas
- Extracción de entidades
Más información sobre la evaluación de plantillas de solicitud en proyectos
Más información sobre la evaluación de plantillas de solicitud en espacios de despliegue
Ver un vídeo sobre la evaluación y el seguimiento de una plantilla de solicitud
Vea este vídeo para obtener una vista preliminar de los pasos de esta guía de aprendizaje. Puede haber pequeñas diferencias en la interfaz de usuario que se muestra en el vídeo. El vídeo está pensado para ser un compañero del tutorial escrito.
Este vídeo proporciona un método visual para aprender los conceptos y tareas de esta documentación.
Pruebe una guía de aprendizaje sobre la evaluación y el seguimiento de una plantilla de solicitud
En esta guía de aprendizaje, realizará estas tareas:
- Tarea 1: Crear los espacios de trabajo
- Tarea 2: Crear un inventario y un caso de uso de IA
- Tarea 3: Evaluar la plantilla de solicitud de ejemplo
- Tarea 4: Empezar el seguimiento de la plantilla de solicitud
- Tarea 5: Importar los activos rastreados para su validación
- Tarea 6: Validar la plantilla de solicitud
- Tarea 7: Desplegar la plantilla de solicitud
Sugerencias para completar esta guía de aprendizaje
Estas son algunas sugerencias para completar correctamente esta guía de aprendizaje.
Utilizar la imagen en imagen de vídeo
La siguiente imagen animada muestra cómo utilizar las características de imagen en imagen y tabla de contenido de vídeo:
Obtener ayuda en la comunidad
Si necesitas ayuda con este tutorial, puedes hacer una pregunta o encontrar una respuesta en el foro de debate de la Comunidadwatsonx.
Configurar las ventanas del navegador
Para obtener la experiencia óptima al completar esta guía de aprendizaje, abra Cloud Pak for Data en una ventana de navegador y mantenga abierta esta página de la guía de aprendizaje en otra ventana de navegador para conmutar fácilmente entre las dos aplicaciones. Considere la posibilidad de organizar las dos ventanas del navegador una al lado de la otra para que sea más fácil de seguir.
Cumplir los requisitos previos
Para completar este tutorial, debe configurar los siguientes requisitos previos.
Asignar acceso al Platform assets catalog
Debe tener al menos acceso de Editor al Platform assets catalog, donde se almacenan los casos de uso y los inventarios de IA. Consulte el tema Añadir conexiones de plataforma para obtener más información.
Vea la siguiente imagen animada para ver cómo crear el catálogo y asignar el acceso.
Configurar Watson OpenScale
Este tutorial requiere Watson OpenScale. Siga estos pasos para configurar Watson OpenScale mediante la opción Configuración automática o consulte Opciones de configuración de Watson OpenScale para ver otras opciones de configuración:
- En el menú de navegación ' , seleccione Administración > Servicios > Instancias de servicio.
- En la página Instancias de servicio, para su instancia Watson OpenScale o watsonx.governance, haga clic en el menú Desbordamiento ' , y seleccione Lanzar.
- En la página Detalles del servicio, haga clic en Iniciar Watson OpenScale.
- Cuando aparezca la página Evaluación del modelo, haga clic en Configuración automática.
Tarea 1: Crear los espacios de trabajo
Para completar este tutorial, necesitas tres espacios de trabajo:
- Fase de desarrollo: Un proyecto de desarrollo para almacenar los activos que desarrolle, evalúe y rastree.
- Fase de validación: Un proyecto de validación para almacenar los activos que están listos para ser validados.
- Fase operativa: Un espacio de despliegue de producción para almacenar los activos y despliegues validados.
Tarea 1a: Crear el proyecto de desarrollo basado en una muestra
' Para previsualizar esta tarea, vea el vídeo que comienza en 00:11.
El Centro de recursos incluye un proyecto de muestra que contiene plantillas de avisos de muestra que puede evaluar y seguir. Si ya ha creado el proyecto de ejemplo, omita el paso 1 de esta tarea y, a continuación, asocie el servicio watsonx.ai Runtime al proyecto de ejemplo. De lo contrario, siga estos pasos para crear el proyecto de desarrollo basado en una muestra:
Acceda al proyecto Cómo empezar con watsonx.governance en el centro de recursos.
Pulse Crear proyecto.
Acepte los valores predeterminados para el nombre de proyecto y pulse Crear.
Pulse Ver proyecto nuevo cuando el proyecto se haya creado correctamente.
Asociar un servicio watsonx.ai Runtime al proyecto. Para más información, consulte watsonx.ai Runtime.
Cuando se abra el proyecto, pulse el separador Gestionar y seleccione la página Servicios e integraciones .
En la pestaña Servicios deIBM , pulse Asociar servicio.
Seleccione su instancia de watsonx.ai Runtime. Si aún no dispone de una instancia del servicio watsonx.ai Runtime, siga estos pasos:
Pulse Nuevo servicio.
Seleccione watsonx.ai Runtime.
Pulse Crear.
Seleccione la nueva instancia de servicio en la lista.
Pulse Asociar servicio.
Si es necesario, pulse Cancelar para volver a la página Servicios e integraciones .
Pulse la pestaña Activos en el proyecto para ver los activos de ejemplo.
Para obtener más información o ver un vídeo, consulte Creación de un proyecto.
Para obtener más información sobre los servicios asociados, consulte Adición de servicios asociados.
' Comprueba tu progreso
La siguiente imagen muestra la pestaña Activos del proyecto de desarrollo. Ahora estás listo para crear el inventario y el caso de uso de IA.
Tarea 1b: Crear un proyecto de validación
' Para previsualizar esta tarea, vea el vídeo que comienza en 00:44.
Normalmente, el ingeniero de solicitud evalúa la solicitud con datos de prueba y el ingeniero de validación valida la solicitud. El ingeniero de validación tiene acceso a los datos de validación que pueden no tener los ingenieros de solicitud. En este caso, los datos de validación se producen en un proyecto diferente. Siga estos pasos para crear un proyecto vacío. Posteriormente, se importan los activos del proyecto de desarrollo al proyecto de validación.
- En el menú de navegación ' , seleccione Proyectos > Ver todos los proyectos.
- En el separador Proyectos, pulse Nuevo proyecto.
- Para el nombre del proyecto, escriba:
Validation project
- Pulse Crear.
- Siga los mismos pasos que en la Tarea 1a para asociar su servicio watsonx.ai Runtime al proyecto de validación.
- Haz clic en la pestaña Activos para ver el proyecto vacío.
' Comprueba tu progreso
La siguiente imagen muestra el proyecto de validación vacío.
Tarea 1c: Crear un espacio de despliegue
' Para previsualizar esta tarea, vea el vídeo que comienza en 01:16.
Es necesario crear un espacio de despliegue ahora, para que más tarde pueda promover la plantilla de solicitud a ese espacio de despliegue. Siga estos pasos para crear el espacio de despliegue:
En el menú de navegación ' , seleccione Despliegues.
Pulse Nuevo espacio de despliegue.
Para el Nombre del espacio, copia y pega el siguiente texto:
Insurance claims deployment space
En Etapa de despliegue, seleccione Producción.
Importante: Debe seleccionar Producción para la Etapa de despliegue si desea mover el despliegue de la Etapa de evaluación a la Etapa de operación.Seleccione el servicio de aprendizaje automático en la lista.
Pulse Crear.
Cuando el espacio esté creado, haz clic en Ver nuevo espacio.
' Comprueba tu progreso
La siguiente imagen muestra el espacio de despliegue.
Tarea 2: Crear un inventario y un caso de uso de la IA
Un inventario sirve para almacenar y revisar los casos de uso de la IA. Los casos de uso de IA recopilan hechos de gobierno para activos de IA que su organización rastrea. Puede ver todos los casos de uso de IA en un inventario. Debe disponer de un Platform assets catalog para crear un inventario. Consulte la sección Cumplir los requisitos previos.
Tarea 2a: Crear un inventario
' Para previsualizar esta tarea, vea el vídeo que comienza en 01:45.
Siga estos pasos para crear un inventario:
En el menú de navegación " ", seleccione AI governance > AI use cases.
Si ya dispone de inventario, vaya a Crear un nuevo caso de uso de IA para utilizar dicho inventario.
Si se le solicita, haga clic en Completar configuración. Verá esta opción si es la primera vez que trabaja con casos de uso de IA. A continuación, siga estos pasos para crear un inventario:
Haga clic en el icono Gestionar inventarios ' .
En la página Inventarios, haga clic en Nuevo inventario.
Para el nombre, copia y pega el siguiente texto:
Golden Bank Insurance Inventory
Para la descripción, copia y pega el siguiente texto:
Inventory for insurance related claims processing
Deseleccione la opción Añadir colaboradores después de la creación . Puede restringir el acceso a nivel de caso de uso de inventario e IA.
Seleccione la instancia de Cloud Object Storage en la lista.
Pulse Crear.
Cierre la página Gestionar inventarios .
' Comprueba tu progreso
La siguiente imagen muestra el inventario. Ahora está preparado para crear un caso de uso de IA.
Tarea 2b: Crear un caso de uso de IA
Para obtener una vista preliminar de esta tarea, vea el vídeo que empieza en 02:08.
Un caso de uso de IA es un problema de negocio definido que puede resolver con la ayuda de IA. Normalmente se definen antes de que se desarrolle cualquier activo de IA. Siga estos pasos para crear un caso de uso de IA:
- Pulse Nuevo caso de uso de IA.
- Para el Nombre, copia y pega el siguiente texto:
Insurance claims processing AI use case
- Seleccione el inventario de seguros de Golden Bank u otro inventario existente.
- Pulse Crear para aceptar los valores predeterminados para el resto de los campos.
- Si es la primera vez que utiliza casos de uso de IA, se le pedirá que configure la función. Haz clic en Iniciar, y espera a que se muestre el caso de uso de IA.
' Comprueba tu progreso
La siguiente imagen muestra el caso de uso de la IA.
Tarea 2c: Asociar los espacios de trabajo con el caso de uso
' Para previsualizar esta tarea, vea el vídeo que comienza en 02:29.
Siga estos pasos para asociar los espacios de trabajo a este caso de uso:
- Desplácese hasta la sección Espacios de trabajo asociados.
- En la fase Desarrollar, haga clic en Asociar espacio de trabajo.
- Seleccione el proyecto Comenzando con watsonx.governance.
- Pulse Guardar.
- En la fase Validar, haga clic en Asociar espacio de trabajo.
- Seleccione el Proyecto de validación.
- Pulse Guardar.
- En la fase Operar, haga clic en Asociar espacio de trabajo.
- Seleccione Espacio de despliegue de siniestros.
- Pulse Guardar.
' Comprueba tu progreso
La siguiente imagen muestra el caso de uso de IA con todos los espacios de trabajo asociados.
Tarea 3: Evaluar la plantilla de solicitud de ejemplo
El proyecto de ejemplo contiene algunas plantillas de solicitud y archivos CSV utilizados como datos de prueba. Completa estas tareas para evaluar una de las plantillas de ejemplo.
Tarea 3a: Editar la plantilla de avisos de muestra en el Prompt Lab
' Para previsualizar esta tarea, vea el vídeo que comienza en 03:02.
Siga estos pasos para visualizar la plantilla de avisos y ver cómo está estructurada:
En el menú de navegación ' , seleccione Proyectos > Ver todos los proyectos.
Seleccione el proyecto Comenzando con watsonx.governance.
Pulse la pestaña Activos.
Haga clic en Resumen de siniestros de seguros para abrir la plantilla de avisos en Prompt Lab y, a continuación, haga clic en Editar.
Haga clic en el icono de variables Prompt ' .
Nota: Para ejecutar evaluaciones, debe crear al menos una variable de solicitud.Desplácese a la sección Intentar . Observe la variable
{input}
en el campo Entrada . Debe incluir la variable de solicitud como entrada para probar la solicitud. Una variable de solicitud es una palabra clave de marcador que se incluye en el texto estático de la solicitud en el momento de la creación y se sustituye por texto dinámicamente en el tiempo de ejecución.
' Comprueba tu progreso
La siguiente imagen muestra el Prompt Lab.
Tarea 3b: Evaluar la plantilla de avisos
' Para previsualizar esta tarea, vea el vídeo que comienza en 03:24.
Ahora está listo para evaluar la plantilla de avisos.
- Haga clic en el icono Evaluar ' .
- Expanda la sección Calidad de IA generativa para ver una lista de dimensiones. Las métricas disponibles dependen del tipo de tarea de la solicitud. Por ejemplo, el resumen tiene distintas métricas que la clasificación.
- Pulse Siguiente.
- Seleccione los datos de prueba:
- Haga clic en Seleccionar del proyecto.
- Seleccione Archivo del proyecto > Prueba de resumen de siniestros de seguros data.csv.
- Pulse Seleccionar.
- En Columna de entrada, seleccione Insurance_Claim.
- Para la Columna de salida de referencia, seleccione Resumen.
- Pulse Siguiente.
- Pulse Evaluar. Las evaluaciones pueden tardar unos minutos en completarse. Cuando finalice la evaluación, verá los resultados de la prueba en la pestaña Evaluar . Esta página muestra información detallada sobre esta ejecución de evaluación para que pueda obtener información sobre el rendimiento del modelo. El resumen proporciona una visión general de las puntuaciones de métrica y las infracciones de los umbrales de puntuación predeterminados para las evaluaciones de plantilla de solicitud.
- Pulse la pestaña Hoja de datos de IA .
- Ver la información de cada una de las secciones de la pestaña.
- Haga clic en Desarrollo > Introducción a watsonx.governance >Resultados de la prueba para volver a ver los resultados de la prueba.
' Comprueba tu progreso
La imagen siguiente muestra los resultados de la evaluación. Ahora puede iniciar el seguimiento de la plantilla de solicitud en un caso de uso de IA.
Tarea 4: Iniciar el seguimiento de la plantilla de solicitud
' Para previsualizar esta tarea, vea el vídeo a partir del minuto 04:24.
Puede realizar un seguimiento de la plantilla de solicitud en un caso de uso de IA para notificar el proceso de desarrollo y prueba a sus iguales. Siga estos pasos para iniciar el seguimiento de la plantilla de solicitud:
- En la pestaña Hoja de datos de IA , pulse la página Gobierno .
- Haz clic en Rastrear en caso de uso de IA.
- Observa que el caso de uso de IA asociado es Caso de uso de IA de procesamiento de reclamaciones de seguros.
- Seleccione un enfoque. Un enfoque es una faceta de la solución al problema de negocio representado por el caso de uso de IA. Por ejemplo, puede crear enfoques para realizar un seguimiento de varias plantillas de solicitud en un caso de uso.
- Pulse Siguiente.
- Para la versión del modelo, seleccione Experimental.
- Acepte el valor predeterminado para el número de versión.
- Pulse Siguiente.
- Revise la información y, a continuación, pulse Realizar seguimiento de activo.
- Cuando el seguimiento del modelo se inicie correctamente, haga clic en el icono Ver detalles ' para abrir el caso de uso de IA.
- Haga clic en la pestaña Ciclo de vida para ver que la plantilla de solicitud se encuentra en la fase Desarrollo. A medida que la plantilla de solicitud se mueve a través del ciclo de vida de IA, se moverá a través de estas fases:
- Fase de desarrollo: Activos de IA que se han desarrollado en un entorno de proyecto.
- Fase de validación: Activos de IA que se han desplegado en un espacio o proyecto para su validación.
- Fase de operación: Activos de IA desplegados en un espacio para su operación.
' Comprueba tu progreso
La siguiente imagen muestra la pestaña Ciclo de vida en el caso de uso AI con la plantilla de solicitud en la fase de Desarrollo. Ahora está listo para continuar con la fase de Validación.
Tarea 5: Importar los activos rastreados para su validación
Como se indica en la Tarea 1, normalmente, el ingeniero de avisos evalúa el aviso con datos de prueba, y el ingeniero de validación valida el aviso. El ingeniero de validación tiene acceso a los datos de validación que pueden no tener los ingenieros de solicitud. En este caso, los datos de validación se producen en un proyecto diferente. Siga estos pasos para exportar el proyecto de desarrollo e importar esos activos al proyecto de validación que creó en la Tarea 1 para mover el activo a la fase Validación del ciclo de vida de la IA:
Tarea 5a: Exportar el proyecto de ejemplo
' Para previsualizar esta tarea, vea el vídeo a partir del minuto 05:07.
Siga estos pasos para exportar el proyecto de desarrollo:
- En el menú de navegación ' , seleccione Proyectos > Ver todos los proyectos.
- Seleccione el proyecto Comenzando con watsonx.governance.
- Haga clic en el icono Importar/Exportar ' > Exportar proyecto.
- Marque el recuadro para seleccionar todos los activos.
- Pulse Exportar.
- Haga clic en Continuar exportación para reconocer que los activos podrían contener credenciales.
- Espere a que se le pida el nombre del archivo del proyecto, escriba
validation-project.zip
y, a continuación, haga clic en Guardar. - Cuando finalice la exportación del proyecto, pulse Volver al proyecto.
' Comprueba tu progreso
La siguiente imagen muestra la página Exportar proyecto.
Tarea 5b: Importar los activos al proyecto de validación
Para obtener una vista preliminar de esta tarea, vea el vídeo que empieza en 05:28.
Siga estos pasos para importar los activos del proyecto de desarrollo al proyecto de validación:
- En el menú de navegación ' , seleccione Proyectos > Ver todos los proyectos.
- Abra el proyecto Validación.
- Haga clic en el icono Importar/Exportar ' > Importar proyecto.
- Pulse Examinar.
- Seleccione el validation-project.zip, y haga clic en Abrir.
- Seleccione la opción para indicar que está de acuerdo: Entiendo que algunos tipos de activos sobrescriben asets existentes con el mismo nombre y tipo.
- Haga clic en Importar.
- Cuando los activos se importen correctamente, haga clic en el icono Actualizar ' ' para ver los activos importados.
' Comprueba tu progreso
La imagen siguiente muestra la pestaña Activos del proyecto de validación. Ahora está preparado para evaluar la plantilla de solicitud de ejemplo en el proyecto de validación.
Tarea 6: Validar la plantilla de solicitud
' Para previsualizar esta tarea, vea el vídeo a partir del minuto 05:41.
Ahora está preparado para evaluar la plantilla de solicitud en este proyecto de validación utilizando el mismo proceso de evaluación que antes. Utilice el mismo conjunto de datos de prueba para la evaluación. Y seleccione las mismas columnas de entrada y salida que antes. Siga estos pasos para validar la plantilla de solicitud:
- Pulse el separador Activos en el Proyecto de validación.
- En el menú Desbordamiento ' de la plantilla de consulta de resumen de siniestros de seguros, seleccione Evaluar.
- Haga clic en Evaluar para iniciar la evaluación.
- Repita los pasos de Tarea 3a: Evaluar la plantilla de avisos para evaluar la Plantilla de avisos de procesamiento de reclamaciones en el Proyecto de validación.
- Pulse la pestaña Hoja de datos de IA cuando se haya completado la evaluación.
- Ver ambos conjuntos de resultados de prueba:
- Haga clic en Desarrollo > Introducción a watsonx.governance >Resultados de la prueba.
- Haga clic en Validación > Proyecto de validación > Resultados de la prueba.
' Comprueba tu progreso
La imagen siguiente muestra los resultados de la prueba de validación. Ahora está preparado para promocionar la plantilla de solicitud a un espacio de despliegue y, a continuación, desplegar la plantilla de solicitud.
Tarea 7: Desplegar la plantilla de solicitud
Para desplegar la plantilla de avisos, debe promoverla al espacio de despliegue que creó en la Tarea 1. A continuación, en el espacio de despliegue, puede crear un despliegue y probar la plantilla de solicitud desplegada.
Tarea 7a: Promocionar la plantilla de solicitud a un espacio de despliegue
Para obtener una vista preliminar de esta tarea, vea el vídeo que empieza en 06:14.
La plantilla de solicitud se promociona a un espacio de despliegue en preparación para desplegarla. Siga estos pasos para solicitar la plantilla de solicitud:
Haga clic en Proyecto de validación en la ruta de navegación.
En el menú Desbordamiento ' para la plantilla de aviso de resumen de siniestros de seguros, seleccione Promover al espacio.
Para el Espacio de destino, seleccione Espacio de despliegue de siniestros.
Seleccione la opción Ir al espacio después de promocionar la plantilla de solicitud.
Haga clic en Promover.
' Comprueba tu progreso
La imagen siguiente muestra la plantilla de solicitud en el espacio de despliegue. Ahora está preparado para crear un despliegue.
Tarea 7b: Desplegar la plantilla de solicitud
' Para previsualizar esta tarea, vea el vídeo que comienza en 06:33.
Ahora puede crear un despliegue en línea de la plantilla de solicitud desde dentro del espacio de despliegue. Siga estos pasos para crear un despliegue:
En la página de activos Resumen de reclamaciones de seguros del espacio de despliegue, seleccione Nuevo despliegue.
Para el nombre de despliegue, copie y pegue el texto siguiente:
Insurance claims summarization deployment
Pulse Crear.
' Comprueba tu progreso
La imagen siguiente muestra la plantilla de solicitud desplegada.
Tarea 7c: Ver la plantilla de solicitud desplegada
' Para previsualizar esta tarea, vea el vídeo que comienza en 06:47.
Siga estos pasos para ver la plantilla de solicitud desplegada en su fase actual del ciclo de vida:
- Ver el despliegue cuando esté listo. La pestaña Referencia de API proporciona información para utilizar el despliegue de plantilla de solicitud en la aplicación.
- Pulse el separador Probar. La pestaña Probar le permite enviar una instrucción y una entrada para probar el despliegue.
- Pulse Generar. Cierre la ventana de resultados.
- Pulse la pestaña Hoja de datos de IA .
- Desplácese hacia abajo hasta la parte inferior de la página Hoja de datos de IA y pulse la flecha para obtener más detalles.
- Revise la información de las fases Desarrollo, Validación y Operación de la Ficha técnica de la IA para la plantilla de solicitud desplegada.
- Desplácese hasta la parte superior de la página y haga clic en el icono Ver detalles ' para abrir el caso de uso AI.
- En el caso de uso, haz clic en la pestaña Ciclo de vida. Puede ver que la plantilla de avisos se encuentra ahora en la fase Operación.
- Haga clic en la plantilla de consulta Resumen de siniestros en la fase Operación. Cuando haya terminado, pulse Cancelar.
- Haga clic en el Despliegue de plantillas de resumen de siniestros en la fase Operación. Cuando haya terminado, pulse Cancelar.
' Comprueba tu progreso
La siguiente imagen muestra la plantilla de avisos en la fase de Operación del ciclo de vida.
Próximos pasos
Pruebe una de las otras guías de aprendizaje:
Recursos adicionales
Ver más vídeos.
Busque conjuntos de datos de ejemplo, proyectos, modelos, solicitudes y cuadernos en el concentrador de recursos para obtener experiencia práctica:
cuadernos ' que puedes añadir a tu proyecto para empezar a analizar datos y construir modelos.
' Proyectos que puede importar y que contienen cuadernos, conjuntos de datos, avisos y otros recursos.
' Conjuntos de datos que puedes añadir a tu proyecto para refinar, analizar y construir modelos.
Avisos que puede utilizar en el Prompt Lab para avisar a un foundation model.
Modelos de la Fundación que puede utilizar en el Prompt Lab.
Tema principal: Guías de aprendizaje de inicio rápido