Inicio rápido: Evaluar y realizar el seguimiento de una plantilla de solicitud

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 00:09.

Un inventario de modelo es para almacenar y revisar casos de uso de IA. Los casos de uso de IA recopilan hechos de gobierno para activos de IA que su organización rastrea. Puede ver todos los casos de uso de IA en un inventario.

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 00:51.

Necesita un proyecto para almacenar la plantilla de solicitud y la evaluación. Si ya ha creado el proyecto, omita el paso 1 de esta tarea y, a continuación, asocie el servicio Watson Machine Learning con el proyecto de ejemplo. De lo contrario, siga estos pasos para crear un proyecto basado en un ejemplo:

1. Acceda al proyecto Iniciación al gobierno de watsonx en el concentrador de recursos.

   1. Pulse Crear proyecto.

   2. Acepte los valores predeterminados para el nombre de proyecto y pulse Crear.

   3. Pulse Ver proyecto nuevo cuando el proyecto se haya creado correctamente.

2. Asocie un servicio de Watson Machine Learning con el proyecto. Para obtener más información, consulte Watson Machine Learning.

   1. Cuando se abra el proyecto, pulse el separador Gestionar y seleccione la página Servicios e integraciones .

   2. En la pestaña Servicios deIBM , pulse Asociar servicio.

   3. Seleccione la instancia de Watson Machine Learning . Si todavía no ha suministrado una instancia de servicio de Watson Machine Learning , siga estos pasos:

      1. Pulse Nuevo servicio.

      2. Seleccione Watson Machine Learning.

      3. Pulse Crear.

      4. Seleccione la nueva instancia de servicio en la lista.

   4. Pulse Asociar servicio.

   5. Si es necesario, pulse Cancelar para volver a la página Servicios e integraciones .

3. Pulse la pestaña Activos en el proyecto para ver los activos de ejemplo.

Para obtener más información o ver un vídeo, consulte Creación de un proyecto.

Para obtener más información sobre los servicios asociados, consulte Adición de servicios asociados.

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 01:28.

El proyecto de ejemplo contiene algunas plantillas de solicitud y archivos CSV utilizados como datos de prueba. Siga estos pasos para descargar los datos de prueba y evaluar una de las plantillas de solicitud de ejemplo:

1. Descargue los datos de prueba del proyecto de ejemplo. Debe proporcionar un archivo local para los datos de prueba durante la evaluación.

   1. Pulse la pestaña Activos.
   2. Para el archivo Prueba de resumen de reclamaciones de seguros data.csv , pulse el menú Desbordamiento y elija Descargar.
   3. Guarde el archivo CSV localmente.

2. Pulse Resumen de reclamación de seguros para abrir la plantilla de solicitud en Prompt Lab y, a continuación, pulse Editar.

3. Pulse el icono Solicitar variables .

   Nota: Para ejecutar evaluaciones, debe crear al menos una variable de solicitud.

4. Desplácese a la sección Intentar . Observe la variable {input} en el campo Entrada . Debe incluir la variable de solicitud como entrada para probar la solicitud. Una variable de solicitud es una palabra clave de marcador que se incluye en el texto estático de la solicitud en el momento de la creación y se sustituye por texto dinámicamente en el tiempo de ejecución.

5. Pulse el icono Evaluar .

6. Expanda la sección Calidad de IA generativa para ver una lista de dimensiones. Las métricas disponibles dependen del tipo de tarea de la solicitud. Por ejemplo, el resumen tiene distintas métricas que la clasificación.

7. Pulse Siguiente.

8. Seleccione los datos de prueba:

   1. Pulse Examinar.
   2. Seleccione el archivo Prueba de resumen de reclamaciones de seguros data.csv que ha descargado anteriormente.
   3. Pulse Abrir.
   4. En Columna de entrada, seleccione Insurance_Claim.
   5. Para la Columna de salida de referencia, seleccione Resumen.
   6. Pulse Siguiente.

9. Pulse Evaluar. Las evaluaciones pueden tardar unos minutos en completarse. Cuando finalice la evaluación, verá los resultados de la prueba en la pestaña Evaluar . Esta página muestra información detallada sobre esta ejecución de evaluación para que pueda obtener información sobre el rendimiento del modelo. El resumen proporciona una visión general de las puntuaciones de métrica y las infracciones de los umbrales de puntuación predeterminados para las evaluaciones de plantilla de solicitud.

10. Pulse la pestaña Hoja de datos de IA .

    1. Ver la información de cada una de las secciones de la pestaña.
    2. Pulse Evaluación > Desarrollar > Probar para ver de nuevo los resultados de la prueba.

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 02:37.

Puede realizar un seguimiento de la plantilla de solicitud en un caso de uso de IA para notificar el proceso de desarrollo y prueba a sus iguales. Siga estos pasos para iniciar el seguimiento de la plantilla de solicitud:

1. En el Menú de navegación , seleccione Proyectos > Ver todos los proyectos.
2. Seleccione el proyecto Iniciación al gobierno de watsonx .
3. Pulse la pestaña Activos.
4. En el menú Desbordamiento para la plantilla de solicitud Resumen de reclamación de seguros , seleccione Ir a hoja de datos de IA. Cada activo de IA tiene una hoja de datos de IA; que incluye información detallada sobre cómo se ha creado el activo, sus resultados de evaluación en todo el ciclo de vida de IA y adjuntos adicionales.
5. En la pestaña Hoja de datos de IA , pulse la página Gobierno .
6. Pulse Seguimiento de un caso de uso de IA.
7. Seleccione el Caso de uso de AI de procesamiento de reclamaciones de seguros.
8. Pulse Siguiente.
9. Seleccione un enfoque. Un enfoque es una faceta de la solución al problema de negocio representado por el caso de uso de IA. Por ejemplo, puede crear enfoques para realizar un seguimiento de varias plantillas de solicitud en un caso de uso.
10. Pulse Siguiente.
11. Para la versión del modelo, seleccione Experimental.
12. Acepte el valor predeterminado para el número de versión.
13. Pulse Siguiente.
14. Revise la información y, a continuación, pulse Realizar seguimiento de activo.
15. Cuando el seguimiento del modelo empiece correctamente, pulse el icono Ver detalles para abrir el caso de uso de IA.
16. Pulse la pestaña Ciclo de vida para ver que la plantilla de solicitud está en la fase Desarrollar . A medida que la plantilla de solicitud se mueve a través del ciclo de vida de IA, se moverá a través de estas fases:
    • Fase Desarrollar : activos de IA que se han desarrollado en un entorno de proyecto.
    • Fase de prueba : modelos ML que se han desplegado en un espacio para pruebas.
    • Fase Validar : activos de IA que se han desplegado en un espacio o proyecto para su validación.
    • Fase Operar : activos de IA desplegados en un espacio para la operación.

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 03:27.

Normalmente, el ingeniero de solicitud evalúa la solicitud con datos de prueba y el ingeniero de validación valida la solicitud. El ingeniero de validación tiene acceso a los datos de validación que pueden no tener los ingenieros de solicitud. En este caso, los datos de validación se producen en un proyecto diferente. Siga estos pasos para exportar el proyecto de desarrollo e importarlo como un nuevo proyecto de validación para mover el activo a la fase de validación del ciclo de vida de IA:

1. En el Menú de navegación , seleccione Proyectos > Ver todos los proyectos.

2. Seleccione el proyecto Iniciación al gobierno de watsonx .

3. Pulse el icono Importar/Exportar > Exportar proyecto.

4. Marque el recuadro para seleccionar todos los activos.

5. Para el nombre del proyecto, copie y pegue el texto siguiente y, a continuación, pulse Guardar.

   validation project.zip
   ```1. Click **Export**.
   

6. Cuando finalice la exportación del proyecto, pulse Volver al proyecto.

7. En el Menú de navegación , seleccione Proyectos > Ver todos los proyectos.

8. Pulse Nuevo proyecto.

9. Seleccione Archivo local.

   1. Pulse Examinar.

   2. Seleccione el validation project.zipy pulse Abrir.

   3. Para el nombre del proyecto, copie y pegue el texto siguiente:

      Validation project
      

   4. Pulse Crear.

10. Cuando se cree el proyecto, pulse Ver proyecto nuevo.1. Siga los mismos pasos que en el Paso 1 para asociar el servicio Watson Machine Learning con este proyecto.

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 04:22.

Ahora está preparado para evaluar la plantilla de solicitud en este proyecto de validación utilizando el mismo proceso de evaluación que antes. Utilice el mismo conjunto de datos de prueba para la evaluación. Y seleccione las mismas columnas de entrada y salida que antes. Siga estos pasos para validar la plantilla de solicitud:

1. Pulse el separador Activos en el Proyecto de validación.
2. Repita los pasos de la Tarea 2 para evaluar la plantilla de solicitud Resumen de proceso de reclamaciones .
3. Pulse la pestaña Hoja de datos de IA cuando se haya completado la evaluación.
4. Ver ambos conjuntos de resultados de prueba:
   1. Pulse Evaluación > Desarrollar > Probar.
   2. Pulse Evaluación > Validar > Probar.

Para obtener una vista previa de esta tarea, vea el vídeo que empieza en 05:04.