Utilice un inventario de modelos con AI Factsheets para organizar modelos de aprendizaje automático para su organización como parte de su estrategia de gobierno de IA. Puede crear un caso de uso para cada modelo del que desee realizar un seguimiento y, a continuación, revisar los detalles de la página de inventario en el catálogo. Utilice filtros para refinar la vista. Por ejemplo, vea sólo los casos de uso de modelo que están en un estado aprobado.
Para ver un inventario de modelo, elija Inventario de modelo en la sección Catálogo del panel de navegación.
Cómo trabajar con casos de uso de modelo
En el inventario del modelo, puede:
- Crear un caso de uso de modelo
- Ver detalles de caso de uso de modelo
- Cambiar el estado de un caso de uso de modelo
- Suprimir un caso de uso de modelo
- Búsqueda o filtrado para buscar casos de uso de modelo
- Ver alertas
- Ver la hoja de datos para un modelo
- Ver la hoja de datos para un despliegue
- Detalles de seguimiento
Creación de un caso de uso de modelo
Cree un caso de uso de modelo para realizar un seguimiento del ciclo de vida de un modelo.
- En el panel de navegación, pulse la sección Catálogo y, a continuación, pulse Inventario de modelo.
- Pulse Nuevo caso de uso de modelo y especifique un nombre y una descripción.
- Elija el catálogo que contiene el caso de uso del modelo.
- Después de crear el caso de uso, puede especificar detalles adicionales como, por ejemplo, la finalidad del modelo, los términos empresariales o la documentación de soporte.
Visualización de detalles de caso de uso de modelo
Un inventario de modelo contiene casos de uso de modelo que proporcionarían detalles sobre el ciclo de vida del modelo, la finalidad y los hechos que dan soporte al gobierno. Para cada caso de uso de modelo, puede ver:
- El nombre de caso de uso del modelo.
- El estado del caso de uso del modelo. Por ejemplo, un modelo puede estar a la esperando de desarrollo, bajo revisión o en producción.
- Términos de negocio asociados con el caso de uso del modelo.
- Etiquetas disponibles para el caso de uso del modelo.
Para obtener detalles completos sobre lo que se incluye para cada modelo, consulte visualización de hojas de datos de modelo y despliegue.
Cambio del estado de un caso de uso de modelo
Puede cambiar el estado de un caso de uso de modelo para reflejar un cambio en el ciclo de vida del modelo. Por ejemplo, puede cambiar el estado de un modelo de Desplegado para validación a Validado después de confirmar que el modelo se ha probado correctamente.
Para cambiar el estado de un caso de uso de modelo:
- Abra el caso de uso del modelo en el inventario del modelo.
- Vaya a la pestaña Activo.
- Pulse el icono de edición
.
- Seleccione el nuevo estado y pulse Actualizar para guardar.
El caso de uso del modelo se muestra en la nueva categoría de estado.
Supresión de un caso de uso de modelo
Para suprimir un caso de uso de modelo del inventario, pulse Eliminar del elemento de acción en el mosaico de caso de uso de modelo. El caso de uso de modelo se elimina del inventario y se suprime toda la asociación con el modelo en un proyecto o espacio.
Búsqueda o filtrado para buscar modelos
- Utilice la barra de búsqueda para buscar un caso de uso de modelo por nombre, etiqueta, clasificación o término de negocio.
- Utilice los filtros de la vista del inventario de modelos para refinar la lista. Puede filtrar por alerta (por ejemplo, un cambio en la desviación, equidad o calidad), términos empresariales, catálogo, clasificación, etiquetas y estado.
Visualización de alertas
Cuando evalúa un modelo, puede establecer umbrales para desencadenar una alerta cuando se cumple un umbral. Por ejemplo, puede establecer una alerta que se desencadena si la detección de sesgo para un grupo supervisado cambia en un 10%. Puede ver las alertas para un modelo desde el caso de uso del modelo.
Si alguno de los despliegues de modelo tiene alertas, las alertas se visualizan en el inventario de modelo como un identificador en el caso de uso de modelo. Elija Vista previa de alertas en el elemento de menú de acciones en un caso de uso de modelo en la página de inventario de modelo para ver los detalles de las alertas.
Visualización de la hoja de datos para un modelo
En la página de seguimiento de modelo para un caso de uso de modelo en un inventario, pulse la pestaña Activo para ver la hoja de datos asociada. También puede ver la hoja de datos al ver los detalles del modelo en un proyecto, espacio o catálogo. Para obtener detalles, consulte Visualización de una hoja de datos de modelo.
Después de registrar un modelo, los hechos sobre el modelo se capturan y se conservan automáticamente en cada punto del ciclo de vida del modelo, incluso cuando se actualiza o se cambia un modelo. Por ejemplo, los sucesos se capturan cuando un modelo:
- Creado
- se actualiza de cualquier manera, incluyendo una etiqueta o una descripción revisada
- se promociona a un espacio
- se publica en un catálogo
- Probado con un despliegue
- Ciclo de vida evaluado en OpenScale
No es necesaria ninguna intervención del usuario para actualizar la hoja de datos.
Además, se conservan datos sobre un modelo en un cuaderno después de la IBM Biblioteca del cliente de datos sobre la gobernanza de la IA ( AIGovFactsClient) se inicia en el cuaderno. Desde ese punto, los metadatos del ciclo de vida y las métricas se conservan automáticamente.
Visualización de la hoja de datos para un despliegue
En la página de detalles del modelo para un caso de uso de modelo en un inventario, pulse la pestaña Activo para ver la hoja de datos asociada. También puede ver la hoja de datos cuando visualiza los detalles de despliegue en un espacio. Para obtener detalles, consulte Visualización de una hoja de datos de modelo.
Detalles de seguimiento
Cuando el seguimiento está habilitado, el registro de hechos se desencadena mediante acciones en el modelo o activos relacionados. De forma similar, los cambios en el control de ciclo de vida de IA donde se muestra el modelo en un caso de uso de modelo, para mostrar la progresión del desarrollo a la operación. Por ejemplo, cuando se guarda un modelo en un proyecto, el modelo se muestra en el pilar Desarrollar. Cuando el modelo se promociona a un espacio, el caso de uso se actualiza para mostrar el modelo en el pilar Prueba, y así sucesivamente.
Ubicación del modelo | Desarrollar | Prueba | Validar | Operar |
---|---|---|---|---|
Proyecto | ✓ | |||
Espacio | ✓ | |||
Espacio etiquetado con AIGovernance: Preproducción | ✓ | |||
Espacio etiquetado con AIGovernance: Producción | ✓ | |||
Watson OpenScale Preproducción | ✓ | |||
Producción de Watson OpenScale | ✓ |
Estas notas describen cómo la interacción entre los componentes de ciclo de vida controla dónde se muestra un Watson Machine Learning en un caso de uso de modelo.
Cuando un modelo se promociona a un espacio, el modelo se muestra en el pilar Prueba. Si el despliegue para ese modelo se evalúa en Watson OpenScale y se etiqueta como preproducción, el modelo se muestra en Validar en lugar de Probar. Si el despliegue del modelo se etiqueta como producción en lugar de preproducción, se mueve al pilar Operar.
Si asigna la etiqueta de espacio
AIGovernance: Pre-production
oAIGovernance: Production
, el modelo se muestra en el pilar Validar u Operar, respectivamente.Nota: Este cambio se desencadena mediante una acción que da como resultado un cambio en los metadatos del modelo, como actualizar el nombre del modelo, la descripción o las etiquetas, si la etiqueta se añade al espacio después de que se realice el seguimiento del modelo.Si un modelo se promociona a un espacio donde el espacio tiene la etiqueta
AIGovernance: Pre-production
, el modelo se muestra en el pilar Validar. Si el despliegue para ese modelo se evalúa en Watson OpenScale y se etiqueta como preproducción, el modelo se muestra en el pilar Validar. Si el despliegue del modelo se etiqueta como producción en lugar de preproducción, se mueve al pilar Operar.Si un modelo se promociona a un espacio en el que el espacio tiene la etiqueta
AIGovernance: Production
, se muestra en el pilar Operar. Si el despliegue de este modelo se evalúa en Watson OpenScale y se etiqueta como producción, seguirá en el pilar Operar. Pero si se etiqueta como Preproducción, se muestra en el pilar Validar.Si un despliegue de modelo no se evalúa en Watson OpenScale, tendrá una etiqueta
Pending Evaluation
. Si se evalúa el despliegue del modelo, tendrá una etiquetaEvaluated
. Si el despliegue del modelo se aprueba después de la evaluación en Watson OpenScale, tendrá una etiquetaApproved
.
Más información
- Obtenga información sobre registro de modelos o visualización de casos de uso de modelos y hojas de datos.
- Para obtener más información sobre cómo trabajar con un inventario de modelos mediante programación, utilice la biblioteca de cliente deIBM AI Governance Facts.
- Tema principal: Gestión de un inventario de activos de modelo.