Con AI Factsheets puede añadir un caso de uso de modelo para un modelo que ha entrenado fuera de Watson Studio al inventario del modelo para que pueda realizar un seguimiento de los detalles del ciclo de vida del modelo.
Utilice el soporte de gobierno proporcionado por AI Factsheets para controlar la gestión del ciclo de vida de los modelos externos de estas maneras:
- Añada despliegues a los modelos externos existentes.
- Mueva el modelo del entorno a otro entorno en la vista de seguimiento del ciclo de vida del caso de uso del modelo.
- Mueva el despliegue de un entorno a otro utilizando la API de cliente Python y la API REST.
- Proporcione metadatos de modelo adicionales e información de datos de entrenamiento cuando se guarde un modelo externo en el catálogo a través de la API de Python y la API REST.
Preparación para realizar el seguimiento de modelos externos
Los modelos externos pueden ser de cualquier tipo que esté soportado para la evaluación por el servicio Watson OpenScale . Para obtener más información, consulte Motores, infraestructuras y modelos de aprendizaje de máquina soportados. Además, los modelos desarrollados en cuadernos se consideran modelos externos, por lo que puede utilizar AI Factsheets para controlar los modelos que desarrolle, despliegue y supervise en plataformas que no sean Cloud Pak for Data.
Estos puntos son una visión general del proceso de conservación de hechos para un modelo externo.
- Un usuario con acceso de administrador a la IBM Knowledge Catalog primero debe configurar un Platform assets catalog para registrar modelos externos y luego habilite el seguimiento de modelos externos en el inventario de modelos.
- El administrador del catálogo de acceso de plataforma puede otorgar a los usuarios permiso de propietario para activos de modelo externos añadidos desde Watson OpenScale.
- Puede utilizar la API en un cuaderno de modelo para guardar un activo de modelo externo en un catálogo.
- Asocie el activo de modelo externo con un caso de uso de modelo en el inventario de modelo para empezar a conservar los hechos. Junto con los metadatos de modelo, los nuevos campos
External model identifieryExternal deployment identifierdescriben cómo se identifican los modelos y despliegues en sistemas externos, por ejemplo: AWS o Azure. - Puede evaluar despliegues de modelo de proveedor de terceros en OpenScale para definir un activo de modelo externo. El catálogo de destino se establece siguiendo estas reglas:
- El modelo externo se crea en el Platform assets catalog si su modelo de tiempo de desarrollo correspondiente ya existe en el Platform assets catalog o si no se ha creado ningún modelo de tiempo de desarrollo en ningún catálogo.
- Si el modelo de tiempo de desarrollo correspondiente se crea en un catálogo (que no sea el Platform assets catalog) utilizando el cliente Python , el modelo se creará en dicho catálogo.
Para obtener más detalles, consulte:
Asociación de un activo de modelo externo con un caso de uso de modelo
El seguimiento automático de modelos externos añade los modelos externos que se evalúan en Watson OpenScale al catálogo donde existe el modelo de tiempo de desarrollo. Después de que el modelo esté en el catálogo, puede registrarlo en el inventario de modelos. Puede asociar un activo de modelo externo con un caso de uso de modelo en un inventario de modelo de las formas siguientes:
- Utilice la API para guardar el activo de modelo externo en cualquier catálogo mediante programación desde un cuaderno. A continuación, el activo de modelo externo se puede asociar con un caso de uso de modelo.
- Asocie el modelo externo que se crea con la evaluación de Watson OpenScale con un caso de uso de modelo.
Creación de un activo de modelo externo con la API
- Cree un modelo en un cuaderno.
- Guarde el modelo. Por ejemplo, puede guardarlo en un grupo S3.
- Utilice la API para crear un activo de modelo externo (una representación del modelo externo) en un catálogo. Para obtener más información sobre los mandatos de API que interactúan con el inventario de modelos, consulte la documentación de IBM_AIGOV_FACTS_CLIENT.
Registro de un activo de modelo externo con el inventario de modelos
- Abra la pestaña Activos en el catálogo donde desea realizar el seguimiento del modelo.
- Seleccione el activo de modelo externo que desea rastrear.
- Vuelva a la pestaña Activos del catálogo y pulse Realizar un seguimiento de este modelo.
- Seleccione un caso de uso de modelo existente o cree uno nuevo.
- Complete el caso de uso con los detalles del caso de uso del modelo y guarde los detalles en el inventario.
Registro de un modelo externo desde Watson OpenScale
Si está validando un modelo externo en Watson OpenScale, puede asociar un modelo externo con un caso de uso para realizar un seguimiento de los hechos del ciclo de vida.
- Añada un modelo externo al panel de control de OpenScale .
- Si ya ha definido un caso de uso de modelo con la API, el sistema reconoce la asociación de caso de uso.
- A medida que crea y supervisa un despliegue, los hechos se registran con el caso de uso asociado. Estos hechos se muestran en la etapa Validar u Operar, en función de cómo haya clasificado el proveedor de aprendizaje automático para el modelo.
Llenado del caso de uso del modelo
Cuando los hechos se guardan para un activo de modelo externo, se asocian con el pilar que representa su fase en el ciclo de vida, como se indica a continuación:
- Si el activo de modelo externo se crea a partir de un cuaderno sin despliegue, se visualiza en el pilar Desarrollo.
- Si el activo de modelo externo se crea a partir de un cuaderno con despliegue, se muestra en el pilar Prueba.
- Cuando el despliegue de modelo externo se evalúa en OpenScale, se visualiza en la etapa Validar u Operar, en función de cómo haya clasificado el proveedor de aprendizaje de máquina para el modelo.
Ejemplo: seguimiento de un modelo Amazon SageMaker
Este modelo de muestra, creado en Amazon SageMaker, se registra para el seguimiento y se mueve a través de las fases Probar, Validar y Operar.
Visualización de hechos para un modelo externo
La visualización de hechos para un modelo externo es ligeramente diferente de la visualización de hechos para un modelo de Watson Machine Learning. Se aplican estas reglas:
- Pulse la pestaña Activos del catálogo que contiene los activos de modelo externo para ver los hechos.
- A diferencia de los casos de uso del modelo Watson Machine Learning , que tienen diferentes hojas de datos para modelos y despliegues, las hojas de datos para modelos externos combinan información para el modelo y los despliegues en la misma página.
- Se pueden crear varios activos con el mismo nombre en un catálogo. Para diferenciarlos, se asignan automáticamente las etiquetas desarrollo, preproducción y producción para reflejar su estado.
Más información
Tema principal: Gestión de un inventario de activos de modelo.