Para impulsar flujos de trabajo de IA responsables, transparentes y explicables, su empresa necesita un sistema integrado para rastrear, supervisar y volver a entrenar modelos de IA. Watsonx.governance proporciona los procesos y tecnologías que permiten a la empresa supervisar, mantener, automatizar y gobernar modelos de IA generativa y de aprendizaje automático en producción.
Desafíos
Watsonx.governance le ayuda a resolver los siguientes retos para su empresa:
- Garantizar el gobierno y la conformidad para el modelo de aprendizaje automático y los activos de IA generativa
- Las organizaciones necesitan evaluar, realizar un seguimiento y documentar el historial detallado de los modelos de aprendizaje automático y los activos de IA generativa para garantizar la conformidad y proporcionar visibilidad a todas las partes interesadas.
- Gestión de riesgos y garantía de una IA responsable
- Las organizaciones necesitan supervisar modelos en producción para asegurarse de que los modelos son válidos y precisos, y que no están introduciendo sesgos o desviándose de los objetivos previstos.
- Supervisión y repetición del entrenamiento de modelos de aprendizaje automático
- Las organizaciones necesitan automatizar la supervisión y el reciclaje de modelos de aprendizaje automático basados en los comentarios de producción.
Ejemplo: Los retos de Golden Bank
Siga la historia de Golden Bank, que utiliza watsonx.governance para gobernar sus activos de IA y poner en marcha un proceso para analizar las promociones de marketing e impulsar las ventas de sus productos de inversión. El equipo necesita:
- Realice un seguimiento de sus modelos de machine learning y activos de IA generativos durante todo el ciclo de vida; para capturar y compartir datos sobre los activos; para ayudar a cumplir los objetivos de gobierno y conformidad.
- Supervise sus modelos desplegados para obtener equidad, precisión, explicabilidad y desviación.
- Evalúe sus plantillas de solicitud de resumen y respuesta a preguntas para medir la eficacia con la que los modelos de base generan respuestas.
- Cree un conducto para simplificar el proceso de repetición de formación.
Proceso
Para implementar watsonx.governance para su empresa, su organización puede seguir este proceso:
- Seguimiento de modelos de aprendizaje automático y plantillas de solicitud
- Evaluar modelos de aprendizaje automático y plantillas de solicitud
- Supervisar modelos de aprendizaje automático desplegados y plantillas de solicitud
Watsonx.ai y watsonx.governance proporcionan las herramientas y los procesos que su organización necesita para controlar los activos de IA.
1. Seguimiento de modelos de aprendizaje automático y plantillas de solicitud
Su equipo puede realizar un seguimiento de sus modelos de aprendizaje automático y plantillas de solicitud desde la solicitud a la producción y evaluar si cumplen con las normativas y requisitos de su organización.
Qué puede utilizar | Qué puede hacer | Cuándo utilizarlos mejor |
---|---|---|
Hojas de datos | Cree un caso de uso de IA para realizar un seguimiento y controlar los activos de IA desde la solicitud hasta la producción. Ver el estado del ciclo de vida de todos los activos registrados y detallar más en hojas de datos detalladas para modelos, despliegues o plantillas de solicitud que están registradas en el caso de uso del modelo. Revise los detalles que se capturan para cada activo rastreado en una hoja de datos asociada con un caso de uso de IA. Ver detalles de evaluación, métricas de calidad, detalles de equidad, y detalles de desviación. |
Debe solicitar un nuevo modelo o plantilla de solicitud al equipo de ciencia de datos. Desea asegurarse de que el modelo o la plantilla de solicitud sea conforme y funcione según lo esperado. Desea determinar si necesita actualizar un modelo o una plantilla de solicitud basándose en los datos de seguimiento. Desea ejecutar informes sobre activos rastreados para compartir o conservar los detalles. |
Ejemplo: Seguimiento del modelo de Golden Bank
Los analistas de negocio de Golden Bank solicitaron un modelo predictivo. A continuación, pueden realizar un seguimiento del modelo a través de todas las etapas del ciclo de vida de IA a medida que los científicos de datos o los ingenieros de ML crean y entrenan el modelo y los ingenieros de ModelOps lo despliegan y evalúan. Las hojas de datos documentan detalles sobre el historial del modelo y generan métricas que muestran su rendimiento.
2. Evaluar modelos de aprendizaje automático y plantillas de solicitud
Puede evaluar modelos de aprendizaje automático y plantillas de solicitud en proyectos o espacios de despliegue para medir su rendimiento. Para los modelos de aprendizaje automático, evalúe la calidad, la equidad y la precisión del modelo. Para los modelos de cimentación, evalúe las tareas foundation model y comprenda cómo genera respuestas su modelo.
Qué puede utilizar | Qué puede hacer | Cuándo utilizarlos mejor |
---|---|---|
Proyectos | Utilice un proyecto como espacio de trabajo colaborativo para crear modelos de aprendizaje automático, solicitar modelos de base, guardar modelos de aprendizaje automático y plantillas de solicitud, y evaluar modelos de aprendizaje automático y plantillas de solicitud. De forma predeterminada, el proyecto de recinto de pruebas se crea automáticamente cuando se registra en watsonx. | Desea colaborar en modelos de aprendizaje automático y plantillas de solicitud. |
Interfaz de usuario de espacios | Utilice la interfaz de usuario Espacios para desplegar y evaluar modelos de aprendizaje de máquina, plantillas de solicitud y otros activos de proyectos a espacios. | Desea desplegar y evaluar modelos de aprendizaje automático y solicitar plantillas y ver información de despliegue en un espacio de trabajo colaborativo. |
Ejemplo: Evaluación rápida de Golden Bank
Los equipos de científicos de datos e ingenieros de preguntas de Golden Bank trabajan juntos para evaluar la generación y las plantillas de preguntas y respuestas utilizando datos de prueba. Quieren medir el rendimiento del foundation model y comprender cómo genera respuestas. El seguimiento de las evaluaciones se realiza en AI Factsheets, de modo que todo el equipo puede supervisar todo el ciclo de vida, desde la fase de desarrollo hasta la de producción.
3. Supervisar modelos de aprendizaje automático desplegados y plantillas de solicitud
Después de desplegar modelos, es importante gobernarlos y supervisarlos para asegurarse de que son explicables y transparentes. Los científicos de datos deben ser capaces de explicar cómo llegan los modelos a determinadas predicciones para que puedan determinar si las predicciones tienen algún sesgo implícito o explícito. Puede configurar evaluaciones de desviación para medir los cambios en los datos a lo largo del tiempo para garantizar resultados coherentes para el modelo. Utilice las evaluaciones de desviación para identificar los cambios en la salida del modelo, la precisión de las predicciones y la distribución de los datos de entrada.
Qué puede utilizar | Qué puede hacer | Cuándo utilizarlos mejor |
---|---|---|
Watson OpenScale | Problemas de equidad de modelo de supervisión en varias características. Supervisar el rendimiento del modelo y la coherencia de datos a lo largo del tiempo. Explicar cómo ha llegado el modelo a determinadas predicciones con factores ponderados. Mantener e informar sobre el gobierno del modelo y el ciclo de vida en toda la organización. |
Tiene características que están protegidas o que pueden contribuir a la equidad de la predicción. Desea rastrear el rendimiento del modelo y las coherencias de datos a lo largo del tiempo. Desea saber por qué el modelo proporciona determinadas predicciones. |
Ejemplo: supervisión del modelo de Golden Bank
Los científicos de datos de Golden Bank utilizan Watson OpenScale para supervisar el modelo predictivo desplegado y garantizar que sea preciso, justo y explicable. Ejecutan un cuaderno para configurar supervisores para el modelo y, a continuación, modificar la configuración utilizando la interfaz de usuario de Watson OpenScale . Utilizando las métricas del supervisor de calidad y del supervisor de equidad de Watson OpenScale , los científicos de datos determinan qué tan bien predice el modelo los resultados y si produce algún resultado sesgado. También obtienen información sobre cómo llega el modelo a las decisiones, de modo que éstas puedan explicarse a los analistas de datos.
Guías de aprendizaje para watsonx.governance
Guía de aprendizaje | Descripción | Experiencia para guía de aprendizaje |
---|---|---|
Evaluar y realizar el seguimiento de una plantilla de solicitud | Evaluar una plantilla de avisos para medir el rendimiento del foundation model y realizar un seguimiento de la plantilla de avisos a lo largo de su ciclo de vida. | Utilice la herramienta de evaluación y un caso de uso de IA para realizar un seguimiento de la plantilla de solicitud. |
Evaluar un modelo de aprendizaje automático | Despliegue un modelo, configure supervisores para el modelo desplegado y evalúe el modelo. | Ejecute un cuaderno para configurar los modelos y utilice Watson OpenScale para evaluar. |
Evaluar un despliegue en espacios | Despliegue un modelo, configure monitores para el modelo desplegado y evalúe el modelo en un espacio de despliegue. | Configurar los monitores y evaluar un modelo en un espacio de despliegue. |
Pasos siguientes
- Cree modelos de IA generativa y machine learning con watsonx.ai
- Escale cargas de trabajo de IA, para todos sus datos, en cualquier lugar con watsonx.data Presto
Más información
- Visión general deIBM watsonx
- visión general del estudiowatsonx.ai
- watsonx.ai Visión general del tiempo de ejecución
- Visión general deWatson OpenScale
- Vídeos
- Pruebe diferentes casos de uso en un sitio de autoservicio. Seleccione un caso de uso para experimentar una aplicación en directo creada con watsonx. Los desarrolladores, acceden a la selección de solicitudes y a la guía de construcción, junto con el código de aplicación de ejemplo, para acelerar el proyecto.
Tema principal: Casos de uso