Caso de uso de IBM watsonx.governance
Para impulsar flujos de trabajo de IA responsables, transparentes y explicables, su empresa necesita un sistema integrado para rastrear, supervisar y volver a entrenar modelos de IA. Watsonx.governance proporciona los procesos y tecnologías que permiten a la empresa supervisar, mantener, automatizar y gobernar modelos de IA generativa y de aprendizaje automático en producción.
Dificultades
Watsonx.governance le ayuda a resolver los siguientes retos para su empresa:
- Garantizar el gobierno y la conformidad para el modelo de aprendizaje automático y los activos de IA generativa
- Las organizaciones necesitan evaluar, realizar un seguimiento y documentar el historial detallado de los modelos de aprendizaje automático y los activos de IA generativa para garantizar la conformidad y proporcionar visibilidad a todas las partes interesadas.
- Gestión de riesgos y garantía de una IA responsable
- Las organizaciones necesitan supervisar modelos en producción para asegurarse de que los modelos son válidos y precisos, y que no están introduciendo sesgos o desviándose de los objetivos previstos.
- Supervisión y repetición del entrenamiento de modelos de aprendizaje automático
- Las organizaciones necesitan automatizar la supervisión y el reciclaje de modelos de aprendizaje automático basados en los comentarios de producción.
Ejemplo: Los retos de Golden Bank
Siga la historia de Golden Bank ya que utiliza watsonx.governance para gobernar sus activos de IA a medida que implementan un proceso para analizar las anomalías de las acciones para impulsar la productividad y aumentar la precisión de un analista de acciones en la banca de inversión. El equipo necesita:
- Realice un seguimiento de sus modelos de machine learning y activos de IA generativos durante todo el ciclo de vida; para capturar y compartir datos sobre los activos; para ayudar a cumplir los objetivos de gobierno y conformidad.
- Supervise sus modelos desplegados para obtener equidad, precisión, explicabilidad y desviación.
- Evalúe sus plantillas de solicitud de resumen y respuesta a preguntas para medir la eficacia con la que los modelos de base generan respuestas.
- Cree un conducto para simplificar el proceso de repetición de formación.
Proceso
Para implementar watsonx.governance para su empresa, su organización puede seguir este proceso:
- Seguimiento de modelos de aprendizaje automático y plantillas de solicitud
- Evaluar modelos de aprendizaje automático y plantillas de solicitud
- Supervisar modelos de aprendizaje automático desplegados y plantillas de solicitud
Watsonx.ai y watsonx.governance proporcionan las herramientas y los procesos que su organización necesita para controlar los activos de IA.
1. Seguimiento de modelos de aprendizaje automático y plantillas de solicitud
Su equipo puede realizar un seguimiento de sus modelos de aprendizaje automático y plantillas de solicitud desde la solicitud a la producción y evaluar si cumplen con las normativas y requisitos de su organización.
| Qué puede utilizar | Qué puede hacer | Cuándo utilizarlos mejor |
|---|---|---|
| Hojas de datos | Cree un caso de uso de IA para realizar un seguimiento y controlar los activos de IA desde la solicitud hasta la producción. Ver el estado del ciclo de vida de todos los activos registrados y detallar más en hojas de datos detalladas para modelos, despliegues o plantillas de solicitud que están registradas en el caso de uso del modelo. Revise los detalles que se capturan para cada activo rastreado en una hoja de datos asociada con un caso de uso de IA. Ver detalles de evaluación, métricas de calidad, detalles de equidad, y detalles de desviación. |
Debe solicitar un nuevo modelo o plantilla de solicitud al equipo de ciencia de datos. Desea asegurarse de que el modelo o la plantilla de solicitud sea conforme y funcione según lo esperado. Desea determinar si necesita actualizar un modelo o una plantilla de solicitud basándose en los datos de seguimiento. Desea ejecutar informes sobre activos rastreados para compartir o conservar los detalles. |
Ejemplo: Seguimiento del modelo de Golden Bank
Los analistas de negocio de Golden Bank solicitaron un modelo de predicción de anomalías de acciones. A continuación, pueden realizar un seguimiento del modelo a través de todas las etapas del ciclo de vida de IA a medida que los científicos de datos o los ingenieros de ML crean y entrenan el modelo y los ingenieros de ModelOps lo despliegan y evalúan. Las hojas de datos documentan detalles sobre el historial del modelo y generan métricas que muestran su rendimiento.
2. Evaluar modelos de aprendizaje automático y plantillas de solicitud
Puede evaluar modelos de aprendizaje automático y plantillas de solicitud en proyectos o espacios de despliegue para medir su rendimiento. Para los modelos de aprendizaje automático, evalúe la calidad, la equidad y la precisión del modelo. Para los modelos de base, evalúe las tareas de modelo de base y comprenda cómo el modelo genera respuestas.
| Qué puede utilizar | Qué puede hacer | Cuándo utilizarlos mejor |
|---|---|---|
| Proyectos | Utilice un proyecto como espacio de trabajo colaborativo para crear modelos de aprendizaje automático, solicitar modelos de base, guardar modelos de aprendizaje automático y plantillas de solicitud, y evaluar modelos de aprendizaje automático y plantillas de solicitud. De forma predeterminada, el proyecto de recinto de pruebas se crea automáticamente cuando se registra en watsonx. | Desea colaborar en modelos de aprendizaje automático y plantillas de solicitud. |
| Interfaz de usuario de espacios | Utilice la interfaz de usuario Espacios para desplegar y evaluar modelos de aprendizaje de máquina, plantillas de solicitud y otros activos de proyectos a espacios. | Desea desplegar y evaluar modelos de aprendizaje automático y solicitar plantillas y ver información de despliegue en un espacio de trabajo colaborativo. |
Ejemplo: Evaluación rápida de Golden Bank
Los científicos de datos de Golden Bank y los equipos de ingeniería de solicitud trabajan conjuntamente para evaluar el resumen y las plantillas de solicitud de respuesta a preguntas utilizando datos de prueba. Desean medir el rendimiento del modelo de base y comprender cómo el modelo genera respuestas. Las evaluaciones se rastrean en AI Factsheets, por lo que todo el equipo puede supervisar durante todo el ciclo de vida desde la fase de desarrollo hasta la fase de producción.
3. Supervisar modelos de aprendizaje automático desplegados y plantillas de solicitud
Después de desplegar modelos, es importante gobernarlos y supervisarlos para asegurarse de que son explicables y transparentes. Los científicos de datos deben ser capaces de explicar cómo llegan los modelos a determinadas predicciones para que puedan determinar si las predicciones tienen algún sesgo implícito o explícito. Puede configurar evaluaciones de desviación para medir los cambios en los datos a lo largo del tiempo para garantizar resultados coherentes para el modelo. Utilice las evaluaciones de desviación para identificar los cambios en la salida del modelo, la precisión de las predicciones y la distribución de los datos de entrada.
| Qué puede utilizar | Qué puede hacer | Cuándo utilizarlos mejor |
|---|---|---|
| Watson OpenScale | Problemas de equidad de modelo de supervisión en varias características. Supervisar el rendimiento del modelo y la coherencia de datos a lo largo del tiempo. Explicar cómo ha llegado el modelo a determinadas predicciones con factores ponderados. Mantener e informar sobre el gobierno del modelo y el ciclo de vida en toda la organización. |
Tiene características que están protegidas o que pueden contribuir a la equidad de la predicción. Desea rastrear el rendimiento del modelo y las coherencias de datos a lo largo del tiempo. Desea saber por qué el modelo proporciona determinadas predicciones. |
Ejemplo: supervisión del modelo de Golden Bank
Los científicos de datos de Golden Bank utilizan Watson OpenScale para supervisar el modelo de predicción de anomalías de stock desplegado para asegurarse de que es preciso, justo y explicable. Ejecutan un cuaderno para configurar supervisores para el modelo y, a continuación, modificar la configuración utilizando la interfaz de usuario de Watson OpenScale . Utilizando las métricas del supervisor de calidad y del supervisor de equidad de Watson OpenScale , los científicos de datos determinan qué tan bien predice el modelo los resultados y si produce algún resultado sesgado. También obtienen información sobre cómo el modelo llega a las decisiones para que las decisiones se puedan explicar a los analistas de acciones.
Guías de aprendizaje para watsonx.governance
| Guía de aprendizaje | Descripción | Experiencia para guía de aprendizaje |
|---|---|---|
| Evaluar y realizar el seguimiento de una plantilla de solicitud | Evalúe una plantilla de solicitud para medir el rendimiento del modelo de base y realice un seguimiento de la plantilla de solicitud a través de su ciclo de vida. | Utilice la herramienta de evaluación y un caso de uso de IA para realizar un seguimiento de la plantilla de solicitud. |
| Evaluar un modelo de aprendizaje automático | Despliegue un modelo, configure supervisores para el modelo desplegado y evalúe el modelo. | Ejecute un cuaderno para configurar los modelos y utilice Watson OpenScale para evaluar. |
Pasos siguientes
- Cree modelos de IA generativa y machine learning con watsonx.ai
- Escale las cargas de trabajo de IA, para todos sus datos, en cualquier lugar con watsonx.data
Más información
- Visión general deIBM watsonx
- Visión general de Watson Studio
- Visión general de Watson Machine Learning
- Visión general deWatson OpenScale
- Vídeos
- Pruebe diferentes casos de uso en un sitio de autoservicio. Seleccione un caso de uso para experimentar una aplicación en directo creada con watsonx. Los desarrolladores, acceden a la selección de solicitudes y a la guía de construcción, junto con el código de aplicación de ejemplo, para acelerar el proyecto.
Tema principal: Casos de uso