Planifique cómo utilizar watsonx.governance para acelerar los flujos de trabajo de IA responsables, transparentes y explicables con una solución de gobierno de IA que proporciona una supervisión integral para el aprendizaje automático y los modelos de IA generativos.
Las capacidades de gobernanza de IA difieren según su entorno de implementación:
- Watsonx.governance en IBM Cloud proporciona la mayoría de las capacidades de gobernanza de la IA. Puedes integrar el IBM OpenPages servicio para habilitar la consola de gobierno. Todas las soluciones están disponibles (se requiere licencia).
- Watsonx.governance en Amazon Web Services ( AWS ) proporciona a la consola de Gobernanza la solución Model Risk Governance.
Funcionalidades de gobierno
Para controlar los metadatos a partir de los modelos base organizados por IBM, debe haber suministrado watsonx.ai .
Tenga en cuenta estas prestaciones de watsonx.governance cuando planifique su estrategia de gobierno:
- Recopile metadatos en hojas de datos sobre modelos de aprendizaje automático y plantillas de solicitud para modelos de base de IA generativa.
- Supervise los despliegues de aprendizaje automático para garantizar la equidad, la desviación y la calidad para asegurarse de que los modelos cumplen los estándares especificados.
- Supervise los activos de IA generativos para detectar infracciones de umbrales de lenguaje tóxico o la detección de información de identificación personal.
- Evalúe las plantillas de solicitud con métricas diseñadas para medir el rendimiento y para probar la presencia de contenido prohibido, como la voz odiosa.
- Recopile datos de estado de modelo que incluyan el tamaño de los datos, la latencia y el rendimiento para ayudarle a evaluar los problemas de rendimiento y gestionar el consumo de recursos.
- Utilice el Atlas de riesgos de IA como guía de los retos de las soluciones de IA para que pueda planificar la mitigación de riesgos y cumplir sus objetivos normativos y de conformidad.
- Asigne una puntuación de riesgo única a los modelos rastreados para indicar el impacto relativo del modelo asociado. Por ejemplo, a un modelo que predice información confidencial como, por ejemplo, una puntuación de crédito, se le puede asignar una puntuación de riesgo alta.
- Utilice las herramientas de análisis de transacciones automatizadas para mejorar la transparencia y la explicabilidad de sus activos de IA. Por ejemplo, vea cómo una característica contribuye a una predicción y pruebe escenarios hipotéticos para explorar distintos resultados.
- Integre opcionalmente con IBM OpenPages Model Risk Governance para recopilar metadatos sobre modelos de cimientos y modelos de aprendizaje automático que le ayuden a alcanzar sus objetivos de gobernanza. También puede utilizar OpenPages para desarrollar flujos de trabajo que den soporte a los procesos de gobierno.
Planificación del gobierno
Considere estas estrategias de gobierno:
- Cree su equipo de gobierno
- Configurar las estructuras de gobierno
- Gestionar la colaboración con roles y control de accesos
- Desarrollar un plan de comunicación
- Implementar una solución simple
- Plan para soluciones más complejas
Crear un equipo de gobierno
Tenga en cuenta la experiencia que necesita en su equipo de gobierno. Un plan de gobierno típico puede incluir los roles siguientes. A veces, la misma persona puede ocupar varios roles. En otros casos, un rol puede representar un equipo de personas.
- Propietario del modelo: el propietario crea un caso de uso de IA para realizar un seguimiento de una solución a una necesidad empresarial. El propietario solicita el modelo o la plantilla de solicitud, gestiona el proceso de aprobación y realiza un seguimiento de la solución a través del ciclo de vida de IA.
- Desarrollador de modelos o experto en datos: el desarrollador trabaja con los datos en un conjunto de datos o un modelo de lenguaje grande (LLM) y crea el modelo de aprendizaje automático o la plantilla de solicitud LLM.
- Validador de modelo: el validador prueba la solución para determinar si cumple los objetivos que se indican en el caso de uso de IA.
- Gestor de riesgos y conformidad: el gestor de riesgos determina las políticas y los umbrales de conformidad para el caso de uso de IA. Por ejemplo, el gestor de riesgos puede determinar las reglas que se deben aplicar para probar una solución para la equidad o para examinar la salida para hablar con odio y de forma abusiva.
- Ingeniero de MLOps: el ingeniero de MLOps mueve una solución de un entorno de preproducción (prueba) a un entorno de producción cuando una solución se considera lista para desplegarse por completo.
- Desarrollador de aplicaciones: Después del despliegue, y el desarrollador de aplicaciones ejecuta evaluaciones en el despliegue para supervisar el rendimiento de la solución en relación con el umbral de métrica establecido por el propietario de riesgo y conformidad. Si el rendimiento cae por debajo de los umbrales especificados, el desarrollador de la aplicación trabaja con las demás partes interesadas para solucionar los problemas y actualizar el modelo o la plantilla de avisos.
Configurar una estructura de gobierno
Después de identificar roles y ensamblar un equipo, planifique la estructura de gobierno.
- Cree un inventario para almacenar casos de uso de IA. Un inventario es donde se almacenan y visualizan los casos de uso de IA y las hojas de datos que están asociadas con los activos gobernados. En función de sus requisitos de gobierno, almacene todos los casos de uso en un único inventario o cree varios inventarios para sus esfuerzos de gobierno.
- Cree proyectos para la colaboración. Si utilizas herramientas IBM, crea un proyecto watsonx.ai Studio. El proyecto puede contener los datos necesarios para entrenar o probar la solución de IA y el modelo o plantilla de solicitud que se gobierna. Utilice el control de acceso para restringir el acceso a los colaboradores aprobados.
- Cree un espacio de despliegue de preproducción. Utilice el espacio para probar el modelo o la plantilla de solicitud utilizando datos de prueba. Al igual que un proyecto, un espacio proporciona características de control de acceso para que pueda incluir los colaboradores necesarios.
- Configurar evaluaciones de prueba y validación. Proporcione los detalles de la plantilla de solicitud o modelo y configure un conjunto de evaluaciones para probar el rendimiento de la solución. Por ejemplo, puede probar un modelo de aprendizaje automático para dimensiones como la equidad, la calidad y la desviación, y probar una plantilla de solicitud con métricas como la perplejidad (la precisión de la salida) o la toxicidad (si la salida contiene un discurso odioso o abusivo). Al probar datos conocidos (etiquetados), puede evaluar el rendimiento antes de mover una solución a producción.
- Configure un espacio de producción. Cuando la plantilla de modelo o solicitud esté lista para desplegarse en un entorno de producción, mueva la solución y todas las dependencias a un espacio de producción. Un espacio de producción normalmente tiene una lista de control de accesos más ajustada.
- Configurar evaluaciones para el modelo desplegado. Proporcione los detalles del modelo y configure las evaluaciones para la solución. Ahora puede probar con datos activos en lugar de con datos de prueba. Es importante supervisar la solución para que se le avise si se cruzan los umbrales, lo que indica un problema potencial con la solución desplegada.
Gestionar la colaboración para el gobierno
Watsonx.governance se basa en una plataforma de colaboración para que todos los miembros del equipo aprobados puedan contribuir a los objetivos de resolución de problemas de negocio.
Para planificar la colaboración, considere cómo gestionar el acceso a los inventarios, proyectos y espacios que utiliza para el gobierno.
Utilice los roles junto con las características de control de acceso para asegurarse de que el equipo tiene el acceso adecuado para cumplir los objetivos.
Desarrollar un plan de comunicación
Parte del flujo de trabajo en torno a la definición de un caso de uso de IA y el traslado de activos a través del ciclo de vida se basan en una comunicación efectiva. Decida cómo se comunicará su equipo y establezca los detalles. Por ejemplo:
- ¿Utilizará el correo electrónico para la toma de decisiones o una herramienta de mensajería como Slack?
- ¿Hay un proceso formal para añadir comentarios a un activo a medida que se mueve a través de un flujo de trabajo?
Cree su plan de comunicación y compártalo con su equipo.
Implemente una solución de gobierno simple
A medida que implemente su estrategia de gobierno, empiece con una implementación sencilla y, a continuación, considere cómo crear de forma incremental una solución más completa. La implementación más sencilla requiere un caso de uso de IA en un inventario, con un activo que pasa de la solicitud a la producción.
Para la implementación más sencilla del gobierno de IA, cree un caso de uso de IA para el seguimiento de activos. Un caso de uso de IA en un inventario consiste en un conjunto de fichas que contienen el linaje, el historial y otra información relevante sobre el ciclo de vida de un modelo. Añada científicos de datos, ingenieros de datos y otros usuarios como colaboradores.
La figura siguiente muestra cómo los propietarios de casos de uso de IA pueden solicitar y realizar un seguimiento de los activos:
- Los usuarios empresariales crean casos de uso de IA en el inventario para solicitar modelos de aprendizaje automático o plantillas de solicitud LLM.
- Los científicos de datos asocian el activo entrenado con un caso de uso de IA para realizar un seguimiento de las actividades del ciclo de vida.
Las hojas de datos de IA acumulan información sobre el modelo o las plantillas de solicitud de las siguientes maneras:
- Todas las acciones asociadas con el activo rastreado se guardan automáticamente, incluidos los despliegues y las evaluaciones.
- Todos los cambios en los activos de datos de entrada se guardan automáticamente.
- Los científicos de datos pueden añadir etiquetas, documentación de soporte y otra información.
- Los científicos de datos pueden asociar modelos de retador con los casos de uso de IA para comparar el rendimiento del modelo.
Los validadores y otras partes interesadas revisan las hojas de datos de IA para garantizar la conformidad y certificar el progreso de los activos desde el desarrollo hasta la producción. También pueden generar informes a partir de las hojas de datos para imprimir, compartir o archivar detalles.
Planifique soluciones más complejas
Puede ampliar su implementación de gobierno de IA en cualquier momento. Considere estas opciones para ampliar el gobierno:
- Los ingenieros de MLOps pueden ampliar el seguimiento de modelos para incluir modelos externos que se crean con modelos de aprendizaje automático de terceros.
- Los ingenieros de MLOps pueden añadir propiedades personalizadas a las hojas de datos para realizar un seguimiento de más información.
- Los analistas de conformidad pueden personalizar las plantillas de informe predeterminadas para generar informes personalizados para la organización.
- Integrar AI Factsheets con la consola de Gobernanza para respaldar una visión empresarial de la actividad de gobernanza y desarrollar flujos de trabajo para respaldar los procesos de gobernanza.
Control de activos que se crean local o externamente
Watsonx.governance le proporciona las herramientas para gobernar los activos creados con herramientas de IBM, como modelos de aprendizaje automático creados con AutoAI o plantillas de solicitud de foundation model creadas en un proyecto watsonx. También puede gobernar modelos de aprendizaje automático creados mediante herramientas ajenas a IBM, como Microsoft Azure o Amazon Web Services. A medida que desarrolle su plan de gobierno, tenga en cuenta estas diferencias:
- Los activos IBM desarrollados con herramientas como watsonx.ai Studio están disponibles para su gobernanza en una fase más temprana del ciclo de vida. Puede realizar un seguimiento de la hoja de datos para un activo local desde la fase de desarrollo y tener visibilidad en detalles como, por ejemplo, los datos de entrenamiento y los detalles de creación de una etapa anterior.
- Un propietario o administrador de inventario debe habilitar el gobierno para modelos externos.
- Cuando el gobierno está habilitado para modelos externos, se pueden añadir a un caso de uso de IA de forma explícita. Si realiza un seguimiento de un modelo externo en la fase de desarrollo, las actividades de ciclo de vida para las fases de validación y operación se rastrean automáticamente.
Para obtener una lista de los proveedores de modelos de aprendizaje automático soportados, consulte Proveedores de aprendizaje automático soportados.
Próximos pasos
Para iniciar el gobierno, siga los pasos indicados en Configuración de watsonx.governance para empezar a evaluar y realizar el seguimiento de los modelos.
Tema principal: Visión general deWatsonx.governance