Definir un caso de uso de la IA

Un caso de uso de IA consiste en un conjunto de fichas que contienen el linaje, la historia y otra información relevante sobre el ciclo de vida de un activo de IA, como un modelo o una plantilla de instrucciones.

Es posible que su organización le exija que realice un seguimiento y documente su solución de IA por motivos de transparencia o cumplimiento de la normativa. Sin embargo, los casos de uso de IA son útiles incluso cuando no son necesarios, ya que proporcionan una forma integrada de realizar un seguimiento del progreso, las decisiones y las métricas sobre su solución.

Para crear un caso de uso de IA, primero cree un inventario y, a continuación, cree el caso de uso. Añada científicos de datos, ingenieros de datos y otros usuarios que participen en la creación, las pruebas o el gobierno de su solución como colaboradores de casos de uso.

Desarrollo de flujos de trabajo de gobernanza

Un flujo de trabajo de gobernanza impone un proceso de revisión y aprobación para los casos de uso de IA y el uso de modelos.

Su organización puede necesitar uno o más de los siguientes tipos de flujos de trabajo de gobernanza:

• Flujos de trabajo de gobernanza del riesgo de modelo para aprobar casos de uso de IA, aprobar eventos del ciclo de vida foundation model, ejecutar evaluaciones de riesgo o automatizar la supervisión del rendimiento de los modelos.
• Flujos de trabajo de gestión del cumplimiento normativo para procesar las alertas publicadas por los organismos reguladores.
• Flujos de trabajo de gestión del riesgo operativo para realizar un seguimiento del riesgo de modelo junto con otros riesgos operativos en toda la empresa.

Para establecer un flujo de trabajo de gobernanza, debe configurarlo en la consola de Gobernanza.

Crear un proyecto

Un proyecto es un espacio de trabajo colaborativo en el que las personas trabajan con modelos y datos para cumplir un objetivo compartido.

Necesitas un proyecto para crear indicaciones, realizar experimentos y ajustar modelos.

Un proyecto para una solución de IA genérica suele contener los siguientes tipos de elementos que, o bien añaden explícitamente los ingenieros de IA, o bien se crean como resultado de un proceso:

• Activos de conexión a fuentes de datos, como un almacén de vectores o donde almacene datos de entrenamiento o ajuste.
• Activos de datos que representan conjuntos de datos para el entrenamiento o la puesta a punto de modelos.
• Activos de sesión que se guardan para futuras consultas.
• Activos de plantilla que proporcionan puntos finales para la inferencia.
• Cuadernos creados por el usuario o generados por procesos como guardar un aviso como cuaderno o ejecutar un experimento AutoAI.
• Índices vectoriales que representan documentos vectorizados para un patrón RAG.
• Activos de experimentación y flujo creados a partir de herramientas en ejecución, como AutoAI, Tuning Studio o Synthetic Data Generator.
• Activos de servicios de IA que proporcionan puntos finales para patrones de IA genérica, como RAG.
• Trabajos que se crean ejecutando activos en herramientas.

Tienes un proyecto sandbox creado automáticamente. Sin embargo, es posible que desee crear un proyecto con un nombre que refleje su objetivo. Puede crear un proyecto desde la página de inicio o desde el menú de navegación. Añade a todas las personas que quieras que trabajen en la solución. Asigna un rol a cada colaborador para controlar sus permisos en el proyecto.

Preparación de los datos

La preparación de datos implica proporcionar acceso a los datos necesarios en el formato y con el nivel de calidad que su solución necesita.

Necesita preparar datos si planea fundamentar el modelo con sus documentos en un patrón RAG, para evaluar una plantilla de avisos o para afinar un foundation model. Puede que no necesites preparar datos si tu caso de uso es traducir, resumir, clasificar o generar texto, a menos que quieras realizar evaluaciones.

Para un patrón RAG, se transforman los documentos en vectores incrustados para una recuperación eficaz. Los documentos vectorizados se almacenan en un almacén vectorial y se recuperan mediante un índice vectorial. Puede incluir documentos en un patrón RAG de las siguientes maneras:

• Cargue archivos de documentos desde su sistema local y añádalos a un almacén de vectores
• Especificar documentos que se encuentran en un almacén vectorial existente
• Añadir documentos de una fuente de datos conectada a un almacén vectorial

Puede elegir entre distintos métodos para crear un patrón RAG, en función del tamaño total de sus documentos, el nivel de automatización para experimentar y otros factores.

Para evaluar un modelo de consulta o ajustar un foundation model, se proporciona un conjunto de datos que contiene la entrada representativa para el modelo y la salida apropiada para que el modelo genere en respuesta. Puede proporcionar datos de ajuste de las siguientes maneras:

• Cargar un archivo desde su sistema local
• Conectar con la fuente de datos que contiene el conjunto de datos

Experimentar con prompts

Un prompt es la forma de ordenar a un foundation model que genere una respuesta.

Puede experimentar con los avisos alterando las condiciones de las siguientes maneras:

• Cambiar entre los modos chat y no chat
• Alterar el texto de aviso o el aviso del sistema
• Cambiar el foundation model
• Ajuste de los parámetros del modelo
• Activación y desactivación de los guardarraíles
• Añadir imágenes o documentos a un chat
• Añadir variables para cambiar dinámicamente el texto del aviso
• Configuración de los agentes para llamar a las herramientas

Para desarrollar sus prompts, puede experimentar en el Prompt Lab o con código REST API, Python o Node.js. Para automatizar la búsqueda de un patrón RAG óptimo, ejecute un experimento de AutoAI para RAG.

Evaluar sus indicaciones

La evaluación de una solicitud pone a prueba la calidad de la salida del modelo para el conjunto de métricas que usted elija. Algunas métricas se basan en la comparación de los resultados del modelo con los resultados apropiados que usted proporciona en el conjunto de datos de prueba. También se evalúa la eficacia con la que su modelo genera respuestas.

Es posible que su organización necesite evaluaciones para cumplir la normativa o por políticas internas. Sin embargo, las evaluaciones son útiles incluso cuando no son necesarias, ya que las puntuaciones de las métricas pueden indicar la calidad de su solución y podrían predecir un descenso de la satisfacción del usuario cuando las puntuaciones descienden.

Al evaluar un aviso, puede configurar los siguientes factores:

• Tamaño de la muestra
• Qué métricas incluir
• El valor umbral de cada métrica

Las métricas generativas de la IA proporcionan los siguientes tipos de información sobre la solicitud:

• Similitud entre el texto de salida y el de entrada
• Similitud del texto de salida con los textos de referencia
• Si el texto de entrada o de salida contiene información nociva o sensible

Puede ver los resultados actuales y los resultados a lo largo del tiempo. Los resultados de cada evaluación se añaden al caso de uso del indicador.

Para evaluar un aviso, ejecute una evaluación en el Prompt Lab, con código o desde una plantilla de aviso desplegada. Si ejecuta un experimento AutoAI para un patrón RAG, las indicaciones candidatas se evalúan y clasifican automáticamente.

Para evaluar y comparar varias plantillas de avisos simultáneamente, ejecute un experimento de evaluación en Evaluation Studio.

Optimización de un foundation model

La optimización de un foundation model mejora uno o varios indicadores de rendimiento del modelo.

Puede optimizar el foundation model de su solución en función de la precisión, el coste, el rendimiento de la inferencia o el control del ciclo de vida del modelo.

Los métodos para implantar un foundation model varían en función de las siguientes características:

• El método de facturación es por token inferido o por hora alojada
• El entorno de alojamiento está en hardware multiusuario o dedicado
• El mecanismo de despliegue corre a cargo de IBM o de usted
• El modelo está sintonizado o no
• La política de amortización está controlada por IBM o por usted

Para ejecutar un modelo en hardware multiusuario, pagar por token y que IBM controle el ciclo de vida del modelo, seleccione un modelo que IBM proporcione y despliegue.

Para ajustar un foundation model, seleccione un método de ajuste, añada datos de ajuste y ejecute el trabajo en Tuning Studio o con código. A continuación, despliegue el modelo adaptado en hardware multiusuario, pague por token y controle el ciclo de vida del modelo.

Para ejecutar un modelo en hardware dedicado, pagar por hora y controlar el ciclo de vida del modelo, puede importar y desplegar un modelo personalizado o desplegar un modelo bajo demanda.

Implantar su solución

El despliegue de un activo lo hace disponible para pruebas o para su uso productivo por parte de un punto final. Una vez creadas las implantaciones, puede probarlas y gestionarlas, y preparar sus activos para implantarlos en entornos de preproducción y producción.

Los despliegues se crean en espacios de despliegue, que son espacios de trabajo distintos de los proyectos y a los que se puede añadir un conjunto diferente de colaboradores.

Para desplegar la mayoría de los tipos de activos gen AI, debe promover el activo a un espacio de despliegue y crear un despliegue que contenga un punto final. A continuación, puede llamar al endpoint desde su aplicación para inferir el foundation model. Para las plantillas de avisos que no contienen variables, puede copiar el código del punto final directamente desde Prompt Lab. Puede crear espacios de despliegue separados para pruebas, staging y despliegues de producción para apoyar su flujo de trabajo ModelOps.

Supervisión y mantenimiento de su solución

Después de integrar su solución en su aplicación y ponerla en producción, debe mantenerla. También puedes controlar el rendimiento del modelo. El mantenimiento de la solución puede incluir la actualización o sustitución del foundation model por versiones más recientes o la optimización del modelo en función de las evaluaciones o los comentarios de los usuarios. La supervisión de su solución evalúa el rendimiento del modelo en su entorno de producción.

Su organización puede exigirle que supervise su solución y se asegure de que el rendimiento no cae por debajo de los umbrales especificados.

Para supervisar su solución, abra el despliegue de su solución en el espacio de despliegue y active las evaluaciones. Puede utilizar el punto final de registro de carga útil para enviar solicitudes de puntuación para evaluaciones de imparcialidad y deriva y utilizar el punto final de registro de comentarios para proporcionar datos de comentarios para evaluaciones de calidad.

Si IBM proporciona y despliega el foundation model de su solución, es posible que IBM sustituya dicho modelo por una versión más reciente. Cuando IBM deje obsoleto el modelo de su solución, deberá actualizar su solución para cambiar el modelo antes de que éste se elimine. Si ha desplegado el foundation model para su solución, es posible que desee actualizar periódicamente su modelo para mejorar el rendimiento.