¿Cuál es su caso de uso?

Comprenda el objetivo de su solución, si ese objetivo es factible y valioso, y cómo puede determinar cuándo está lista su solución:

Tarea de IA generativa

¿Qué necesita que haga el modelo?

Salidas conversacionales o separadas

Comprenda si necesita una experiencia conversacional en la que los usuarios chatean con un modelo que conserva el contexto de las interacciones anteriores o si cada interacción con el modelo es independiente. Algunas tareas, como la clasificación, el resumen o la generación, pueden no beneficiarse de una conversación. Las conversaciones cuestan más que las salidas separadas porque las conversaciones incluyen el historial de chat con cada entrada.

Viabilidad

Comprenda los límites de los modelos de cimentación para poder evaluar si su caso de uso es viable. Por ejemplo, puede comprobar las puntuaciones de referencia del modelo para el tipo de caso de uso que desea implantar.

Valor empresarial

Considere si los beneficios de la solución son mayores que el coste de su funcionamiento.

Criterios de éxito

Decidir cómo medir el éxito de la solución. Por ejemplo, puede basarse en las métricas de evaluación o en los comentarios de los usuarios objetivo.

A quién implicar

Si involucra a las partes interesadas adecuadas desde el principio, correrá menos riesgo de tener que cambiar de dirección o repetir partes del proceso. Como mínimo, implique a las partes interesadas de estos equipos en el proceso de planificación:

Personas que definen las prioridades y los procesos de su organización

Necesita que estas personas le informen de los requisitos y restricciones que debe cumplir. Puede que necesite documentar información específica sobre su solución, seguir un flujo de trabajo para cumplir una normativa o seleccionar un modelo con un tipo de fuente concreto. Por ejemplo, su organización puede exigirle que seleccione un modelo de código abierto.

Personas que utilizan la solución

Necesita a estas personas para definir los requisitos de la solución y para ayudar a probar y validar que la solución funciona en sus procesos.

Personas que crean la solución

Necesita que estas personas participen en el diseño y las decisiones operativas. Este equipo de colaboradores podría incluir diseñadores, ingenieros de datos, ingenieros de IA, científicos de datos y gestores de riesgos y cumplimiento. Si está implantando una solución de generación aumentada por recuperación en su documentación, considere la posibilidad de incluir a sus redactores de contenidos, que pueden adaptar el contenido para la IA.

Cómo gestionar el riesgo y el cumplimiento

Si comprende sus riesgos y necesidades de cumplimiento antes de empezar a desarrollar su solución, podrá estar mejor preparado para las auditorías posteriores.

Riesgos relacionados con la IA

Comprender las dimensiones clave del riesgo, como el riesgo de reputación, normativo y operativo. Los riesgos de utilizar IA generativa incluyen los mismos riesgos que para los modelos tradicionales de aprendizaje automático, riesgos que se ven amplificados por la IA generativa y nuevos riesgos específicos de la IA generativa. Por ejemplo, el riesgo de generar resultados con contenidos inexactos o falsos, lo que se denomina alucinar, es específico de la IA generativa.

Cumplimiento legal y reglamentario

Determine qué leyes y normativas debe cumplir, los métodos de seguimiento del cumplimiento y los métodos para garantizarlo. Por ejemplo, su organización podría exigir una evaluación formal de riesgos o un flujo de trabajo de aprobación para las soluciones de IA.

Documentación de casos prácticos

Cree un caso de uso de IA para recopilar toda la información para gestionar un modelo o plantilla de solicitud desde la fase de solicitud, pasando por el desarrollo, hasta la producción. Documentar su caso de uso proporciona una forma práctica de realizar un seguimiento de su progreso, independientemente de que su organización lo exija o no con fines normativos.

Cómo desarrollar su solución

Usted y su equipo de desarrollo pueden elegir entre diferentes herramientas y métodos en la interfaz de usuario de watsonx.ai o trabajar totalmente con código:

Lenguaje de codificación

Si quieres escribir código, puedes elegir entre API REST, Python y código Node.js. Los factores para elegir el lenguaje incluyen las preferencias y habilidades de sus desarrolladores, cómo quiere desplegar la solución y cuánto trabajo quiere hacer su equipo en su entorno de desarrollo interactivo (IDE) frente a la interfaz de usuario de watsonx.ai.

Nivel de automatización

Puede elegir qué parte del código de la solución se genera por usted:

• Todo el código: Puedes escribir código con las API REST en tu IDE. Puedes escribir y ejecutar código con bibliotecas Python con el editor de cuadernos.

• Algo de código: Puedes generar cuadernos Python con muchas herramientas y luego adaptar el código según sea necesario. Por ejemplo, puede generar un bloc de notas basado en una plantilla de aviso o generar varios blocs de notas para incrustar y vectorizar documentos.

• Sin código: Puede completar todas las tareas de ingeniería rápida, ajuste de modelos e incrustación y vectorización de documentos con herramientas.

Funcionalidad

La mayoría de las funciones que puedes encontrar en la interfaz de usuario de watsonx.ai están disponibles mediante API. Sin embargo, las capacidades difieren entre unas herramientas y otras.

Cómo elegir un modelo

No es necesario elegir un modelo antes de planificar la solución. Sin embargo, si comprende qué criterios son los más importantes para usted y su organización, podrá reducir el riesgo de seleccionar un modelo inadecuado.

Tarea

La tarea que desea que realice el modelo puede ser un factor limitante a la hora de elegir un modelo. Para muchas tareas de modelado, puede elegir entre varios modelos. Sin embargo, para otras tareas modelo, como traducir o responder en un idioma distinto del inglés, tiene menos opciones.

Coste

El coste de la inferencia varía según los modelos. Si mantener bajos los costes de inferencia es una prioridad para usted, elija un modelo más barato, un modelo más pequeño, un modelo cuantizado o un modelo que pueda ajustar.

Impacto medioambiental

En general, los modelos más grandes tienen un mayor impacto ambiental tanto durante el entrenamiento como durante la inferencia. Los modelos más pequeños y cuantificados tienen un menor impacto ambiental.

Precisión y otras puntuaciones

Puede comparar los puntos de referencia de los modelos y elegir el que tenga puntuaciones altas en las áreas más importantes para usted.

Indemnización y modelo de origen

Es posible que su organización tenga políticas sobre la elección de modelos que sean transparentes en cuanto a sus datos de formación, que sean de código abierto o que ofrezcan indemnizaciones.

Personalización

Puede personalizar un modelo para un dominio específico ajustándolo. Puedes elegir afinar algunos modelos que se proporcionan con watsonx.ai en el Tuning Studio. Alternativamente, puede ajustar un modelo en una herramienta externa e importar su modelo personalizado en watsonx.ai.

Puede añadir conocimientos o habilidades a los modelos de IBM Granite con InstructLab.

Cómo preparar los datos

Los modelos Foundation se entrenan con grandes cantidades de datos, pero no con los datos internos de su empresa. Si necesita que un foundation model conozca los datos de su empresa, debe decidir cómo proporcionar sus datos al modelo.

Documentos de puesta a tierra

Si necesita una solución que responda a las preguntas basando el modelo en la información de sus documentos, puede configurar un patrón de generación aumentada por recuperación (RAG). En un patrón RAG, usted vectoriza sus documentos para una recuperación eficaz de los pasajes que responden a las preguntas de los usuarios.

Datos de ajuste y comprobación

Si necesita mejorar o adaptar el resultado a tareas de procesamiento del lenguaje natural como la clasificación, el resumen y la generación, puede ajustar el modelo. Si desea comprobar la calidad de su mensaje, puede evaluarlo con métricas de IA generativa. Para ambas tareas, debe proporcionar un conjunto de ejemplos de entrada y salida validados. Si sus datos contienen información sensible, como información de identificación personal (IIP), asegúrese de conocer la política de su organización al respecto. Por ejemplo, puede que necesite enmascarar PII o generar datos sintéticos para ajustar o probar su modelo.

Conocimientos o competencias

Proporcionar conjuntos de datos que sirvan de base al modelo. Puede utilizar IntructLab para aumentar un foundation model existente con las capacidades necesarias para su caso de uso. Usted proporciona ejemplos de semillas o datos de base que sirven de base para generar datos sintéticos para el ajuste de instrucciones del foundation model.

Cómo evaluar la calidad y mitigar los riesgos

Debe decidir cómo medir la calidad y garantizar la seguridad.

Evaluación

Puede evaluar el rendimiento y los riesgos de la solución en función de las métricas estándar del sector. Puede medir la precisión textual, la similitud y la calidad de los resultados foundation model. También puede evaluar la equidad, el rendimiento y la deriva de los resultados del modelo. Estas métricas le ayudan a garantizar que las soluciones de IA están libres de sesgos, pueden ser explicadas y comprendidas fácilmente por los usuarios empresariales y son auditables en las transacciones comerciales.

Límites

Puede activar las barandillas para eliminar el contenido potencialmente dañino o el contenido PII tanto del texto de entrada como del de salida en los avisos.

Pruebas

Considere la posibilidad de crear un equipo rojo para emular ataques adversarios.

Cómo optimizar y gestionar los modelos de cimentación

Puede optimizar un foundation model en cuanto a precisión, coste, latencia de la inferencia y control del ciclo de vida del modelo.

Optimización por defecto

IBM proporciona un conjunto de modelos básicos que se despliegan en hardware multiarrendamiento. La inferencia se paga por ficha. IBM controla el ciclo de vida de los modelos actualizándolos y eliminándolos. Cuando un modelo queda obsoleto, debe actualizar su solución para inferir la nueva versión del modelo o un modelo diferente.

Optimizar la precisión y los costes

Si necesita mejorar la precisión de su pronóstico y reducir costes inferiendo un foundation model más pequeño, puede pronosticar sintonizando un foundation model proporcionado. Se despliega un modelo de sintonización de avisos en hardware multiarrendamiento y se paga la inferencia por token.

Optimice la precisión y el control

Si has entrenado o ajustado un modelo externo a watsonx.ai para tu caso de uso, puedes importar y desplegar un modelo personalizado. Despliegue el modelo en hardware dedicado. Se paga por hora de alojamiento del modelo en lugar de por la inferencia. Usted controla el ciclo de vida del modelo.

Optimización de la latencia y el control

Si su solución debe dar soporte a un elevado número de usuarios simultáneos, puede desplegar un modelo de despliegue bajo demanda proporcionado por IBM en hardware dedicado. El hardware dedicado proporciona una latencia menor que el hardware multiusuario. Se paga por hora de alojamiento del modelo en lugar de por la inferencia. Usted controla el ciclo de vida del modelo.

Cómo entregar y mantener su solución

Debe decidir cómo ofrecer su solución gen AI y ayudar a garantizar su calidad continua.

Implantar su solución

Para inferir un foundation model, se despliega un endpoint que se llama en la aplicación para inferir el modelo. Dependiendo de la arquitectura de su solución gen AI, el punto final podría estar en un fragmento de código, una función Python, un servicio AI o código desarrollado por su equipo.

Gestión de ModelOps con espacios de despliegue

Puede apoyar un flujo ModelOps mediante la creación de espacios de despliegue separados para las versiones de prueba, staging y producción de su solución. Puede gestionar el acceso a su solución de producción añadiendo los colaboradores adecuados a cada espacio.

Monitoring

De forma similar a la evaluación de su solución durante el desarrollo, puede supervisar el rendimiento y los riesgos de la solución, como la imparcialidad, la calidad y la explicabilidad. Puedes ver las tendencias a lo largo del tiempo y establecer umbrales para que te avisen cuando baje el rendimiento.

Comentarios de usuarios

Considere la posibilidad de implantar un mecanismo para recabar las opiniones de los usuarios y crear un proceso para recogerlas y mejorar su solución con ellas. Por ejemplo, si implementa un patrón RAG, puede añadir un mecanismo de retroalimentación para que los usuarios evalúen las respuestas a sus preguntas. Puede establecer un proceso para evaluar las respuestas incorrectas e inadecuadas y adaptar el patrón RAG o adaptar su contenido para ofrecer mejores respuestas.

Más información

• Comparación de las herramientas con el código

Tema principal: Planificación de una solución de IA generativa