Despliegue de activos de IA generativa
Despliegue activos de IA generativa para utilizarlos en producción y supervise estos activos desplegados.
Tipos de activos desplegables para aplicaciones de IA generativa
Puede utilizar watsonx.ai para desplegar los siguientes activos para sus aplicaciones de IA generativa:
Despliegue de plantillas de avisos
Después de guardar una plantilla de solicitud como un activo de proyecto, puede promocionarla a un espacio de despliegue. Desde el espacio de despliegue, puede desplegar su plantilla de avisos a producción y obtener el punto final para la inferencia.
Si tiene el servicio watsonx.governance , también puede capturar y realizar un seguimiento de los detalles de despliegue para una plantilla de solicitud para cumplir los requisitos de gobierno.
Para obtener más información, consulte Despliegue de una plantilla de avisos.
Despliegue de servicios de IA
Un servicio de IA es una unidad de código desplegable que captura la lógica de sus casos de uso de IA generativa, como la Generación Aumentada de Recuperación (RAG). Cuando sus servicios de IA se desplieguen correctamente, podrá utilizar el endpoint para inferir desde su aplicación.
Los servicios de IA se crean automáticamente cuando se implementa una solución de IA generativa compleja con herramientas visuales como Agent Lab, Prompt Lab o AutoAI. Por ejemplo, si utiliza Agent Lab o Prompt Lab para crear e implementar su solución de IA generativa o basada en agentes, la herramienta detecta automáticamente la complejidad de la solución y presenta el tipo correcto de activo de implementación.
Aunque puede utilizar las plantillas de mensajes para crear e implementar mensajes guardados en el Prompt Lab, no puede utilizarlas para implementar aplicaciones de IA generativa para casos de uso complejos como RAG.
Si decide codificar su aplicación de IA generativa basada en estos casos de uso complejos, deberá crear un servicio de IA y asegurarse de que sigue ciertos requisitos. Puede desplegar un servicio de IA mediante programación con la API REST watsonx.ai o la biblioteca de clientes Python. Después de desplegar el servicio AI, puede utilizar el endpoint para inferencias.
Para más información, consulte Despliegue de servicios de IA.
Despliegue de modelos ajustados
Después de ajustar un modelo de base y guardar el modelo ajustado como un activo de proyecto, puede promocionarlo a un espacio de implementaciones. Desde el espacio de despliegue, puede probar el modelo sintonizado y obtener el punto final para la inferencia.
Para obtener más información, consulte Implementación de modelos ajustados.
Implantación de modelos de cimientos personalizados
Además de trabajar con los modelos de base seleccionados por IBM, puede cargar y desplegar sus propios modelos de base. Una vez desplegados y registrados los modelos en watsonx.ai, cree avisos que inferencien los modelos personalizados desde Prompt Lab.
La implementación de un modelo de base personalizado le proporciona la flexibilidad necesaria para implementar las soluciones de IA adecuadas para su caso de uso.
Para obtener más información, consulte Implementación de un modelo de base personalizado.
Despliegue de modelos de cimientos a la carta
Implementar un modelo de base bajo demanda en hardware dedicado para que el modelo de base esté disponible para su uso en diversas aplicaciones y servicios según sea necesario. Gracias a este enfoque, podrá acceder a las capacidades de estos potentes modelos de cimentación sin necesidad de grandes recursos computacionales. Los modelos Foundation que se despliegan a petición se alojan en un espacio de despliegue dedicado en el que se pueden utilizar estos modelos para inferencias.
Para obtener más información, consulte Despliegue de modelos de la base a petición.
Más información
- Plantillas de solicitud de seguimiento
- Evaluación de una plantilla de solicitud en un espacio de despliegue
Tema principal: Despliegue de activos con watsonx.ai Runtime