Despliegue activos de IA generativa para utilizarlos en producción y supervise estos activos desplegados.
Tipos de activos desplegables para aplicaciones de IA generativa
Puede utilizar watsonx.ai para desplegar los siguientes activos para sus aplicaciones de IA generativa:
Despliegue de plantillas de avisos
Después de guardar una plantilla de solicitud como un activo de proyecto, puede promocionarla a un espacio de despliegue. Desde el espacio de despliegue, puede desplegar su plantilla de avisos a producción y obtener el punto final para la inferencia.
Si tiene el servicio watsonx.governance , también puede capturar y realizar un seguimiento de los detalles de despliegue para una plantilla de solicitud para cumplir los requisitos de gobierno.
Para obtener más información, consulte Despliegue de una plantilla de avisos.
Despliegue de servicios de IA
Un servicio de IA es una unidad de código desplegable que puede utilizar para capturar la lógica de sus casos de uso de IA generativa, como la Generación Aumentada de Recuperación (RAG). Cuando sus servicios de IA se desplieguen correctamente, podrá utilizar el endpoint para inferir desde su aplicación.
Aunque puede utilizar plantillas de avisos para crear y desplegar avisos guardados en el Laboratorio de Avisos, no puede utilizarlas para desplegar aplicaciones de IA generativa que utilicen la Generación Aumentada por Recuperación (RAG). Para desplegar aplicaciones RAG, debe desplegar un servicio AI. Los servicios AI le ofrecen la posibilidad de desplegar sus aplicaciones RAG y utilizar el endpoint para inferencias.
Para más información, consulte Despliegue de servicios de IA.
Despliegue de modelos ajustados
Después de ajustar un foundation model y guardarlo como activo del proyecto, puede promoverlo a un espacio de despliegue. Desde el espacio de despliegue, puede probar el modelo sintonizado y obtener el punto final para la inferencia.
Para obtener más información, consulte Implantación de un foundation model ajustado.
Implantación de modelos de cimientos personalizados
Además de trabajar con los modelos de base seleccionados por IBM, puede cargar y desplegar sus propios modelos de base. Una vez desplegados y registrados los modelos en watsonx.ai, cree avisos que hagan inferencia en los modelos personalizados desde el laboratorio de avisos.
La implantación de un foundation model personalizado le proporciona la flexibilidad necesaria para implantar las soluciones de IA que mejor se adapten a su caso de uso.
Para obtener más información, consulte Despliegue de un foundation model personalizado.
Despliegue de modelos de cimientos a la carta
Despliegue un " foundation model " bajo demanda en hardware dedicado para que el " foundation model " esté disponible para su uso en diversas aplicaciones y servicios según sea necesario. Gracias a este enfoque, podrá acceder a las capacidades de estos potentes modelos de cimentación sin necesidad de grandes recursos computacionales. Los modelos Foundation que se despliegan a petición se alojan en un espacio de despliegue dedicado en el que se pueden utilizar estos modelos para inferencias.
Para obtener más información, consulte Despliegue de modelos de la base a petición.
Más información
- Plantillas de solicitud de seguimiento
- Evaluación de una plantilla de solicitud en un espacio de despliegue
Tema principal: Despliegue de activos con watsonx.ai Runtime