Despliegue de servicios de IA
Un servicio de IA es una unidad de código desplegable que puede utilizar para capturar la lógica de sus casos de uso de IA generativa. Cuando sus servicios de IA se desplieguen correctamente, podrá utilizar el endpoint para inferir desde su aplicación.
Despliegue de aplicaciones de IA generativa con servicios de IA
Mientras que las funciones Python son la forma tradicional de desplegar activos de aprendizaje automático, los servicios de IA ofrecen una opción más flexible para desplegar código para aplicaciones de IA generativa como el streaming.
A diferencia de la función estándar Python para desplegar un modelo de aprendizaje automático predictivo, que requiere entradas en un esquema fijo, un servicio de IA ofrece flexibilidad para múltiples entradas y permite la personalización.
Los servicios de IA ofrecen una solución segura para desplegar sus funciones de código. Por ejemplo, el servicio genera credenciales como los tokens de portador necesarios para la autenticación a partir de las credenciales de la tarea y el token se pone a disposición del activo de servicio de IA. Puede utilizar este token para obtener activos de conexión, descargar activos de datos, etc.
Implementación visual de servicios de IA
Puede implementar su servicio de IA directamente en un espacio de implementación siguiendo un enfoque sin código desde la interfaz de usuario. Utilice este enfoque para crear una implementación en línea o por lotes para su caso de uso.
Para obtener más información, consulte Implementación visual de servicios de IA.
Implementación de servicios de IA con herramientas
Puede utilizar las siguientes herramientas visuales para crear una solución de IA generativa en watsonx.ai:
- Prompt Lab
- AutoAI
- Agent Lab
Cuando utiliza herramientas visuales para crear una solución de IA generativa para un caso de uso complejo, como RAG, su solución se implementa como un servicio de IA. Puede elegir implementar su solución directamente desde la interfaz de usuario o exportarla a un cuaderno editable en un Python, que implementa el servicio de IA. El cuaderno genera automáticamente el código para crear un servicio de IA en un formato estándar y le proporciona una forma de añadir más funcionalidad o actualizarlo después de la prueba. Mientras que las herramientas proporcionan una interfaz fácil de usar para crear e implementar servicios de IA, la codificación ofrece más flexibilidad y opciones de personalización.
Para obtener más información, consulte Implementación de servicios de IA con herramientas.
Implementación de servicios de IA con código
Cuando construya sus aplicaciones de IA generativa desde cero, puede utilizar un servicio de IA para capturar la lógica de programación de su aplicación, que puede desplegarse con un punto final para la inferencia. Por ejemplo, si construyes una aplicación RAG con frameworks como LangChain, LlamaIndex, o más, puedes usar un servicio AI para capturar la lógica para recuperar respuestas del índice vectorial en el servicio AI y desplegar el servicio AI.
Para obtener más información, consulte Implementación de servicios de IA con código.
Más información
Tema principal: Despliegue de los activos foundation model