Puede crear un servicio de IA personalizado que se adapte a su aplicación de IA generativa desde cero. Por ejemplo, si está desplegando un activo que utiliza la generación aumentada de recuperación (RAG), puede capturar la lógica para recuperar respuestas de los documentos de base en el servicio de IA.
Visión general del proceso
El siguiente gráfico ilustra el proceso de codificación de los servicios de IA.
Puede crear un cuaderno que contenga el servicio AI y las conexiones dentro del Proyecto. El servicio AI captura la lógica de su aplicación RAG y contiene la función de generación, que es una unidad de código desplegable. La función de generación se promueve al espacio de despliegue, que se utiliza para crear un despliegue. El despliegue se expone como un punto final de la API REST al que pueden acceder otras aplicaciones. Puede enviar una solicitud al punto final de la API REST para utilizar el servicio de IA desplegado para realizar inferencias. El servicio de IA desplegado procesa la solicitud y devuelve una respuesta.
Tareas de creación y despliegue de servicios de IA
Estos son los pasos que debe seguir para crear, desplegar y gestionar servicios de IA:
- Crear un servicio AI: Define un servicio de IA en un cuaderno utilizando Python. El servicio de IA debe cumplir unos requisitos específicos para su despliegue como servicio de IA.
- Probar el servicio AI: Pruebe la lógica de codificación de su servicio AI localmente.
- Crear activos de servicio de IA: Tras crear y probar el servicio de IA, debes empaquetarlo como un activo desplegable.
- Despliegue de activos de servicios de IA: Despliegue del activo de servicio AI como despliegue en línea o por lotes.
- Probar el despliegue del servicio de IA: Pruebe su servicio de IA desplegado para inferencias en línea o puntuación por lotes.
- Gestionar los servicios de IA: Accede y actualiza los detalles de despliegue. Escalar o eliminar el despliegue desde la interfaz de usuario o mediante programación.
Cuadernos de muestra para crear e implantar servicios de IA
Para aprender a crear y desplegar servicios de IA mediante programación, consulte los siguientes cuadernos de muestra:
| Nombre de ejemplo | Infraestructura | Técnicas demostradas |
|---|---|---|
| Utilice watsonx, y meta-llama/llama-3-2-11b-vision-instruct para ejecutar como un servicio AI | Python | Configurar el entorno " Crear un servicio de IA " Probar localmente el funcionamiento del servicio de IA " Desplegar el servicio de IA " " Ejecutar un servicio de IA |
| Utilizar watsonx, Elasticsearch y LangChain para responder preguntas (RAG) | LangChain | Configure el entorno ' ' Descargue el conjunto de datos de prueba. ' Definir el foundation model en watsonx ' Configurar la información de conectividad a Elasticsearch ' Generar una respuesta aumentada por recuperación a una pregunta ' Crear un servicio de IA ' Probar la función del servicio de IA localmente ' Desplegar el servicio de IA |
| Utilice watsonx y meta-llama/llama-3-1-70b-instruct para crear el servicio AI | LangGraph | Configurar el entorno " Crear un servicio de IA " Probar localmente el funcionamiento del servicio de IA " Desplegar el servicio de IA " " Ejecutar un servicio de IA |
Más información
Tema principal: Despliegue de servicios de IA