IBM watsonx.ai pone a su disposición una colección seleccionada de modelos de base para que los despliegue bajo demanda en hardware dedicado para uso exclusivo de su organización. Gracias a este enfoque, podrá acceder a las capacidades de estos potentes modelos de cimentación sin necesidad de grandes recursos computacionales. Los modelos Foundation que se despliegan a petición se alojan en un espacio de despliegue dedicado en el que se pueden utilizar estos modelos para inferencias.
Modelos de cimientos compatibles
Los modelos Foundation disponibles para su despliegue bajo demanda están alojados en IBM y se facturan según la tarifa de pago por horas. Estos modelos son de inquilino único. Por lo tanto, el despliegue de estos modelos es exclusivo para usted y no se comparte con otros usuarios para realizar inferencias. Se le cobrará una tarifa por hora mientras el despliegue esté activo. Para más información, consulte Tarifas de facturación por hora para los modelos de despliegue bajo demanda.
Para obtener una lista de los modelos que están disponibles para desplegar bajo demanda, junto con las descripciones y las tarifas de facturación, consulte Modelos de fundaciones compatibles.
Cuando un foundation model que se despliega a petición queda obsoleto, puede seguir utilizándolo hasta que elimine su despliegue.
Tipos de implantación admitidos
Sólo puede crear implantaciones en línea para los modelos de base que se implantan a petición. No se admiten las implantaciones por lotes.
Consideraciones para implantar modelos de cimientos a la carta
Sólo se puede desplegar una instancia de un modelo foundation model que se puede desplegar bajo demanda en un espacio de despliegue. Si necesita más recursos para su modelo, puede añadir más copias de su activo de modelo desplegado escalándolo.
Limitaciones y restricciones
Debido a la gran demanda de modelos fundacionales que se despliegan bajo demanda y a los recursos limitados para acomodarla, watsonx.ai tiene un límite de despliegue de cuatro modelos pequeños, dos modelos medianos o un modelo grande por cuenta IBM Cloud.
Las siguientes restricciones se aplican a los modelos de cimientos que se despliegan bajo demanda:
- No se puede ajustar un foundation model que se despliega bajo demanda.
- Puede solicitar un foundation model que se despliegue a petición y guardarlo como plantilla de solicitud. Sin embargo, no puede desplegar una plantilla de solicitud guardada para el foundation model que se despliega bajo demanda. Si su modelo utiliza la generación aumentada de recuperación (RAG), puede desplegar su modelo como un servicio de IA.
- No puede utilizar watsonx.governance governance para evaluar o realizar el seguimiento de una plantilla de aviso para un foundation model que se despliega bajo demanda.
Próximos pasos
Elija un método para desplegar un foundation model bajo demanda:
- Para desplegar modelos de cimientos bajo demanda desde el centro de recursos con unos sencillos pasos, consulte " Despliegue de modelos de cimientos a petición desde el centro de recursos.
- Para desplegar modelos de la base mediante programación, consulte Despliegue de modelos de la base a petición con la API REST.
Tema principal: Despliegue de activos de IA generativa