Despliegue de modelos de cimientos a la carta

Modelos de cimientos compatibles

Los modelos Foundation disponibles para su despliegue bajo demanda están alojados en IBM y se facturan según la tarifa de pago por horas. Estos modelos son de inquilino único. Por lo tanto, el despliegue de estos modelos es exclusivo para usted y no se comparte con otros usuarios para realizar inferencias. Se le cobrará una tarifa por hora mientras el despliegue esté activo. Para más información, consulte Tarifas de facturación por hora para los modelos de despliegue bajo demanda.

Para obtener una lista de los modelos que están disponibles para desplegar bajo demanda, junto con las descripciones y las tarifas de facturación, consulte Modelos de fundaciones compatibles.

Cuando un modelo de la base que se despliega a petición queda obsoleto, puede seguir utilizándolo hasta que elimine su despliegue.

Tipos de implantación admitidos

Sólo puede crear implantaciones en línea para los modelos de base que se implantan a petición. No se admiten las implantaciones por lotes.

Consideraciones para implantar modelos de cimientos a la carta

Sólo puede desplegar una instancia de un modelo base que puede desplegarse bajo demanda en un espacio de despliegue. Si necesita más recursos para su modelo, puede añadir más copias de su activo de modelo desplegado escalándolo.

Limitaciones y restricciones

Debido a la gran demanda de modelos fundacionales que se despliegan bajo demanda y a los recursos limitados para acomodarla, watsonx.ai tiene un límite de despliegue de cuatro modelos pequeños, dos modelos medianos o un modelo grande por cuenta IBM Cloud.

Las siguientes restricciones se aplican a los modelos de cimientos que se despliegan bajo demanda:

• No se puede ajustar un modelo de base que se despliega bajo demanda.
• Puede solicitar un modelo de base que se despliegue a petición y guardarlo como plantilla de solicitud. Sin embargo, no puede desplegar una plantilla de solicitud guardada para el modelo de base que se despliega bajo demanda. Si su modelo utiliza la generación aumentada de recuperación (RAG), puede desplegar su modelo como un servicio de IA.
• No puede utilizar watsonx.governance para evaluar o realizar el seguimiento de una plantilla de aviso para un modelo de base que se despliega a petición.

Próximos pasos

Elija un método para desplegar un modelo de cimentación bajo demanda:

• Para desplegar modelos de cimientos bajo demanda desde el centro de recursos con unos sencillos pasos, consulte " Despliegue de modelos de cimientos a petición desde el centro de recursos.
• Para desplegar modelos de la base mediante programación, consulte Despliegue de modelos de la base a petición con la API REST.

Tema principal: Despliegue de activos de IA generativa