En IBM watsonx.ai hay disponible una colección de modelos de código abierto y de la fundación IBM para realizar inferencias. Encuentre los modelos básicos que mejor se adapten a las necesidades de su aplicación de IA generativa y a su presupuesto.
Los modelos de base que están disponibles para la inferencia desde watsonx.ai se alojan de varias maneras:
- Modelos de cimentación proporcionados con watsonx.ai
- Modelos básicos IBM que IBM despliega en hardware multiusuario y que están disponibles para inferencias. Se paga por fichas utilizadas. Consulte los modelos de la Fundación proporcionados con watsonx.ai.
- Implantar modelos de cimientos bajo demanda
- Una instancia de un foundation model IBM que usted despliega y que está dedicado a su uso de inferencia. Sólo los colegas que tienen acceso a la implantación pueden inferir el foundation model. Un despliegue dedicado significa interacciones más rápidas y receptivas sin límites de velocidad. El alojamiento del foundation model fundación se paga por horas. Véase Despliegue de modelos de cimientos a petición.
- Modelos fundacionales personalizados
- Modelos de la Fundación curados por usted que importa y despliega en watsonx.ai. La instancia del foundation model personalizado que despliega está dedicada para su uso. Un despliegue dedicado significa interacciones más rápidas y con mayor capacidad de respuesta. El alojamiento del foundation model fundación se paga por horas. Véase Modelos de cimientos personalizados.
- Modelos de cimentación ajustados a las necesidades
- Un subconjunto de los modelos de cimentación disponibles que pueden personalizarse según sus necesidades mediante el ajuste rápido del modelo desde la API o Tuning Studio. A prompt-tuned foundation model relies on the underlying IBM-deployed foundation model. Pagas por los recursos que consumes para afinar el modelo. Una vez ajustado el modelo, se paga por fichas utilizadas para inferir el modelo. Véanse los modelos de cimentación sintonizados con Prompt.
Si desea desplegar modelos de cimentación en su propio centro de datos, puede adquirir el software watsonx.ai. Para obtener más información, consulte Descripción general de IBM watsonx as a Service y el software IBM watsonx.governance.
Comparación de métodos de implantación
Para ayudarle a elegir el método de implantación adecuado, consulte la tabla comparativa.
| Tipo de despliegue | Disponible desde | Mecanismo de despliegue | entorno de alojamiento | Método de facturación | Política de amortización |
|---|---|---|---|---|---|
| Modelos de cimentación proporcionados con watsonx.ai | - Resource hub>Pay per token - Prompt Lab |
Curado y desplegado por IBM | Hardware multiusuario | Por fichas utilizadas | Obsoleto según el ciclo de vida publicado |
| Implantar modelos de cimientos bajo demanda | - Resource hub>Pago por horas - Prompt Lab |
Curado y desplegado por IBM a petición suya | Hardware dedicado | Por hora de despliegue | Su modelo desplegado no está obsoleto |
| Modelos fundacionales personalizados | • Prompt Lab | Curada y desplegada por usted | Hardware dedicado | Por hora de despliegue | No obsoleto |
| Modelos de cimentación ajustados a las necesidades | • Prompt Lab | Ajustado y desplegado por usted | Hardware multiusuario | - La formación se factura por la CUH - La inferencia se factura por los tokens utilizados |
Obsoleto cuando el modelo subyacente está obsoleto a menos que añada el modelo subyacente como un foundation model personalizado |
Para obtener más información sobre cómo se calcula y controla el precio de los modelos, consulte Detalles de facturación de los activos de IA generativa.
Modelos de cimientos compatibles por método de implantación
watsonx.ai pone a su disposición varios modelos de base que puede utilizar inmediatamente o que puede desplegar en hardware dedicado para uso de su organización.
Modelos de cimentación proporcionados con watsonx.ai
Una colección de modelos de base de IBM y de código abierto se despliegan en IBM watsonx.ai. Puede solicitar estos modelos de cimentación en el Prompt Lab o mediante programación.
Modelos básicos de IBM proporcionados con watsonx.ai
En la siguiente tabla se enumeran los modelos de base IBM compatibles que IBM proporciona para la inferencia.
El uso se mide en Unidades de Recursos (RU); cada unidad equivale a 1.000 tokens de la entrada y salida de la inferencia foundation model. Para obtener más información sobre cómo se calcula y controla el precio de los modelos, consulte Detalles de facturación de los activos de IA generativa.
Algunos modelos de IBM Foundation también están disponibles en repositorios de terceros, como Hugging Face. IBM no indemnizará los modelos de IBM Foundation que usted obtenga de un repositorio de terceros. Sólo los modelos fundacionales IBM a los que acceda desde watsonx.ai están indemnizados por IBM. Para obtener más información sobre las protecciones contractuales relacionadas con la indemnización de IBM, consulte el Acuerdo de relación con el cliente IBM y la descripción del servicio IBM watsonx.ai.
Modelos de fundaciones de terceros proporcionados con watsonx.ai
La siguiente tabla enumera los modelos de fundaciones de terceros compatibles que se proporcionan con watsonx.ai.
El uso se mide en Unidades de Recursos (RU); cada unidad equivale a 1.000 tokens de la entrada y salida de la inferencia foundation model. Para obtener más información sobre cómo se calcula y controla el precio de los modelos, consulte Detalles de facturación de los activos de IA generativa.
- Para obtener más información sobre los modelos de base admitidos que ofrece ' IBM para incrustar y renumerar texto, consulte ' Modelos de bases de codificador compatibles.
- Para ver una lista de los modelos que se ofrecen en cada centro de datos regional, consulte Disponibilidad regional del foundation model.
- Para obtener información sobre precios y limitación de tarifas, consulte watsonx.ai Planes de tiempo de ejecución.
Modelos fundacionales personalizados
Además de trabajar con modelos de base curados por IBM, puede cargar y desplegar sus propios modelos de base. Una vez desplegados y registrados los modelos personalizados en watsonx.ai, puede crear avisos que inferencien los modelos personalizados desde Prompt Lab y desde la API watsonx.ai.
Para obtener más información sobre cómo cargar, registrar y desplegar un " foundation model" personalizado, consulte " Desplegar un " foundation model personalizado .
Implantar modelos de cimientos bajo demanda
Elija un foundation model de un conjunto de modelos IBM para desplegarlo para uso exclusivo de su organización.
Para más información sobre cómo desplegar un foundation model bajo demanda, consulte Despliegue de modelos de cimientos a la carta.
Implantar modelos de cimientos bajo demanda de IBM
En la siguiente tabla se enumeran los modelos de IBM Foundation disponibles para su despliegue bajo demanda.
Algunos modelos de IBM Foundation también están disponibles en repositorios de terceros, como Hugging Face. IBM no indemnizará los modelos de IBM Foundation que usted obtenga de un repositorio de terceros. Sólo los modelos fundacionales IBM a los que acceda desde watsonx.ai están indemnizados por IBM. Para obtener más información sobre las protecciones contractuales relacionadas con la indemnización de IBM, consulte el Acuerdo de relación con el cliente IBM y la descripción del servicio IBM watsonx.ai.
| Nombre de modelo | Precio por hora en USD | Categoría de alojamiento de modelos | Ventana contextual (tokens de entrada + salida) |
|---|---|---|---|
| granite-13b-chat-v2 | $5.22 | Pequeña | 8.192 |
| granite-13b-instruct-v2 | $5.22 | Pequeña | 8.192 |
| granite-20b-code-base-schema-linking | $5.22 | Pequeña | 8.192 |
| granite-20b-code-base-sql-gen | $5.22 | Pequeña | 8.192 |
| granite-3-8b-base | $5.22 | Pequeña | 4.096 |
Implantar modelos de cimientos bajo demanda de terceros
En la siguiente tabla se enumeran los modelos de bases de terceros que están disponibles para su implantación bajo demanda.
| Nombre de modelo | Proveedor | Precio por hora en USD | Categoría de alojamiento de modelos | Ventana contextual (tokens de entrada + salida) |
|---|---|---|---|---|
| flan-t5-xl-3b | $5.22 | Pequeña | 4.096 | |
| flan-t5-xxl-11b | $5.22 | Pequeña | 4.096 | |
| flan-ul2-20b | $5.22 | Pequeña | 4.096 | |
| llama-2-13b-chat | Meta | $5.22 | Pequeña | 4.096 |
| llama-2-70b-chat | Meta | $20.85 | Grande | 4.096 |
| llama-3-8b-instruct | Meta | $5.22 | Pequeña | 8.192 |
| llama-3-70b-instruct | Meta | $20.85 | Grande | 8.192 |
| llama-3-1-8b | Meta | $5.22 | Pequeña | 131.072 |
| llama-3-1-8b-instruct | Meta | $5.22 | Pequeña | 131.072 |
| llama-3-3-70b-instruct | Meta | $10.40 | Medio | 8.192 |
| llama-3-3-70b-instruct-hf | Meta | $20.85 | Grande | 8.192 |
| mixtral-8x7b-base | Mistral AI | $10.40 | Medio | 32.768 |
| mixtral-8x7b-instruct-v01 | Mistral AI | $10.40 | Medio | 32.768 |
| mistral-nemo-instruct-2407 | Mistral AI | $5.22 | Pequeña | 131.072 |
| mt0-xxl-13b | BigScience | $5.22 | Pequeña | 4.096 |
Modelos de cimentación ajustados a las necesidades
Puede personalizar los siguientes modelos de base ajustándolos en watsonx.ai:
Para más información, consulta Tuning Studio.
Más información
- Detalles del modelo de cimentación
- Detalles de facturación de los activos de IA generativa
- Disponibilidad regional del foundation model
Tema principal: Desarrollo de soluciones de IA generativas