Traducción no actualizada
Elegir un modelo de base en watsonx.ai
Hay muchos factores a tener en cuenta a la hora de elegir un modelo de base para inferir a partir de un proyecto de IA generativa.
Por ejemplo, para una solución que resuma los informes de problemas del centro de llamadas, es posible que desee un modelo base con estas características:
- Obtiene una buena puntuación en los puntos de referencia para las tareas de resumen
- Maneja grandes cantidades de texto, lo que significa una ventana de contexto de gran longitud
- Puede interpretar imágenes de artículos dañados, por lo que acepta entradas tanto en modalidad de texto como de imagen
Determine qué factores son los más importantes para usted y su organización.
- Tareas que puede realizar el modelo
- Modelos de cimentación multimodales
- Lenguajes soportados
- Opciones de ajuste para personalizar el modelo
- Términos de licencia e indemnización por IP
- Atributos del modelo, como tamaño, arquitectura y longitud de la ventana de contexto
Una vez que tenga una lista corta de los modelos que mejor se adaptan a sus necesidades, puede probarlos para ver cuáles le devuelven sistemáticamente los resultados que desea.
Modelos básicos que dan soporte a su caso de uso
Para empezar, busque los modelos de base que pueden realizar el tipo de tarea que desea completar.
La siguiente tabla muestra los tipos de tareas que los modelos de la fundación en IBM watsonx.ai admiten. Una marca de verificación (✓) indica que la tarea que se nombra en el encabezado de la columna es compatible con el modelo de la fundación. Para algunas de las tareas, puede hacer clic en un enlace para ir a un ejemplo de solicitud de la tarea.
Modelo | Conversación | Interacción de herramientas desde Chat API |
Generación aumentada por recuperación (RAG) | Ejemplos |
---|---|---|---|---|
granite-7b-lab | ✓ Chat de Prompt Lab |
✓ RAG de Prompt Lab |
✓ Resumir |
|
granite-13b-instruct-v2 | ✓ Chat de Prompt Lab |
✓ RAG de Prompt Lab |
✓ Generación |
|
granite-8b-japanese | ✓ - Preguntas y respuestas - Traducción |
|||
granite-20b-multilingual | ✓ Chat de Prompt Lab |
✓ RAG de Prompt Lab |
✓ Traducción |
|
granite-3-2-8b-instruct | ✓ Muestras de : • Desde Prompt Lab : Muestra • Desde Chat API: Muestra |
✓ | ||
granite-3-2b-instruct | ✓ Muestras: - Chat desde Prompt Lab - Desde Chat API: Muestra |
✓ Código |
||
granite-3-8b-instruct | ✓ Muestras: - Chat desde Prompt Lab - Desde Chat API: Muestra |
✓ Muestra de llamada de herramientas |
✓ Código |
|
granite-guardian-3-2b | ✓ Chat de Prompt Lab |
✓ RAG de Prompt Lab |
✓ | |
granite-guardian-3-8b | ✓ Chat de Prompt Lab |
✓ RAG de Prompt Lab |
✓ | |
granite-3b-code-instruct | ✓ Chat de Prompt Lab |
✓ Código |
||
granite-8b-code-instruct | ✓ Chat de Prompt Lab |
✓ Código |
||
granite-20b-code-instruct | ✓ Muestras: • Chat desde Prompt Lab • Desde la API de chat (multiusuario): muestra |
✓ Código |
||
granite-20b-code-base-schema-linking | ✓ Código |
|||
granite-20b-code-base-sql-gen | ✓ Código |
|||
granite-34b-code-instruct | ✓ Muestras: • Chat desde Prompt Lab • Desde la API de chat (multiusuario): muestra |
✓ Código |
||
granite-vision-3-2-2b | ✓ Muestras: - Chat desde Prompt Lab : Chat con imagen ejemplo - Desde Chat API: Ejemplo |
✓ | ||
allam-1-13b-instruct | ✓ Chat de Prompt Lab |
✓ - Clasificación - Traducción |
||
codellama-34b-instruct-hf | ✓ Código |
|||
deepseek-r1-distill-llama-8b | ✓ | ✓ PREGUNTAS Y RESPUESTAS |
||
deepseek-r1-distill-llama-70b | ✓ | ✓ PREGUNTAS Y RESPUESTAS |
||
elyza-japanese-llama-2-7b-instruct | ✓ - Clasificación - Traducción |
|||
eurollm-1-7b-instruct | ✓ Chat de Prompt Lab |
✓ - Preguntas y respuestas - Traducción |
||
eurollm-9b-instruct | ✓ Chat de Prompt Lab |
✓ - Preguntas y respuestas - Traducción |
||
flan-t5-xl-3b | ✓ RAG de Prompt Lab |
✓ | ||
flan-t5-xxl-11b | ✓ RAG de Prompt Lab |
✓ - Preguntas y respuestas - Clasificación - Resumen |
||
flan-ul2-20b | ✓ RAG de Prompt Lab • RAG de AutoAI (Multiinquilino) |
✓ - Preguntas y respuestas - Clasificación - Extracción - Resumen |
||
jais-13b-chat | ✓ Chat de Prompt Lab : Ejemplo de chat |
✓ | ||
llama-3-3-70b-instruct | ✓ Muestras de : • Chat desde Prompt Lab : Muestra de chat • Desde Chat API (Multitenant): Muestra |
✓ Multitenant de : Muestra de llamada de herramientas (Multitenant ) |
✓ RAG de Prompt Lab |
✓ |
llama-3-2-1b-instruct | ✓ - Chat de Prompt Lab : Ejemplo de chat - Desde Chat API: Muestra |
✓ Muestra de llamada de herramientas |
✓ RAG de Prompt Lab |
✓ Código |
llama-3-2-3b-instruct | ✓ - Chat de Prompt Lab : Ejemplo de chat - Desde Chat API: Muestra |
✓ RAG de Prompt Lab |
✓ Código |
|
llama-3-2-11b-vision-instruct | ✓ Ejemplos: - Chat desde Prompt Lab : Chat con imagen ejemplo - Desde Chat API: Ejemplo |
✓ Muestra de llamada de herramientas |
✓ RAG de Prompt Lab |
✓ |
llama-3-2-90b-vision-instruct | ✓ Ejemplos: - Chat desde Prompt Lab : Chat con imagen ejemplo - Desde Chat API: Ejemplo |
✓ Muestra de llamada de herramientas |
✓ RAG de Prompt Lab |
|
llama-3-1-8b | ✓ Chat de Prompt Lab : Ejemplo de chat |
✓ Muestras: - RAG de Prompt Lab |
✓ | |
llama-3-1-8b-instruct | ✓ Chat de desde Prompt Lab : Muestra de chat • Desde Chat API (Multitenant): Muestra |
Multiinquilino: ✓ Ejemplo de llamada a herramientas (multiusuario) |
✓ Muestras de : • RAG de Prompt Lab • RAG de AutoAI (Multitenant) |
✓ |
llama-3-1-70b-instruct | ✓ Muestras de : • Chat desde Prompt Lab : Muestra de chat • Desde Chat API (Multitenant): Muestra |
Multiinquilino: ✓ Ejemplo de llamada a herramientas (multiusuario) |
✓ • RAG de Prompt Lab • RAG de AutoAI (Multitenant) |
✓ |
llama-3-405b-instruct | ✓ - Chat de Prompt Lab : Ejemplo de chat - Desde Chat API: Muestra |
✓ Muestra de llamada de herramientas |
✓ RAG de Prompt Lab |
✓ |
llama-3-8b-instruct | ✓ Ejemplos: - Chat de Prompt Lab : Ejemplo de chat - Desde Chat API: Muestra |
✓ RAG de Prompt Lab |
||
llama-3-70b-instruct | ✓ Ejemplos: - Chat de Prompt Lab : Ejemplo de chat - Desde Chat API: Muestra |
✓ • RAG de Prompt Lab • RAG de AutoAI (Multitenant) |
✓ | |
llama-2-13b-chat | ✓ Chat de Prompt Lab : Ejemplo de chat |
✓ RAG de Prompt Lab |
✓ | |
llama-guard-3-11b-vision | ✓ Ejemplos: - Chat desde Prompt Lab : Chat con imagen ejemplo - Desde Chat API: Ejemplo |
✓ RAG de Prompt Lab |
✓ Clasificación |
|
mistral-large (Multitenant) mistral-large -instruct-2407 (Dedicado) |
✓ Muestras: • Chat desde Prompt Lab • Desde la API de chat (multiusuario): muestra |
✓ Multitenant: Ejemplo de llamada a herramientas (Multitenant) |
✓ • RAG de Prompt Lab • RAG de AutoAI (Multitenant) |
✓ - Clasificación - Extracción - Resumen - Código - Traducción |
mistral-large-instruct-2411 | ✓ Muestras de : • Chat desde Prompt Lab |
✓ - RAG de Prompt Lab |
✓ - Clasificación - Extracción - Resumen - Código - Traducción |
|
mistral-nemo-instruct-2407 | ✓ Chat de Prompt Lab |
✓ - RAG de Prompt Lab |
✓ - Clasificación - Extracción - Generación - Resumen - Código - Traducción |
|
mistral-small-24b-instruct-2501 | ✓ Chat de Prompt Lab |
✓ - RAG de Prompt Lab |
✓ - Clasificación - Extracción - Generación - Resumen - Código - Traducción |
|
mixtral-8x7b-base | ✓ Chat de Prompt Lab |
✓ - RAG de Prompt Lab |
✓ - Clasificación - Extracción - Generación - Resumen - Código - Traducción |
|
mixtral-8x7b-instruct-v01 | ✓ Chat de Prompt Lab |
✓ • RAG de Prompt Lab • RAG de AutoAI (Multitenant) |
✓ - Clasificación - Extracción - Generación - Resumen - Código - Traducción |
|
mt0-xxl-13b | ✓ RAG de Prompt Lab |
✓ - Clasificación - Preguntas y respuestas |
||
pixtral-12b | ✓ Chat de Prompt Lab : Chat con ejemplo de imagen |
✓ RAG de Prompt Lab |
✓ - Clasificación - Extracción - Resumen |
- Para revisar varias muestras de mensajes agrupadas por tipo de tarea, consulte Mensajes de muestra.
- Para determinar el rendimiento de un modelo de base en determinadas tareas, consulte los parámetros de referencia de los modelos de base.
Modelos de cimientos multimodales
Los modelos de fundamentos multimodales son capaces de procesar e integrar información procedente de muchas modalidades o tipos de datos. Estas modalidades pueden incluir texto, imágenes, audio, vídeo y otras formas de información sensorial.
Los modelos de cimientos multimodales que están disponibles en watsonx.ai pueden realizar los siguientes tipos de tareas:
- Generación de imágenes a texto
- Útil para responder preguntas de forma visual, interpretar tablas y gráficos, subtitular imágenes, etc.
La siguiente tabla enumera los modelos de base disponibles que admiten modalidades distintas de la entrada y la salida de texto.
Modelo | Modalidades de entrada | Modalidades de salida |
---|---|---|
granite-vision-3-2-2b | imagen, texto | Texto |
llama-3-2-11b-vision-instruct | imagen, texto | Texto |
llama-3-2-90b-vision-instruct | imagen, texto | Texto |
llama-guard-3-11b-vision | imagen, texto | Texto |
pixtral-12b | imagen, texto | Texto |
Modelos básicos que dan soporte a su idioma
Muchos modelos de fundación funcionan bien sólo en inglés. Pero algunos creadores de modelos incluyen varios idiomas en los conjuntos de datos de entrenamiento previo para ajustar su modelo en tareas en distintos idiomas y para probar el rendimiento de su modelo en varios idiomas. Si tiene previsto crear una solución para un público global o una solución que realice tareas de traducción, busque modelos que se hayan creado teniendo en cuenta el soporte multilingüe.
La tabla siguiente lista los idiomas naturales soportados además del inglés por los modelos de base en watsonx.ai. Para obtener más información sobre los idiomas que se admiten para los modelos de base multilingües, consulte la tarjeta del modelo de base.
Modelo | Idiomas distintos del inglés |
---|---|
granite-8b-japanese | Japonés |
granite-20b-multilingual | Alemán, español, francés y portugués |
Granite Instrucciones 3.2 ( granite-3-2-8b-instruct, granite-vision-3-2-2b ) | Inglés, alemán, español, francés, japonés, portugués, árabe, checo, italiano, coreano, neerlandés y chino (simplificado) |
Granite Instruct 3.1granite-3-2b-instruct, granite-3-8b-instruct ) | Inglés, alemán, español, francés, japonés, portugués, árabe, checo, italiano, coreano, neerlandés y chino (simplificado) |
Granite 3 granite-3-8b-base ) | Inglés, alemán, español, francés, japonés, portugués, árabe, checo, italiano, coreano, neerlandés, chino (simplificado) |
allam-1-13b-instruct | Árabe |
elyza-japanese-llama-2-7b-instruct | Japonés |
flan-t5-xl-3b | Multilingüe(Ver ficha de modelo) |
flan-t5-xxl-11b | Francés, alemán |
jais-13b-chat | Árabe |
Llama 3.3 llama-3-3-70b-instruct, llama-3-3-70b-instruct-hf ) | Inglés, alemán, francés, italiano, portugués, hindi, español y tailandés |
Llama 3.2 (llama-3-2-1b-instruct, llama-3-2-3b-instruct. También llama-3-2-11b-vision-instruct, llama-3-2-90b-vision-instruct, y llama-guard-3-11b-vision con entradas de sólo texto) | Inglés, alemán, francés, italiano, portugués, hindi, español y tailandés |
Llama 3.1 (llama-3-1-8b-instruct, llama-3-1-70b-instruct, llama-3-405b-instruct) | Inglés, alemán, francés, italiano, portugués, hindi, español y tailandés |
mistral-large | Multilingüe(Ver ficha de modelo) |
mistral-large-instruct-2411, mistral-nemo-instruct-2407, mistral-small-24b-instruct-2501 | Múltiples idiomas, especialmente inglés, francés, alemán, español, italiano, portugués, chino, japonés, coreano, árabe e hindi. |
mixtral-8x7b-base, mixtral-8x7b-instruct-v01 | Francés, alemán, italiano, español |
mt0-xxl-13b | Multilingüe(Ver ficha de modelo) |
Modelos base que puede ajustar
Algunos de los modelos base que están disponibles en watsonx.ai se pueden ajustar para que se adapten mejor a sus necesidades.
Se da soporte al siguiente método de ajuste:
- Sintonización de indicaciones: ejecuta experimentos de sintonización que ajustan el vector de indicaciones que se incluye con la entrada del modelo base. Tras varias ejecuciones, encuentra el vector de entrada que mejor puede guiar al modelo de base para que devuelva un resultado que se adapte a su tarea.
La tabla siguiente muestra los métodos para ajustar modelos de base que están disponibles en IBM watsonx.ai. Una marca de verificación (✓) indica que el método de ajuste que se nombra en el encabezado de la columna es compatible con el modelo de base.
Nombre de modelo | Ajuste de solicitud |
---|---|
flan-t5-xl-3b | ✓ |
granite-13b-instruct-v2 | ✓ |
Para obtener más información, consulte Tuning Studio.
Tipos de modelos e indemnización por IP
Revise la política de indemnización de propiedad intelectual para el modelo de fundación que desea utilizar. Algunos proveedores externos de modelos de bases de datos requieren que los exima de responsabilidad por cualquier infracción de propiedad intelectual que pueda resultar del uso de sus modelos de IA.
Los modelos de base desarrollados por IBM que están disponibles en watsonx.ai tienen una protección de propiedad intelectual estándar, similar a la que IBM proporciona para los productos de hardware y software.
IBM amplía su indemnización estándar por propiedad intelectual a los resultados generados por los modelos cubiertos. Modelos cubiertos incluye IBM y algunos modelos básicos de terceros que están disponibles en watsonx.ai. Los modelos cubiertos por terceros se identifican en el cuadro 4.
La siguiente tabla describe los diferentes tipos de modelos de fundación y sus políticas de indemnización. Para más información, consulte el material de referencia.
Tipo de modelo de cimentación | Política de indemnización | Modelos base | Detalles | Materiales de referencia |
---|---|---|---|---|
Modelo cubierto por IBM | Indemnización no limitada IBM | - IBM Granite - IBM Pizarra |
IBM -desarrollado modelos de cimientos que están disponibles en watsonx.ai. | Vea los siguientes recursos: • Descripción del servicio de tiempo de ejecución watsonx.ai • Descripción del servicio de estudio watsonx.ai |
Modelo cubierto por terceros | Indemnización limitada IBM | Mistral Large | Modelos cubiertos de terceros que están disponibles en watsonx.ai. | Ver descripción del servicio |
Producto no IBM | No IBM indemnización | Varios | Modelos de terceros que están disponibles en watsonx.ai y están sujetos a sus respectivos términos de licencia, incluidas las obligaciones y restricciones asociadas. | Consulte la información del modelo. |
Modelo personalizado | No IBM indemnización | Varios | Los modelos Foundation que se importan para utilizarlos en watsonx.ai son Contenido del cliente. | El cliente es el único responsable de la selección y el uso del modelo y los resultados, así como del cumplimiento de los términos, obligaciones y restricciones de las licencias de terceros. |
Para obtener más información sobre los términos de licencia de modelos de terceros, consulte Modelos de base de terceros.
Más consideraciones para elegir un modelo
Atributo de modelo | Consideraciones |
---|---|
Longitud de contexto | A veces denominada longitud de ventana de contexto, ventana de contextoo longitud máxima de secuencia, la longitud de contexto es el valor máximo permitido para el número de señales en la solicitud de entrada más el número de señales en la salida generada. Cuando se genera una salida con modelos en watsonx.ai, el número de señales en la salida generada está limitado por el parámetro Número máximo de señales. |
Coste | El coste de utilizar modelos de base se mide en unidades de recursos. El precio de una unidad de recursos se basa en la tarifa del nivel de precios para el modelo de fundación. |
Afinado | Después de que un modelo de base se entrena previamente, muchos modelos de base se ajustan para tareas específicas, como clasificación, extracción de información, resumen, respuesta a instrucciones, respuesta a preguntas o participación en un diálogo de ida y vuelta. Un modelo que se somete a un ajuste preciso en tareas similares a su uso planificado normalmente lo hace mejor con solicitudes de disparo cero que los modelos que no están ajustados de una forma que se ajuste a su caso de uso. Una forma de mejorar los resultados de un modelo ajustado es estructurar la solicitud en el mismo formato que las solicitudes de los conjuntos de datos que se han utilizado para ajustar dicho modelo. |
Instrucción ajustada | Instrucción ajustada significa que el modelo se ha ajustado con solicitudes que incluyen una instrucción. Cuando se ajusta una instrucción de un modelo, normalmente responde bien a las solicitudes que tienen una instrucción incluso si esas solicitudes no tienen ejemplos. |
Indemnización IP | Además de los términos de licencia, revise la política de indemnización de propiedad intelectual para el modelo. Para más información, consulte Tipos de modelo e indemnización por IP. |
Licencia | En general, cada modelo de base viene con una licencia diferente que limita la forma en que se puede utilizar el modelo. Revise las licencias de modelo para asegurarse de que puede utilizar un modelo para la solución planificada. |
Arquitectura de modelo | La arquitectura del modelo influye en cómo se comporta el modelo. Un modelo basado en transformador normalmente tiene una de las arquitecturas siguientes: • Sólo codificador: Comprende el texto de entrada a nivel de frase transformando las secuencias de entrada en vectores representativos denominados incorporaciones. Las tareas comunes para los modelos sólo de codificador incluyen la clasificación y la extracción de entidades. • Sólo decodificador: genera texto de salida palabra por palabra por inferencia de la secuencia de entrada. Las tareas comunes para los modelos de sólo decodificador incluyen la generación de texto y la respuesta a preguntas. • Codificador-decodificador: ambos entienden el texto de entrada y generan texto de salida basado en el texto de entrada. Las tareas comunes para los modelos de codificador-descodificador incluyen la traducción y el resumen. |
Disponibilidad regional | Puede trabajar con modelos disponibles en el mismo centro de datos regional de IBM Cloud que sus servicios de watsonx . |
Lenguajes de programación soportados | No todos los modelos de base funcionan bien para programar casos de uso. Si tiene previsto crear una solución que resuma, convierta, genere o de otro modo procese código, revise qué lenguajes de programación se incluyeron en los conjuntos de datos de preentrenamiento de un modelo y las actividades de ajuste para determinar si ese modelo es adecuado para su caso de uso. |
Más información
- Señales y señalización
- Parámetros de modelo para solicitud
- Sugerencias de solicitud
- Modelos de codificador compatibles
- Detalles de facturación de los activos de IA generativa
- Disponibilidad regional para modelos base
Tema principal: Modelos de base soportados