De nombreux facteurs doivent être pris en compte lors du choix d'un foundation model à utiliser pour l'inférence dans le cadre d'un projet d'IA générative.
Déterminez les facteurs les plus importants pour vous et votre organisation.
- Tâches que le modèle peut accomplir
- Modèles de fondations multimodales
- Langes prises en charge
- Options de réglage pour personnaliser le modèle
- Conditions de licence et d'indemnisation de la propriété intellectuelle
- Attributs du modèle, tels que la taille, l'architecture et la longueur de la fenêtre contextuelle
Après avoir dressé une liste restreinte des modèles qui répondent le mieux à vos besoins, vous pouvez les tester afin de déterminer ceux qui produisent systématiquement les résultats souhaités.
Modèles de base qui prennent en charge votre cas d'utilisation
Pour commencer, recherchez les modèles de base qui peuvent effectuer le type de tâche que vous souhaitez effectuer.
Le tableau suivant présente les types de tâches prises en charge par les modèles de base d'IBM watsonx.ai Une coche (✓) indique que la tâche nommée dans l'en-tête de la colonne est prise en charge par le foundation model. Pour certaines tâches, vous pouvez cliquer sur un lien pour accéder à un exemple d'invite pour la tâche. Vous pouvez également consulter la rubrique Exemples d'invites pour examiner divers exemples d'invites regroupés par type de tâche.
| Modèle | Conversation | Génération et conversion de codes | Interaction avec l'outil à partir de l'API Chat | (classification, extraction, questions-réponses, résumé) |
Génération augmentée par récupération (RAG) | Traduction |
|---|---|---|---|---|---|---|
| granite-13b-instruct-v2 | ✓ Chat de Prompt Lab |
✓ Échantillon de génération |
✓ RAG de Prompt Lab |
|||
| granite-7b-lab | ✓ Chat de Prompt Lab |
✓ Exemple de résumé |
✓ - RAG from Prompt Lab - RAG from AutoAI |
|||
| granite-8b-japanese | ✓*Échantillon de |
Échantillon de traduction |
||||
| granite-20b-multilingual | ✓ Chat de Prompt Lab |
✓ | ✓ RAG de Prompt Lab |
Échantillon de traduction |
||
| granite-3-2b-instruct | ✓ Exemples : - Chat à partir de Prompt Lab - A partir de Chat API : Exemple |
✓ Exemple de code |
✓ | ✓ | ||
| granite-3-8b-instruct | ✓ Exemples : - Chat à partir de Prompt Lab - A partir de Chat API : Exemple |
✓ Exemple de code |
✓*Echantillon d'appel d' |
✓ | ✓ | |
| granite-guardian-3-2b | ✓ Chat de Prompt Lab |
✓ | ✓ RAG de Prompt Lab |
|||
| granite-guardian-3-8b | ✓ Chat de Prompt Lab |
✓ | ✓ RAG de Prompt Lab |
|||
| granite-3b-code-instruct | ✓ Chat de Prompt Lab |
✓ Exemple de code |
||||
| granite-8b-code-instruct | ✓ Chat de Prompt Lab |
✓ Exemple de code |
||||
| granite-20b-code-instruct | ✓ Exemples : - Chat à partir de Prompt Lab - A partir de Chat API : Exemple |
✓ Exemple de code |
||||
| granite-20b-code-base-schema-linking | ✓ Code texte-SQL |
|||||
| granite-20b-code-base-sql-gen | ✓ Code texte-SQL |
|||||
| granite-34b-code-instruct | ✓ Exemples : - Chat à partir de Prompt Lab - A partir de Chat API : Exemple |
✓ Exemple de code |
||||
| allam-1-13b-instruct | ✓ Chat de Prompt Lab |
✓ Échantillon de classification |
Échantillon de traduction |
|||
| codellama-34b-instruct-hf | ✓ Exemple de code |
|||||
| elyza-japanese-llama-2-7b-instruct | ✓ Échantillon de classification |
Échantillon de traduction |
||||
| flan-t5-xl-3b | ✓ | ✓ RAG de Prompt Lab |
||||
| flan-t5-xxl-11b | ✓ Exemples : - Questions et réponses - Classification - Synthèse |
✓ RAG de Prompt Lab |
✓ | |||
| flan-ul2-20b | ✓ Échantillons : - Questions et réponses - Classification - Extraction - Synthèse |
✓ RAG from Prompt Lab - RAG from AutoAI |
||||
| jais-13b-chat | ✓ Chat de Prompt Lab Exemple de chat |
✓ | ✓ | |||
| llama-3-3-70b-instruct | ✓ Échantillons : - Chat de Prompt Lab : Exemple de chat - A partir de l'API Chat : Exemple |
✓*Echantillon d'appel d' |
✓ | ✓ RAG de Prompt Lab |
||
| llama-3-2-1b-instruct | ✓ - Chat de Prompt Lab : Exemple de chat - A partir de l'API Chat : Exemple |
✓ Exemple de code |
✓*Echantillon d'appel d' |
✓ | ✓ RAG de Prompt Lab |
|
| llama-3-2-3b-instruct | ✓ - Chat de Prompt Lab : Exemple de chat - A partir de l'API Chat : Exemple |
✓ Exemple de code |
✓ | ✓ RAG de Prompt Lab |
||
| llama-3-2-11b-vision-instruct | ✓ Exemples : - Chat de Prompt Lab : Chat avec exemple d'image - A partir de l'API Chat : Exemple |
✓*Echantillon d'appel d' |
✓ | ✓ RAG de Prompt Lab |
||
| llama-3-2-90b-vision-instruct | ✓ Exemples : - Chat de Prompt Lab : Chat avec exemple d'image - A partir de l'API Chat : Exemple |
✓*Echantillon d'appel d' |
✓ RAG de Prompt Lab |
|||
| llama-3-1-8b | ✓ Chat de Prompt Lab Exemple de chat |
✓ | ✓ | ✓ Échantillons : - RAG de Prompt Lab |
||
| llama-3-1-8b-instruct | ✓ Chat de Prompt Lab Exemple de chat |
✓*Echantillon d'appel d' |
✓ | ✓ Échantillons : - RAG de Prompt Lab - RAG d' AutoAI |
||
| llama-3-1-70b-instruct | ✓ Échantillons : - Chat de Prompt Lab : Exemple de chat - A partir de l'API Chat : Exemple |
✓*Echantillon d'appel d' |
✓ | ✓ - RAG from Prompt Lab - RAG from AutoAI |
||
| llama-3-405b-instruct | ✓ - Chat de Prompt Lab : Exemple de chat - A partir de l'API Chat : Exemple |
✓*Echantillon d'appel d' |
✓ | ✓ RAG de Prompt Lab |
||
| llama-3-8b-instruct | ✓ Échantillons : - Chat de Prompt Lab : Exemple de chat - A partir de l'API Chat : Exemple |
✓ RAG de Prompt Lab |
||||
| llama-3-70b-instruct | ✓ Échantillons : - Chat de Prompt Lab : Exemple de chat - A partir de l'API Chat : Exemple |
✓ | ✓ - RAG from Prompt Lab - RAG from AutoAI |
|||
| llama-2-13b-chat | ✓ Chat de Prompt Lab Exemple de chat |
✓ | ✓ RAG de Prompt Lab |
|||
| llama-guard-3-11b-vision | ✓ Exemples : - Chat de Prompt Lab : Chat avec exemple d'image - A partir de l'API Chat : Exemple |
✓ Échantillon de classification |
✓ RAG de Prompt Lab |
|||
| mistral-large | ✓ Exemples : - Chat à partir de Prompt Lab - A partir de Chat API : Exemple |
✓ Exemple de code |
✓*Echantillon d'appel d' |
✓ Échantillons : - Classification - Extraction - Synthèse |
✓ - RAG from Prompt Lab - RAG from AutoAI |
✓ Traduction |
| mixtral-8x7b-base | ✓ Chat de Prompt Lab |
✓ Exemple de code |
✓ Échantillons : - Classification - Extraction - Génération ' - Synthèse |
✓ - RAG de Prompt Lab |
Échantillon de traduction |
|
| mixtral-8x7b-instruct-v01 | ✓ Chat de Prompt Lab |
✓ Exemple de code |
✓ Échantillons : - Classification - Extraction - Génération ' - Synthèse |
✓ - RAG from Prompt Lab - RAG from AutoAI |
Échantillon de traduction |
|
| mixtral-nemo-instruct-2407 | ✓ Chat de Prompt Lab |
✓ Exemple de code |
✓ Échantillons : - Classification - Extraction - Génération ' - Synthèse |
✓ - RAG de Prompt Lab |
Échantillon de traduction |
|
| mt0-xxl-13b | ✓ Exemples : - Classification - Q&R |
✓ RAG de Prompt Lab |
||||
| pixtral-12b | ✓ Chat from Prompt Lab Chat avec exemple d'image |
✓ | ✓ Échantillons : - Classification - Extraction - Synthèse |
✓ RAG de Prompt Lab |
Modèles de fondations multimodales
Les modèles de fondation multimodaux sont capables de traiter et d'intégrer des informations provenant de plusieurs modalités ou types de données. Ces modalités peuvent inclure du texte, des images, du son, de la vidéo et d'autres formes d'apports sensoriels.
Les modèles de fondation multimodaux disponibles sur watsonx.ai peuvent effectuer les types de tâches suivants :
- Génération d'images en texte
- Utile pour répondre à des questions visuelles, interpréter des tableaux et des graphiques, légender des images, etc.
Le tableau suivant répertorie les modèles de fondation disponibles qui prennent en charge des modalités autres que l'entrée et la sortie de texte.
| Modèle | Modalités d'entrée | Modalités de sortie |
|---|---|---|
| llama-3-2-11b-vision-instruct | image, texte | texte |
| llama-3-2-90b-vision-instruct | image, texte | texte |
| llama-guard-3-11b-vision | image, texte | texte |
| pixtral-12b | image, texte | texte |
Des modèles de base qui prennent en charge votre langue
De nombreux modèles de fondations ne fonctionnent bien qu'en anglais. Mais certains créateurs de modèles incluent plusieurs langues dans les jeux de données de préentraînement pour affiner leur modèle sur les tâches dans différentes langues et pour tester les performances de leur modèle dans plusieurs langues. Si vous prévoyez de créer une solution pour un public global ou une solution qui effectue des tâches de traduction, recherchez les modèles qui ont été créés avec un support multilingue à l'esprit.
Le tableau suivant répertorie les langues naturelles prises en charge en plus de l'anglais par les modèles de base dans watsonx.ai. Pour plus d'informations sur les langues prises en charge pour les modèles de base multilingues, voir la fiche du foundation model.
| Modèle | Langues autres que l'anglais |
|---|---|
| granite-8b-japanese | Japonais |
| granite-20b-multilingual | Allemand, espagnol, français et portugais |
| Granite Instruct 3.1granite-3-2b-instruct, granite-3-8b-instruct ) | Anglais, allemand, espagnol, français, japonais, portugais, arabe, tchèque, italien, coréen, néerlandais et chinois (simplifié) |
| Granitegranite-3-8b-base ) | Anglais, allemand, espagnol, français, japonais, portugais, arabe, tchèque, italien, coréen, néerlandais, chinois (simplifié) |
| allam-1-13b-instruct | Arabe |
| elyza-japanese-llama-2-7b-instruct | Japonais |
| flan-t5-xl-3b | Multilingue(voir la carte du modèle) |
| flan-t5-xxl-11b | Français, allemand |
| jais-13b-chat | Arabe |
| Llama 3.3 llama-3-3-70b-instruct, llama-3-3-70b-instruct-hf ) | Anglais, allemand, français, italien, portugais, hindi, espagnol et thaï |
| Llama 3.2 (llama-3-2-1b-instruct, llama-3-2-3b-instruct. Egalement llama-3-2-11b-vision-instruct, llama-3-2-90b-vision-instruct, et llama-guard-3-11b-vision avec des entrées en texte seul) | Anglais, allemand, français, italien, portugais, hindi, espagnol et thaï |
| Llama 3.1 (llama-3-1-8b-instruct, llama-3-1-70b-instruct, llama-3-405b-instruct) | Anglais, allemand, français, italien, portugais, hindi, espagnol et thaï |
| mistral-large | Multilingue(voir la carte du modèle) |
| mixtral-8x7b-base, mixtral-8x7b-instruct-v01 | Français, allemand, italien, espagnol |
| mistral-nemo-instruct-2407 | Plusieurs langues, notamment l'anglais, le français, l'allemand, l'espagnol, l'italien, le portugais, le chinois, le japonais, le coréen, l'arabe et l'hindi. |
| mt0-xxl-13b | Multilingue(voir la carte du modèle) |
Modèles de base que vous pouvez optimiser
Certains des modèles de base disponibles dans watsonx.ai peuvent être optimisés pour mieux répondre à vos besoins.
La méthode d'optimisation suivante est prise en charge:
- Réglage de l'invite : Exécute des expériences de réglage qui ajustent le vecteur d'invite qui est inclus dans l'entrée du foundation model. Après plusieurs exécutions, trouve le vecteur prompt qui peut le mieux guider le foundation model pour qu'il renvoie des résultats adaptés à votre tâche.
Le tableau suivant présente les méthodes d'optimisation des modèles de base disponibles dans IBM watsonx.ai. Une coche (✓) indique que la méthode de réglage nommée dans l'en-tête de la colonne est prise en charge par le foundation model.
| Nom du modèle | Optimisation des invites |
|---|---|
| flan-t5-xl-3b | ✓ |
| granite-13b-instruct-v2 | ✓ |
Pour plus d'informations, voir Tuning Studio.
Types de modèles et indemnisation de la propriété intellectuelle
Examinez la politique d'indemnisation de la propriété intellectuelle pour le foundation model que vous souhaitez utiliser. Certains fournisseurs de foundation model tiers vous demandent de les exonérer de toute responsabilité en cas d'atteinte à la propriété intellectuelle pouvant résulter de l'utilisation de leurs modèles d'IA.
Les modèles de fondation développés par IBM et disponibles auprès de watsonx.ai bénéficient d'une protection standard de la propriété intellectuelle, similaire à celle fournie par IBM pour les produits matériels et logiciels.
IBM étend son indemnisation standard de la propriété intellectuelle aux résultats générés par les modèles couverts. Les modèles couverts comprennent les modèles développés par IBM et certains modèles de base tiers disponibles auprès de watsonx.ai. Les modèles couverts par des tiers sont indiqués dans le tableau 4.
Le tableau suivant décrit les différents types de foundation model et leurs politiques d'indemnisation. Voir les documents de référence pour plus de détails.
| Type de modèle de fondation | Politique d'indemnisation | Modèles de fondation | Détails | Matériaux de référence |
|---|---|---|---|---|
| IBM Modèle couvert | Indemnisation non plafonnée IBM | - IBM Granite - IBM Ardoise |
IBM ont développé des modèles de base qui sont disponibles sur watsonx.ai. Pour conserver la couverture d'indemnisation IBM IP pour la sortie du modèle, vous devez prendre les mesures suivantes : - Appliquer des garde-fous AI aux demandes d'inférence ' - Utiliser watsonx.governance, qui est proposé en tant que service distinct, pour enregistrer et surveiller la sortie du foundation model |
Description du service |
| Modèle couvert par un tiers | Indemnisation plafonnée IBM | Mistral Large | Modèles couverts par des tiers et disponibles sur watsonx.ai. Pour conserver la couverture d'indemnisation IBM IP pour la sortie du modèle, vous devez prendre les mesures suivantes : - Appliquer des garde-fous AI aux demandes d'inférence ' - Utiliser watsonx.governance, qui est proposé en tant que service distinct, pour enregistrer et surveiller la sortie du foundation model |
Description du service |
| Produit non-IBM Produit | Aucune IBM indemnisation | Plusieurs | Modèles de tiers disponibles sur watsonx.ai et soumis à leurs conditions de licence respectives, y compris les obligations et restrictions associées. | Voir les informations sur le modèle. |
| Modèle personnalisé | Aucune IBM indemnisation | Plusieurs | Les modèles de fondation que vous importez pour les utiliser dans watsonx.ai sont des contenus de clients. | Le client est seul responsable de la sélection et de l'utilisation du modèle et des résultats, ainsi que du respect des conditions, obligations et restrictions liées aux licences des tiers. |
Pour plus d'informations, consultez les rubriques suivantes :
- Garde-fous de l'IA
- Vue d'ensemble de watsonx.governance
- Modèles de fondations pris en charge (comprend des liens vers les conditions de licence des modèles tiers)
Autres considérations pour le choix d'un modèle
| Modèle, attribut | Considérations |
|---|---|
| Longueur du contexte | Parfois appelée longueur de fenêtre de contexte, fenêtre de contexteou longueur de séquence maximale, la longueur de contexte est la valeur maximale autorisée pour le nombre de jetons dans l'invite d'entrée plus le nombre de jetons dans la sortie générée. Lorsque vous générez une sortie avec des modèles dans watsonx.ai, le nombre de jetons dans la sortie générée est limité par le paramètre Max tokens. |
| Coût | Le coût d'utilisation des modèles de base est mesuré en unités de ressources. Le prix d'une unité de ressource est basé sur le taux du palier de tarification pour le foundation model. |
| Affiné | Après le préapprentissage d'un foundation model, de nombreux modèles de base sont affinés pour des tâches spécifiques, telles que la classification, l'extraction d'informations, le résumé, la réponse à des instructions, la réponse à des questions ou la participation à un dialogue de va-et-vient. Un modèle qui fait l'objet d'un réglage fin sur des tâches similaires à votre utilisation planifiée est généralement plus efficace avec des invites de mise à zéro que les modèles qui ne sont pas affinés d'une manière qui correspond à votre cas d'utilisation. Une façon d'améliorer les résultats d'un modèle affiné consiste à structurer votre invite dans le même format que les invites des jeux de données qui ont été utilisés pour affiner ce modèle. |
| Instruction optimisée | Instruction optimisée signifie que le modèle a été affiné avec des invites qui incluent une instruction. Lorsqu'un modèle est réglé sur instruction, il répond généralement bien aux invites qui ont une instruction, même si ces invites n'ont pas d'exemples. |
| Indemnité de propriété intellectuelle | En plus des termes de la licence, passez en revue la politique d'indemnisation en matière de propriété intellectuelle pour le modèle. Pour plus d'informations, voir Types de modèles et indemnisation de la propriété intellectuelle. |
| Licence | En général, chaque foundation model est accompagné d'une licence différente qui limite l'utilisation du modèle. Passez en revue les licences de modèle pour vous assurer que vous pouvez utiliser un modèle pour votre solution planifiée. |
| Architecture de modèle | L'architecture du modèle influence le comportement du modèle. Un modèle basé sur un transformateur possède généralement l'une des architectures suivantes: Encoder-only: comprend le texte d'entrée au niveau de la phrase en transformant les séquences d'entrée en vecteurs de représentation appelés incorporations. Les tâches communes pour les modèles d'encodeur uniquement incluent la classification et l'extraction d'entité. Decoder uniquement: Génère un texte de sortie mot à mot par inférence à partir de la séquence d'entrée. Les tâches courantes pour les modèles de décodeur uniquement incluent la génération de texte et la réponse aux questions. Encoder-decoder: Les deux comprennent le texte d'entrée et génèrent du texte de sortie en fonction du texte d'entrée. Les tâches courantes pour les modèles encodeur-décodeur comprennent la traduction et la synthèse. |
| Disponibilité régionale | Vous pouvez utiliser des modèles disponibles dans le même centre de données régional IBM Cloud que vos services watsonx . |
| Langages de programmation pris en charge | Tous les modèles de base ne fonctionnent pas bien pour les cas d'utilisation de la programmation. Si vous prévoyez de créer une solution qui récapitule, convertit, génère ou traite du code, vérifiez quels langages de programmation ont été inclus dans les ensembles de données de préapprentissage d'un modèle et les activités d'optimisation pour déterminer si ce modèle est adapté à votre cas d'utilisation. |
En savoir plus
- Jetons et marquage sémantique
- Paramètres de modèle pour l'invite
- Astuces d'invite
- Modèles d'encodeurs pris en charge
- Détails de la facturation pour les actifs d'IA générative
- Disponibilité régionale pour les modèles de base
Rubrique parent: Modèles de base pris en charge