Une collection de modèles open source et IBM foundation sont disponibles pour l'inférence dans IBM watsonx.ai Trouvez les modèles de fondation qui répondent le mieux aux besoins de votre application d'IA générative et à votre budget.
Les modèles de fondation disponibles pour l'inférence à partir de watsonx.ai sont hébergés de différentes manières :
- Modèles de fondation fournis avec watsonx.ai
- Modèles de base IBM, déployés sur du matériel multitenant par IBM et disponibles pour l'inférence. Vous payez en fonction des jetons utilisés. Voir les modèles de fondation fournis avec watsonx.ai
- Déployer des modèles de fondation à la demande
- Une instance d'un foundation model IBM vous déployez et qui est dédié à votre utilisation de l'inférence. Seuls les collègues qui ont accès au déploiement peuvent déduire le foundation model. Un déploiement dédié signifie des interactions plus rapides et plus réactives sans limites de taux. Vous payez l'hébergement du foundation model à l'heure. Voir Déployer des modèles de fondation à la demande.
- Modèles de fondation personnalisés
- Modèles de fondation que vous avez créés et que vous importez et déployez dans watsonx.ai L'instance du foundation model personnalisé que vous déployez est réservée à votre usage. Un déploiement dédié signifie des interactions plus rapides et plus réactives. Vous payez l'hébergement du foundation model à l'heure. Voir Modèles de fondation personnalisés.
- Modèles de fondations adaptés à la demande
- Un sous-ensemble des modèles de fondation disponibles qui peuvent être personnalisés en fonction de vos besoins en ajustant rapidement le modèle à partir de l'API ou du Tuning Studio. Un foundation model à réglage rapide s'appuie sur le foundation model IBM Vous payez pour les ressources que vous consommez pour mettre au point le modèle. Une fois le modèle mis au point, vous payez en jetons utilisés pour inférer le modèle. Voir Modèles de fondations adaptés à la demande.
Si vous souhaitez déployer des modèles de fondation dans votre propre centre de données, vous pouvez acheter le logiciel watsonx.ai Pour plus d'informations, voir Présentation d' IBM watsonx as a Service et du logiciel IBM watsonx.governance
Comparaison des méthodes de déploiement
Pour vous aider à choisir la bonne méthode de déploiement, consultez le tableau comparatif.
| Type de déploiement | Disponible à partir du | Mécanisme de déploiement | environnement d'hébergement | Méthode de facturation | Politique de dépréciation |
|---|---|---|---|---|---|
| Modèles de fondation fournis avec watsonx.ai | - Centre de ressources>Payer par jeton - Prompt Lab |
Créé et déployé par IBM | Matériel multilocataire | Par jetons utilisés | Déclassé selon le cycle de vie publié |
| Déployer des modèles de fondation à la demande | - Centre de ressources>Payer à l'heure - Prompt Lab |
Créé et déployé par IBM à votre demande | Matériel dédié | Par heure déployée | Votre modèle déployé n'est pas obsolète |
| Modèles de fondation personnalisés | • Prompt Lab | Créée et déployée par vos soins | Matériel dédié | Par heure déployée | Non déprécié |
| Modèles de fondations adaptés à la demande | • Prompt Lab | Réglé et déployé par vos soins | Matériel multilocataire | - La formation est facturée par le " CUH - L'inférence est facturée par les jetons utilisés |
Déclassé lorsque le modèle sous-jacent est déclassé à moins que vous n'ajoutiez le modèle sous-jacent en tant que foundation model personnalisé |
Pour plus d'informations sur le calcul et le suivi de la tarification des modèles, voir les détails de la facturation pour les actifs d'IA générative.
Modèles de fondation pris en charge par méthode de déploiement
watsonx.ai propose différents modèles de fondation que vous pouvez utiliser immédiatement ou que vous pouvez déployer sur du matériel dédié à l'usage de votre organisation.
Modèles de fondation fournis avec watsonx.ai
Une collection de modèles de base open source et IBM sont déployés dans IBM watsonx.ai. Vous pouvez demander ces modèles de fondation dans le Prompt Lab ou par programme.
Modèles de fondation IBM fournis avec watsonx.ai
Le tableau suivant répertorie les modèles de base IBM pris en charge par IBM pour l'inférence.
L'utilisation est mesurée en unités de ressources (UR) ; chaque unité est égale à 1 000 jetons provenant de l'entrée et de la sortie de l'inférence du foundation model. Pour plus d'informations sur le calcul et le suivi de la tarification des modèles, voir les détails de la facturation des actifs d'IA générative.
Certains modèles de la fondation IBM sont également disponibles dans des référentiels tiers, comme Hugging Face Les modèles IBM Foundation que vous obtenez à partir d'un référentiel tiers ne sont pas indemnisés par IBM. Seuls les modèles de fondation IBM auxquels vous accédez à partir de watsonx.ai sont indemnisés par IBM Pour plus d'informations sur les protections contractuelles liées à l'indemnisation d' IBM, voir le contrat de relation client IBM et la description du service IBM watsonx.ai
Modèles de fondations tierces fournis avec watsonx.ai
Le tableau suivant répertorie les modèles de fondation tiers pris en charge qui sont fournis avec watsonx.ai
L'utilisation est mesurée en unités de ressources (UR) ; chaque unité est égale à 1 000 jetons provenant de l'entrée et de la sortie de l'inférence du foundation model. Pour plus d'informations sur le calcul et le suivi de la tarification des modèles, voir les détails de la facturation des actifs d'IA générative.
| Nom du modèle | Fournisseur | Prix d entrée*USD/1,000 jetons) |
Prix sortie*USD/1,000 jetons) |
Fenêtre contextuelle (jetons d'entrée et de sortie) |
Informations complémentaires |
|---|---|---|---|---|---|
| allam-1-13b-instruct | National Center for Artificial Intelligence et Saudi Authority for Data and Artificial Intelligence | $0.0018 | $0.0018 | 4,096 | - Carte modèle |
| codellama-34b-instruct | Code Llama | $0.0018 | $0.0018 | 16 384 | - Carte modèle - " Meta AI Blog |
| elyza-japanese-llama-2-7b-instruct | ELYZA, Inc | $0.0018 | $0.0018 | 4,096 | - Modèle de carte - Blog sur note.com |
| flan-t5-xl-3b | $0.0006 | $0.0006 | 4,096 | - Carte modèle - Document de recherche Note : Ce foundation model peut être réglé rapidement.
|
|
| flan-t5-xxl-11b | $0.0018 | $0.0018 | 4,096 | - Modèle de carte - Document de recherche |
|
| flan-ul2-20b | $0.0050 | $0.0050 | 4,096 | - Carte modèle - Document de rechercheUL2 - Document de recherche Flan |
|
| jais-13b-chat | Création, Mohamed bin Zayed University of Artificial Intelligence (MBZUAI), et Cerebras Systems | $0.0018 | $0.0018 | 2,048 | - Modèle de carte - Document de recherche |
| llama-3-3-70b-instruct | Meta | $0.0018 | $0.0018 | 131 072 | - Modèle de carte - " Meta AI blog |
| llama-3-2-1b-instruct | Meta | $0.0001 | $0.0001 | 131 072 | - Carte modèle - " Meta AI blog - Document de recherche |
| llama-3-2-3b-instruct | Meta | $0.00015 | $0.00015 | 131 072 | - Carte modèle - " Meta AI blog - Document de recherche |
| llama-3-2-11b-vision-instruct | Meta | $0.00035 | $0.00035 | 131 072 | - Carte modèle - " Meta AI blog - Document de recherche |
| llama-3-2-90b-vision-instruct | Meta | $0.0020 | $0.0020 | 131 072 | - Carte modèle - " Meta AI blog - Document de recherche |
| llama-guard-3-11b-vision | Meta | $0.00035 | $0.00035 | 131 072 | - Carte modèle - " Meta AI blog - Document de recherche |
| llama-3-1-8b-instruct | Meta | $0.0006 | $0.0006 | 131 072 | - Modèle de carte - " Meta AI blog |
| llama-3-1-70b-instruct | Meta | $0.0018 | $0.0018 | 131 072 | - Modèle de carte - " Meta AI blog |
| llama-3-405b-instruct | Meta | $0.0050 | $0.016 | 16 384 | - Modèle de carte - " Meta AI blog |
| llama-3-8b-instruct | Meta | $0.0006 | $0.0006 | 8 192 | - Modèle de carte - " Meta AI blog |
| llama-3-70b-instruct | Meta | $0.0018 | $0.0018 | 8 192 | - Modèle de carte - " Meta AI blog |
| llama-2-13b-chat | Meta | $0.0006 | $0.0006 | 4,096 | - Modèle de carte - Document de recherche |
| mistral-large | Mistral AI | $0.003 | $0.01 | 32 768 | - Carte modèle - Blog post pour Mistral Large 2 |
| mixtral-8x7b-instruct-v01 | Mistral AI | $0.0006 | $0.0006 | 32 768 | - Modèle de carte - Document de recherche |
| mt0-xxl-13b | BigScience | $0.0018 | $0.0018 | 4,096 | - Modèle de carte - Document de recherche |
| pixtral-12b | Mistral AI | $0.00035 | $0.00035 | 128,000 | - Carte modèle - Blog post pour Pixtral 12B |
- Pour plus d'informations sur les modèles de base pris en charge par IBM pour l'incorporation et le reclassement de texte, voir Modèles de base pris en charge par l'encodeur.
- Pour connaître la liste des modèles fournis dans chaque centre de données régional, voir Disponibilité régionale du foundation model.
- Pour plus d'informations sur la tarification et la limitation des tarifs, voir watsonx.ai Runtime plans.
Modèles de fondation personnalisés
En plus de travailler avec des modèles de base créés par IBM, vous pouvez télécharger et déployer vos propres modèles de base. Une fois les modèles personnalisés déployés et enregistrés dans watsonx.ai, vous pouvez créer des invites qui infèrent les modèles personnalisés à partir du Prompt Lab et de l'API watsonx.ai
Pour en savoir plus sur le téléchargement, l'enregistrement et le déploiement d'un foundation model personnalisé, voir Déploiement d'un foundation model personnalisé.
Déployer des modèles de fondation à la demande
Choisissez un foundation model parmi un ensemble de modèles IBM et déployez-le pour l'usage exclusif de votre organisation.
Pour plus d'informations sur le déploiement d'un foundation model à la demande, voir Déploiement de modèles de fondation à la demande.
Déployer les modèles de fondation à la demande d'IBM
Le tableau suivant répertorie les modèles IBM Foundation que vous pouvez déployer à la demande.
Certains modèles de la fondation IBM sont également disponibles dans des référentiels tiers, comme Hugging Face Les modèles IBM Foundation que vous obtenez à partir d'un référentiel tiers ne sont pas indemnisés par IBM. Seuls les modèles de fondation IBM auxquels vous accédez à partir de watsonx.ai sont indemnisés par IBM Pour plus d'informations sur les protections contractuelles liées à l'indemnisation d' IBM, voir le contrat de relation client IBM et la description du service IBM watsonx.ai
| Nom du modèle | Prix par heure en USD | Catégorie d'hébergement de modèles | Fenêtre contextuelle (jetons d'entrée et de sortie) |
|---|---|---|---|
| granite-13b-chat-v2 | $5.22 | Petit | 8 192 |
| granite-13b-instruct-v2 | $5.22 | Petit | 8 192 |
| granite-20b-code-base-schema-linking | $5.22 | Petit | 8 192 |
| granite-20b-code-base-sql-gen | $5.22 | Petit | 8 192 |
| granite-3-8b-base | $5.22 | Petit | 4,096 |
Déployer à la demande des modèles de fondation provenant de tiers
Le tableau suivant répertorie les modèles de fondations tierces que vous pouvez déployer à la demande.
| Nom du modèle | Fournisseur | Prix par heure en USD | Catégorie d'hébergement de modèles | Fenêtre contextuelle (jetons d'entrée et de sortie) |
|---|---|---|---|---|
| flan-t5-xl-3b | $5.22 | Petit | 4,096 | |
| flan-t5-xxl-11b | $5.22 | Petit | 4,096 | |
| flan-ul2-20b | $5.22 | Petit | 4,096 | |
| llama-2-13b-chat | Meta | $5.22 | Petit | 4,096 |
| llama-2-70b-chat | Meta | $20.85 | Grand | 4,096 |
| llama-3-8b-instruct | Meta | $5.22 | Petit | 8 192 |
| llama-3-70b-instruct | Meta | $20.85 | Grand | 8 192 |
| llama-3-1-8b | Meta | $5.22 | Petit | 131 072 |
| llama-3-1-8b-instruct | Meta | $5.22 | Petit | 131 072 |
| llama-3-3-70b-instruct | Meta | $10.40 | Moyen | 8 192 |
| llama-3-3-70b-instruct-hf | Meta | $20.85 | Grand | 8 192 |
| mixtral-8x7b-base | Mistral AI | $10.40 | Moyen | 32 768 |
| mixtral-8x7b-instruct-v01 | Mistral AI | $10.40 | Moyen | 32 768 |
| mistral-nemo-instruct-2407 | Mistral AI | $5.22 | Petit | 131 072 |
| mt0-xxl-13b | BigScience | $5.22 | Petit | 4,096 |
Modèles de fondations adaptés à la demande
Vous pouvez personnaliser les modèles de base suivants en les paramétrant dans watsonx.ai:
Pour plus d'informations, voir Tuning Studio.
En savoir plus
- Détails du modèle de fondation
- Détails de la facturation pour les actifs d'IA générative
- Disponibilité régionale du foundation model
Rubrique parent: Développement de solutions d'IA génératives