IBM watsonx.ai met à votre disposition une collection de modèles de fondation que vous pouvez déployer à la demande sur du matériel dédié à l'usage exclusif de votre organisation. En utilisant cette approche, vous pouvez accéder aux capacités de ces puissants modèles de fondations sans avoir besoin de ressources informatiques importantes. Les modèles de fondation que vous déployez à la demande sont hébergés dans un espace de déploiement dédié où vous pouvez utiliser ces modèles pour l'inférence.
Modèles de fondations soutenus
Les modèles de fondation que vous pouvez déployer à la demande sont hébergés par IBM et facturés sur la base d'un taux de facturation à l'heure. Ces modèles sont des modèles à locataire unique. Par conséquent, le déploiement de ces modèles vous est exclusif et n'est pas partagé avec d'autres utilisateurs à des fins d'inférence. Vous êtes facturé à l'heure tant que le déploiement est actif. Pour plus d'informations, voir Tarifs de facturation horaire pour les modèles de déploiement à la demande.
Pour obtenir une liste des modèles disponibles pour le déploiement à la demande, ainsi que des descriptions et des taux de facturation, voir Modèles de fondation pris en charge.
Lorsqu'un foundation model déployé à la demande est obsolète, vous pouvez continuer à utiliser le modèle jusqu'à ce que vous supprimiez votre déploiement.
Types de déploiement pris en charge
Vous ne pouvez créer des déploiements en ligne que pour les modèles de fondation qui sont déployés à la demande. Les déploiements par lots ne sont pas pris en charge.
Considérations relatives au déploiement de modèles de fondation à la demande
Vous ne pouvez déployer qu'une seule instance d'un foundation model qui peut être déployé à la demande dans un espace de déploiement. Si vous avez besoin de plus de ressources pour votre modèle, vous pouvez ajouter des copies supplémentaires de votre ressource de modèle déployée en la mettant à l'échelle.
Limitation et restrictions
En raison de la forte demande de modèles de fondation déployés à la demande et des ressources limitées pour l'accueillir, watsonx.ai a une limite de déploiement de quatre petits modèles, deux modèles moyens ou un grand modèle par compte IBM Cloud
Les restrictions suivantes s'appliquent aux modèles de fondation déployés à la demande :
- Il n'est pas possible de régler un foundation model qui est déployé à la demande.
- Vous pouvez inviter un foundation model déployé à la demande et l'enregistrer en tant que modèle d'invite. Cependant, vous ne pouvez pas déployer un modèle d'invite enregistré pour le foundation model qui est déployé à la demande. Si votre modèle utilise la génération augmentée par récupération (RAG), vous pouvez le déployer en tant que service d'IA.
- Vous ne pouvez pas utiliser watsonx.governance pour évaluer ou suivre un modèle d'invite pour un foundation model déployé à la demande.
Etapes suivantes
Choisissez une méthode pour déployer un foundation model à la demande :
- Pour déployer des modèles de fondation à la demande à partir du centre de ressources en quelques étapes simples, voir Déployer des modèles de fondation à la demande à partir du centre de ressources.
- Pour déployer des modèles de fondation de manière programmatique, voir Déployer des modèles de fondation à la demande avec l'API REST.
Thème parent : Déployer des ressources d'IA générative