Vous pouvez télécharger et déployer un foundation model personnalisé à utiliser avec les capacités d'inférence de watsonx.ai
En plus de travailler avec des modèles de base créés par IBM, vous pouvez maintenant déployer vos propres modèles de base. Une fois les modèles déployés, créez des invites qui infèrent les modèles personnalisés à partir du laboratoire d'invites.
Le déploiement d'un foundation model personnalisé vous offre la flexibilité nécessaire pour mettre en œuvre les solutions d'IA qui conviennent à votre cas d'utilisation.
Si vous utilisez un modèle provenant d'un fournisseur tiers, il est préférable d'obtenir le modèle directement auprès du concepteur du modèle. L'un des endroits où trouver de nouveaux modèles est Hugging Face, un dépôt de modèles de fondations open source utilisé par de nombreux modélistes.
Regardez cette vidéo pour savoir comment déployer un foundation model personnalisé.
Cette vidéo fournit une méthode visuelle pour apprendre les concepts et les tâches de cette documentation.
Importation de modèles de fondation personnalisés dans un espace de déploiement
Le processus de déploiement d'un foundation model et sa mise à disposition pour l'inférence comprennent des tâches effectuées par un ingénieur ModelOps et un ingénieur Prompt.
L'ingénieur ModelOps doit d'abord télécharger le modèle vers le stockage en nuage (interne ou externe). Pour déployer un foundation model personnalisé, l'ingénieur ModelOps doit créer ou promouvoir une ressource de foundation model dans le projet de déploiement ou le contexte spatial.
Une fois le modèle déployé en production, l'ingénieur Prompt peut demander le foundation model personnalisé à partir du Prompt Lab ou de l'API watsonx.ai
Le graphique suivant représente un flux de tâches généralement effectuées par un ingénieur ModelOps et un ingénieur Prompt :
Préparation du modèle
Pour préparer le modèle, l'ingénieur ModelOps doit effectuer les tâches suivantes :
Déployer un foundation model personnalisé
Après avoir préparé le modèle, l'ingénieur ModelOps doit effectuer les tâches suivantes :
Demander le foundation model personnalisé
Lorsque le modèle est déployé, l'ingénieur Prompt peut commencer à solliciter le foundation model personnalisé à partir du Prompt Lab ou de l'API watsonx.ai Voir Utilisation du foundation model personnalisé pour générer des messages d'invite.
Etapes suivantes
En savoir plus
- Développement de solutions d'IA générative avec des modèles de fondation (watsonx.ai)
- Taux de facturation pour les modèles de fondation personnalisés
Sujet parent : Déployer les actifs du foundation model