Pour un déploiement correct, vous devez configurer un espace de déploiement, puis sélectionner et configurer un type de déploiement spécifique. Après avoir déployé des actifs, vous pouvez les gérer et les mettre à jour pour vous assurer qu'ils fonctionnent correctement et pour surveiller leur exactitude.
Pour pouvoir déployer des actifs à partir d'un espace, vous devez disposer d'une instance de service d'apprentissage automatique mise à disposition et associée à cet espace.
Les déploiements en ligne et par lots offrent des moyens simples de créer un noeud final d'évaluation en ligne ou d'effectuer une évaluation par lots avec vos modèles.
Si vous souhaitez implémenter une logique personnalisée:
- Créez une fonction Python à utiliser pour créer votre noeud final en ligne
- Ecrire un bloc-notes ou un script pour l'évaluation par lots
Actifs déployables
Voici la liste des actifs que vous pouvez déployer à partir d'un espace d'exécution watsonx.ai, avec des informations sur les types de déploiement applicables :
| Type d'actif | Déploiement par lot | Déploiement en ligne |
|---|---|---|
| Fonctions | Oui | Oui |
| Modèles | Oui | Oui |
| Scripts | Oui | Non |
Remarques :
- Une tâche de déploiement est un moyen d'exécuter un déploiement par lots, ou un actif autonome comme un flux dans watsonx.ai Runtime. Vous pouvez sélectionner l'entrée et la sortie de votre travail et choisir de l'exécuter manuellement ou selon un planning. Pour plus d'informations, voir Création d'un travail de déploiement.
- Vous pouvez déployer un modèle de traitement du langage naturel en utilisant des fonctions ou des scripts Python. Les déploiements en ligne et par lots sont pris en charge.
- Les blocs-notes et les flux utilisent des environnements de bloc-notes. Vous pouvez les exécuter dans un espace de déploiement, mais ils ne sont pas déployables.
Pour plus d'informations, voir :
- Création de déploiements en ligne
- Création de déploiements par lots
- Déploiement de fonctions Python
- Déployer des modèles NLP
- Déploiement de scripts
Après avoir déployé des actifs, vous pouvez les gérer et les mettre à jour pour vous assurer qu'ils fonctionnent correctement et pour surveiller leur exactitude. Voici quelques façons de gérer ou de mettre à jour un déploiement:
Gérer les travaux de déploiement. Une fois que vous avez créé un ou plusieurs travaux, vous pouvez les afficher et les gérer à partir de l'onglet Travaux de votre espace de déploiement.
Mise à jour d'un déploiement. Par exemple, vous pouvez remplacer un modèle par une version plus performante sans avoir à créer un déploiement.
Mettez à l'échelle un déploiement pour augmenter la disponibilité et le débit en créant des répliques du déploiement.
Supprimer un déploiement pour supprimer un déploiement et libérer des ressources.
Configuration de passerelles d'API pour fournir des noeuds finaux stables
watsonx.ai Runtime fournit des points de terminaison stables pour éviter les temps d'arrêt. Toutefois, vous risquez de connaître un temps d'indisponibilité si vous passez à une nouvelle instance Cloud Pak for Data ou si vous ajoutez une instance.
Les passerelles d'API fournissent une URL stable qui peut être utilisée avec votre noeud final d'API Watson Machine Learning . Vous pouvez utiliser une passerelle d'API (disponible dans Cloud Pak for Integration) avec vos noeuds finaux de déploiement pour gérer les temps d'indisponibilité si cela se produit dans les cas suivants:
- Si vous disposez de plusieurs instances de Cloud Pak for Data dans une configuration à haute disponibilité et que l'une des instances disponibles échoue. Dans ce cas, vous pouvez utiliser une passerelle d'API pour basculer automatiquement vers une autre instance, empêchant ainsi toute défaillance complète.
- Si plusieurs applications utilisent le même noeud final et que le noeud final de déploiement n'est pas disponible. Par exemple, si vous supprimez accidentellement le déploiement. Dans ce cas, vous pouvez mettre à jour le noeud final dans la passerelle d'API pour vous assurer que les applications continuent de l'utiliser.
Activation de la prise en charge des GPU et des MIG pour les moteurs d'exécution de déploiement
Si vous déployez un modèle d'apprentissage automatique prédictif qui nécessite une puissance de traitement importante pour l'inférence, vous pouvez éventuellement configurer un GPU pour les durées d'exécution du déploiement.
Vous pouvez également activer le support MIG pour les GPU lorsque vous souhaitez déployer une application qui ne nécessite pas la pleine puissance d'un GPU entier. Si vous configurez MIG pour des charges de travail accélérées par le GPU, tous les nœuds dotés d'un GPU doivent adhérer à une stratégie unique déterminée lors des étapes de configuration précédentes. Cela permet de garantir un comportement cohérent sur tous les nœuds dotés d'un GPU dans la grappe. Pour configurer la prise en charge MIG, voir le guide Nvidia pour la configuration de la prise en charge MIG.
En savoir plus
Rubrique parent : Déploiement d'actifs