Lorsque vous créez un déploiement en ligne pour un modèle ou une fonction à partir d'un espace de déploiement ou à l'aide d'un programme, une seule copie de l'actif est déployée par défaut. Pour accroître l'évolutivité et la disponibilité, vous pouvez augmenter le nombre de copies (répliques) en modifiant la configuration du déploiement. Un plus grand nombre de copies permet un plus grand volume de demandes d'évaluation.
Les déploiements peuvent être mis à l'échelle de l'une des manières suivantes :
- En mettant à jour la configuration d'un déploiement dans un espace de déploiement.
- Programmatiquement, en utilisant la bibliothèque client Python de watsonx watsonx.ai Runtime, ou les API REST de watsonx.ai Runtime.
Avant de commencer
Vous devez définir les informations d'identification de votre tâche en générant une clé API. Pour plus d'informations, voir Gestion des informations d'identification des tâches.
Modification du nombre de copies d'un déploiement en ligne à partir d'un espace
- Cliquez sur l'onglet Déploiement de votre espace de déploiement.
- Dans le menu d'actions correspondant à votre nom de déploiement, cliquez sur Editer.
- Dans la boîte de dialogue Editer le déploiement , modifiez le nombre de copies et cliquez sur Sauvegarder.
Augmentation du nombre de répliques d'un déploiement à l'aide d'un programme
Pour afficher ou exécuter un exemple opérationnel de mise à l'échelle d'un déploiement à l'aide d'un programme, vous pouvez augmenter le nombre de répliques dans les métadonnées pour un déploiement.
Exemple Python
L'exemple suivant utilise le client Python pour affecter la valeur 3 au paramètre de nombre de répliques :
change_meta = {
client.deployments.ConfigurationMetaNames.HARDWARE_SPEC: {
"name":"S",
"num_nodes":3}
}
client.deployments.update(<deployment_id>, change_meta)
La valeur HARDWARE_SPEC inclut un nom car l'API requiert la spécification d'un nom ou d'un ID.
Exemple d'API REST
curl -k -X PATCH -d '[ { "op": "replace", "path": "/hardware_spec", "value": { "name": "S", "num_nodes": 2 } } ]' <Deployment end-point URL>
Vous devez indiquer un nom pour la valeur hardware_spec, mais l'argument n'est pas appliqué pour la mise à l'échelle.
Rubrique parent: Gestion des déploiements prédictifs