Déploiement et gestion des modèles de base à la demande avec l'API REST

Interrogation sur l'état du déploiement

Vous pouvez demander l'état du déploiement en utilisant l'identifiant du déploiement. Lorsque le statut passe de « initialisation » à « prêt », votre déploiement est prêt à être utilisé.

L'exemple de code suivant montre comment utiliser l'API REST pour demander l'état du déploiement :

curl -X GET "<Your watsonx URL>/ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&project_id=<replace with your project ID>" \
-H "Authorization: Bearer <replace with your token>"

Sortie :

"deployed_asset_type": "curated_foundation_model"

Génération de la réponse textuelle

L'exemple de code suivant montre comment générer une réponse texte à l'aide du point de terminaison de l'API /ml/v1/deployments/<deployment ID>/text/generation :

L'extrait de code suivant montre comment tester un modèle de base déployé à la demande pour l'inférence en ligne :

curl -X POST "<Your watsonx URL>/ml/v1/deployments/<replace with your deployment ID>/text/generation?version=2024-01-29" \
-H "Authorization: Bearer <replace with your token>" \
-H "content-type: application/json" \
--data '{
 "input": "Hello, what is your name",
 "parameters": {
    "max_new_tokens": 200,
    "min_new_tokens": 20
 }
}'

Vous pouvez également utiliser l'API de chat pour solliciter le modèle de fondation personnalisé que vous avez déployé. Pour activer la prise en charge de l'API de chat, le contenu du modèle (fichiertokenizer_config.json dans le contenu du modèle) doit inclure un modèle de chat. La prise en charge de l'API de chat ne peut être utilisée que pour inviter les modèles qui utilisent le moteur d'exécution vLLM pour le déploiement, et qui doivent donc être déployés avec la spécification logicielle watsonx-cfm-caikit-1.1 .

L'exemple de code suivant montre comment générer une réponse texte à l'aide du point de terminaison de l'API /ml/v1/deployments/<deployment ID>/text/chat :

curl --request POST\
--url'<Your watsonx URL>/ml/v1/deployments/<deployment-id>/text/chat?version=2020-10-10'\
--header'Authorization: Bearer$token'\
--header'Content-Type: application/json'\
--data'{
	"messages": [
	  {
	    "role": "user",
		"content": [
		  {
			"type": "text",
			"text": "What is the capital of India"
		  }
		]
	  },
	  {
			"role": "assistant",
			"content": "New Delhi."
		},
		{
		"role": "user",
		"content": [
		  {
			"type": "text",
			"text": "Which continent"
		  }
		]
	  }
	]
}'

Génération d'une réponse au flux

Vous pouvez utiliser l'API de chat pour inviter votre modèle de fondation personnalisé déployé, qui met en œuvre des méthodes pour interagir avec les modèles de fondation de manière conversationnelle. Pour activer la prise en charge de l'API de chat, le contenu du modèle (fichiertokenizer_config.json dans le contenu du modèle) doit inclure un modèle de chat. La prise en charge de l'API de chat ne peut être utilisée que pour inviter les modèles qui utilisent le moteur d'exécution vLLM pour le déploiement, et qui doivent donc être déployés avec la spécification logicielle watsonx-cfm-caikit-1.1 .

L'exemple de code suivant montre comment générer une réponse texte à l'aide du point de terminaison de l'API /ml/v1/deployments/<deployment ID>/text/chat_stream :

curl --request POST \
  --url '<Your watsonx URL>/ml/v1/deployments/<deployment-id>/text/chat_stream?version=2020-10-10' \
  --header 'Authorization: Bearer$token' \
  --header 'Content-Type: application/json' \
  --data '{
	"messages": [
	  {
		"role": "user",
		"content": [
		  {
			"type": "text",
			"text": "What is the capital of USA"
		  }
		]
	  }
	]
}'

Accès au modèle déployé

Pour récupérer la liste de tous les modèles de fondation qui sont déployés à la demande dans un espace de déploiement avec l'API REST, vous pouvez définir le paramètre de requête " type=curated_foundation_model.

L'exemple de code suivant montre comment utiliser l'API REST pour accéder à tous les modèles de fondation déployés à la demande dans un espace de déploiement :

curl -X GET "<Your watsonx URL>/ml/v4/deployments?version=2024-01-29&space_id=<replace with your space ID>&type=curated_foundation_model" \
-H "Authorization: Bearer <replace with your token>"

Mise à jour du déploiement

Mettez à jour les métadonnées de déploiement requises pour votre déploiement, telles que le nom, la description, les balises, etc.

L'exemple de code suivant montre comment mettre à jour le nom de votre modèle de fondation déployé à la demande :

curl -X PATCH "<Your watsonx URL>/ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&project_id=<replace with your space ID>" \
-H "Authorization: Bearer <replace with your token>" \
-H "content-type: application/json" \
--data '[{
 "op": "replace",
 "path": "/name",
 "value": "<replace with updated deployment name>"
}]'

Mise à l'échelle du déploiement

Vous ne pouvez déployer qu'une seule instance d'un modèle de base sur demande dans un espace de déploiement. Pour faire face à une demande accrue, vous pouvez faire évoluer le déploiement en créant des copies supplémentaires.

L'exemple de code suivant montre comment augmenter le nombre de répliques pour votre déploiement :

curl -X PATCH "<Your watsonx URL>/ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&space_id=<replace with your space ID>" \
-H "Authorization: Bearer $token" \
-H "content-type: application/json" \
--data '[{
 "op": "replace",
 "path": "/hardware_request",
 "value": {"num_nodes": 2}
}]'

Suppression du déploiement

Vous pouvez supprimer votre modèle de base déployé lorsque vous n'en avez plus besoin pour arrêter les frais de facturation.

L'exemple de code suivant montre comment supprimer un modèle de fondation déployé à la demande avec l'API REST :

curl -vk -X DELETE "<Your watsonx URL>/ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&space_id=<replace with your space ID>" -H "Authorization: Bearer <replace with your token>"