Distribuzione e gestione dei modelli di fondazione su richiesta con REST API

Polling per lo stato di distribuzione

È possibile verificare lo stato dell'installazione client utilizzando l'ID dell'installazione client. Quando lo stato passa da inizializzazione a pronto, la distribuzione è pronta per l'uso.

Il seguente esempio di codice mostra come usare l'API REST per interrogare lo stato di distribuzione:

curl -X GET "https://<replace with your cloud hostname>/ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&project_id=<replace with your project ID>" \
-H "Authorization: Bearer <replace with your token>" 

Uscita:

"deployed_asset_type": "curated_foundation_model"

Generazione di risposte testuali

Il seguente esempio di codice mostra come generare una risposta di testo utilizzando l'endpoint API dell' /ml/v1/deployments/<deployment ID>/text/generation :

Il seguente frammento di codice mostra come testare un modello di fondazione che viene distribuito su richiesta per l'inferenza online:

curl -X POST "https://{region}.ml.cloud.ibm.com/ml/v1/deployments/<replace with your deployment ID>/text/generation?version=2024-01-29" \
-H "Authorization: Bearer <replace with your token>" \
-H "content-type: application/json" \
--data '{
 "input": "Hello, what is your name",
 "parameters": {
    "max_new_tokens": 200,
    "min_new_tokens": 20
 }
}'

È inoltre possibile utilizzare l'API della chat per richiedere il modello di fondazione personalizzato distribuito. Per abilitare il supporto delle API di chat, il contenuto del modello (filetokenizer_config.json nel contenuto del modello) deve includere un modello di chat. Il supporto delle API di chat può essere utilizzato solo per i modelli che utilizzano il runtime vLLM per la distribuzione, quindi devono essere distribuiti con la specifica software watsonx-cfm-caikit-1.1 .

Il seguente esempio di codice mostra come generare una risposta di testo utilizzando l'endpoint API dell' /ml/v1/deployments/<deployment ID>/text/chat :

curl --request POST\
--url'https://{region}.ml.cloud.ibm.com/ml/v1/deployments/<deployment-id>/text/chat?version=2020-10-10'\
--header'Authorization: Bearer$token'\
--header'Content-Type: application/json'\
--data'{
	"messages": [
	  {
	    "role": "user",
		"content": [
		  {
			"type": "text",
			"text": "What is the capital of India"
		  }
		]
	  },
	  {
			"role": "assistant",
			"content": "New Delhi."
		},
		{
		"role": "user",
		"content": [
		  {
			"type": "text",
			"text": "Which continent"
		  }
		]
	  }
	]
}'

Generazione della risposta del flusso

È possibile utilizzare l'API della chat per richiedere il modello di fondazione personalizzato distribuito, che implementa metodi per interagire con i modelli di fondazione in modo conversazionale. Per abilitare il supporto delle API di chat, il contenuto del modello (filetokenizer_config.json nel contenuto del modello) deve includere un modello di chat. Il supporto delle API di chat può essere utilizzato solo per i modelli che utilizzano il runtime vLLM per la distribuzione, quindi devono essere distribuiti con la specifica software watsonx-cfm-caikit-1.1 .

Il seguente esempio di codice mostra come generare una risposta di testo utilizzando l'endpoint API dell' /ml/v1/deployments/<deployment ID>/text/chat_stream :

curl --request POST \
  --url 'https://{region}.ml.cloud.ibm.com/ml/v1/deployments/<deployment-id>/text/chat_stream?version=2020-10-10' \
  --header 'Authorization: Bearer$token' \
  --header 'Content-Type: application/json' \
  --data '{
	"messages": [
	  {
		"role": "user",
		"content": [
		  {
			"type": "text",
			"text": "What is the capital of USA"
		  }
		]
	  }
	]
}'

Accesso al modello distribuito

Per recuperare l'elenco di tutti i modelli di fondazione che sono distribuiti on-demand in uno spazio di distribuzione con l'API REST, è possibile impostare il parametro di query 'type=curated_foundation_model.

Il seguente esempio di codice mostra come utilizzare l'API REST per accedere a tutti i modelli di fondazione distribuiti su richiesta in uno spazio di distribuzione:

curl -X GET "https://<replace with yourcloud hostname>/ml/v4/deployments?version=2024-01-29&space_id=<replace with your space ID>&type=curated_foundation_model" \
-H "Authorization: Bearer <replace with your token>" 

Aggiornamento della distribuzione

Aggiornare i metadati di distribuzione richiesti per l'installazione client, come nome, descrizione, tag e altro.

Il seguente esempio di codice mostra come aggiornare il nome del modello di fondazione distribuito su richiesta:

curl -X PATCH "https://<replace with your cloud hostname>//ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&project_id=<replace with your space ID>" \
-H "Authorization: Bearer <replace with your token>" \
-H "content-type: application/json" \
--data '[{
 "op": "replace",
 "path": "/name",
 "value": "<replace with updated deployment name>"
}]'

Scalare la distribuzione

È possibile distribuire solo un'istanza di un modello di fondazione su richiesta in uno spazio di distribuzione. Per gestire l'aumento della domanda, è possibile scalare la distribuzione creando copie aggiuntive.

Il seguente esempio di codice mostra come scalare il numero di repliche per la distribuzione:

curl -X PATCH "<replace with your cloud hostname>/ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&space_id=<replace with your space ID>" \
-H "Authorization: Bearer $token" \
-H "content-type: application/json" \
--data '[{
 "op": "replace",
 "path": "/hardware_request",
 "value": {"num_nodes": 2}                
}]'

Eliminazione di una distribuzione

Puoi cancellare il modello di fondazione distribuito quando non ti serve più per interrompere gli addebiti di fatturazione.

Il seguente esempio di codice mostra come eliminare un modello di fondazione distribuito su richiesta con l'API REST:

curl -vk -X DELETE "https://<replace with your cloud hostname>/ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&space_id=<replace with your space ID>" -H "Authorization: Bearer <replace with your token>"