Docs
...
Managing a deployment for a custom foundation model

Gestione di una distribuzione per un foundation model personalizzato

Ultimo aggiornamento: 28 nov 2024
Gestione di una distribuzione per un foundation model personalizzato

Dopo aver distribuito un foundation model personalizzato, è possibile gestire e aggiornare la distribuzione.

È possibile gestire e aggiornare un 'foundation model distribuito da un 'spazio di distribuzione UI o 'programmaticamente.

Gestione delle distribuzioni di foundation model personalizzati dallo spazio di distribuzione

È possibile accedere, aggiornare, scalare, eliminare e monitorare le prestazioni della distribuzione del modello personalizzato nel proprio spazio di distribuzione.

Accesso ai dettagli dell'installazione client dallo spazio di installazione client

Seguite questi passaggi per rivedere o aggiornare i dettagli dell'installazione:

  1. Dalla scheda Deployments dello spazio di distribuzione, fare clic sul nome di un deployment.
  2. Fare clic sulla scheda Dettagli dell'installazione per accedere alle informazioni relative all'installazione del foundation model personalizzato.
Nota: Se l'organizzazione utilizza uno dei casi d'uso per tracciare e governare gli asset, le informazioni sull'implementazione di un asset tracciato vengono registrate in una scheda informativa nel caso d'uso associato.

Aggiornamento dei dettagli dell'installazione client dallo spazio di installazione client

È possibile aggiornare i dettagli della distribuzione del foundation model personalizzato, come il nome, il nome del servizio, la descrizione e le specifiche hardware. Per ulteriori informazioni, vedere Aggiornamento di un'installazione client.

Scalare un'installazione client in uno spazio di distribuzione

È possibile scalare l'installazione aumentando il numero di copie create per l'installazione. Per ulteriori informazioni, vedere Scalare un'installazione client.

Eliminazione di un'installazione client da uno spazio di distribuzione

È possibile eliminare il deployment del foundation model personalizzato quando non è più necessario, per liberare risorse. Per ulteriori informazioni, vedere Eliminazione di un'installazione client.

Nota:

Nei flussi di lavoro in cui il foundation model personalizzato viene utilizzato periodicamente, si consiglia di assegnare al modello lo stesso nome di servizio ogni volta che lo si distribuisce. In questo modo, dopo aver cancellato e poi distribuito nuovamente il modello, si può continuare a usare lo stesso endpoint nel codice.

Monitoraggio delle prestazioni dell'implementazione da uno spazio di implementazione

È possibile valutare l'implementazione di un foundation model personalizzato per misurare le prestazioni e comprendere le previsioni del modello, fornendo un'istanza di watsonx.governance e configurando i monitoraggi per equità, qualità, deriva e spiegabilità. Per ulteriori informazioni, vedere Valutazione delle distribuzioni negli spazi con watsonx.governance.

Gestione programmatica della distribuzione di un foundation model personalizzato

Prerequisiti

È possibile accedere, aggiornare, scalare, eliminare e monitorare le prestazioni dell'implementazione del modello personalizzato in modo programmatico.

Per utilizzare l'API watsonx.ai, è necessario un token portatore. Per ulteriori informazioni, vedere Credenziali per l'accesso programmatico.

Aggiornamento programmatico di un'installazione client

Per aggiornare o eliminare una distribuzione in modo programmatico, per prima cosa ottenere l'elenco dei modelli distribuiti per trovare i metadati corretti per la distribuzione.

Ottenere l'elenco dei modelli distribuiti

Ottiene l'elenco delle distribuzioni per l'ID progetto specificato. Per filtrare tutte le distribuzioni che puntano a modelli di fondazione personalizzati, utilizzare il parametro di query type=custom_foundation_model. Fare riferimento a questo esempio di codice:

curl -X GET "https://<your cloud hostname>/ml/v4/deployments?version=2024-01-29&project_id=<your project ID>&type=custom_foundation_model" \
-H "Authorization: Bearer $TOKEN"

Campi che si possono aggiornare in un modello distribuito:

  • name
  • description
  • tags
  • serving_name
  • asset
  • hardware_spec
  • software_spec
  • /online/parameters
  • /online/parameters/serving_name
  • /online/parameters/foundation_model

Ad esempio:

curl -X PATCH "https://<your cloud hostname>//ml/v4/deployments/<your deployment ID>?version=2024-01-29&project_id=<your project ID>" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '[{
 "op": "replace",
 "path": "/name",
 "value": "<updated deployment name>"
}]'

Eliminazione programmatica dell'installazione client

Se si vuole eliminare la distribuzione del foundation model personalizzato, utilizzare questo codice:

curl -vk -X DELETE "https://<your cloud hostname>/ml/v4/deployments/<your deployment ID>?version=2024-01-29&project_id=<your project ID>" -H "Authorization: Bearer $TOKEN"

Monitoraggio delle prestazioni dell'implementazione da uno spazio di implementazione

È possibile valutare l'implementazione di un foundation model personalizzato per misurare le prestazioni e comprendere le previsioni del modello, fornendo un'istanza di watsonx.governance e configurando i monitoraggi per equità, qualità, deriva e spiegabilità. Per ulteriori informazioni, vedere Valutazione delle distribuzioni negli spazi con watsonx.governance.

Scalare la distribuzione in modo programmatico

Vedere Scalare un'installazione client in modo programmatico.

Passi successivi

Imparare a richiedere un foundation model personalizzato

Argomento padre: Deploy di modelli di fondazione personalizzati