Gestione di una distribuzione per un modello di fondazione personalizzato
Dopo aver distribuito un modello di fondazione personalizzato, è possibile gestire e aggiornare la distribuzione.
È possibile gestire e aggiornare un modello di base distribuito da un'interfaccia utente dello spazio di distribuzione o a livello di programmazione.
Gestione delle distribuzioni del modello di fondazione personalizzato dallo spazio di distribuzione
È possibile accedere, aggiornare, scalare, eliminare e monitorare le prestazioni della distribuzione del modello personalizzato nel proprio spazio di distribuzione.
Accesso ai dettagli dell'installazione client dallo spazio di installazione client
Seguite questi passaggi per rivedere o aggiornare i dettagli dell'installazione:
- Dalla scheda Deployments dello spazio di distribuzione, fare clic sul nome di un deployment.
- Fare clic sulla scheda Dettagli dell'installazione per accedere alle informazioni relative all'installazione del modello di fondazione personalizzato.
Aggiornamento dei dettagli dell'installazione client da uno spazio di distribuzione
È possibile aggiornare i dettagli della distribuzione del modello di fondazione personalizzato, come il nome, il nome del servizio, la descrizione e le specifiche hardware. Per ulteriori informazioni, vedere Aggiornamento di un'installazione client.
Scalare un'installazione client in uno spazio di distribuzione
È possibile scalare l'installazione aumentando il numero di copie create per l'installazione. Per ulteriori informazioni, vedere Scalare un'installazione client.
Eliminazione di un'installazione client da uno spazio di distribuzione
È possibile eliminare il deployment del modello di fondazione personalizzato quando non è più necessario, per liberare risorse. Per ulteriori informazioni, vedere Eliminazione di un'installazione client.
Nei flussi di lavoro in cui il modello di fondazione personalizzato viene utilizzato periodicamente, si consiglia di assegnare al modello lo stesso nome di servizio ogni volta che lo si distribuisce. In questo modo, dopo aver cancellato e poi distribuito nuovamente il modello, si può continuare a usare lo stesso endpoint nel codice.
Monitoraggio delle prestazioni dell'implementazione da uno spazio di implementazione
È possibile valutare l'implementazione del modello di fondazione personalizzato per misurare le prestazioni e comprendere le previsioni del modello, fornendo un'istanza di watsonx.governance e configurando i monitoraggi di correttezza, qualità, deriva e spiegabilità. Per ulteriori informazioni, vedere Valutazione delle distribuzioni negli spazi con watsonx.governance.
Gestione programmatica della distribuzione di un modello di fondazione personalizzato
Prerequisiti
È possibile accedere, aggiornare, scalare, eliminare e monitorare le prestazioni dell'implementazione del modello personalizzato in modo programmatico.
Per utilizzare l'API watsonx.ai, è necessario un token portatore. Per ulteriori informazioni, vedere Credenziali per l'accesso programmatico.
Aggiornamento programmatico di un'installazione client
Per aggiornare o eliminare una distribuzione in modo programmatico, per prima cosa ottenere l'elenco dei modelli distribuiti per trovare i metadati corretti per la distribuzione.
Ottenere l'elenco dei modelli distribuiti
Ottiene l'elenco delle distribuzioni per l'ID progetto specificato. Per filtrare tutte le distribuzioni che puntano a modelli di fondazione personalizzati, utilizzare il parametro di query type=custom_foundation_model
. Fare riferimento a questo esempio di codice:
curl -X GET "https://<your cloud hostname>/ml/v4/deployments?version=2024-01-29&project_id=<your project ID>&type=custom_foundation_model" \
-H "Authorization: Bearer $TOKEN"
Campi che si possono aggiornare in un modello distribuito:
name
description
tags
serving_name
asset
hardware_spec
software_spec
/online/parameters
/online/parameters/serving_name
/online/parameters/foundation_model
(non applicabile ai modelli di serie temporali)
I modelli a serie temporali non richiedono alcun parametro. Non fornire alcun parametro quando si aggiorna un modello di serie temporali personalizzato. Se si forniscono parametri quando si aggiorna un modello di serie temporale personalizzato, questi non avranno alcun effetto.
Ad esempio:
curl -X PATCH "https://<your cloud hostname>/ml/v4/deployments/<your deployment ID>?version=2024-01-29&project_id=<your project ID>" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '[{
"op": "replace",
"path": "/name",
"value": "<updated deployment name>"
}]'
Eliminazione programmatica dell'installazione client
Se si vuole eliminare la distribuzione del modello di fondazione personalizzato, utilizzare questo codice:
curl -vk -X DELETE "https://<your cloud hostname>/ml/v4/deployments/<your deployment ID>?version=2024-01-29&project_id=<your project ID>" -H "Authorization: Bearer $TOKEN"
Monitoraggio delle prestazioni dell'implementazione da uno spazio di implementazione
È possibile valutare l'implementazione del modello di fondazione personalizzato per misurare le prestazioni e comprendere le previsioni del modello, fornendo un'istanza di watsonx.governance e configurando i monitoraggi di correttezza, qualità, deriva e spiegabilità. Per ulteriori informazioni, vedere Valutazione delle distribuzioni negli spazi con watsonx.governance.
Scalare la distribuzione in modo programmatico
Vedere Scalare un'installazione client in modo programmatico.
Passi successivi
Imparare a richiedere un modello di fondazione personalizzato
Argomento padre: Deploy di modelli di fondazione personalizzati