Promuovi un modello di richiesta a uno spazio di distribuzione

Per promuovere un modello di prompt a uno spazio di distribuzione, il modello di prompt deve contenere almeno una variabile.

Tenete presenti le seguenti considerazioni aggiuntive per la distribuzione di un modello di prompt:

• È possibile creare solo distribuzioni di modelli di prompt che fanno riferimento a distribuzioni di modelli nello stesso progetto o spazio in cui è stata creata la distribuzione del modello. Se si promuove un modello che fa riferimento a un modello distribuito in uno spazio, una copia dell'asset del modello viene aggiunta automaticamente allo spazio. È necessario distribuire il modello nello spazio prima di distribuire il modello di prompt.
• Se si esporta un modello di richiesta che fa riferimento a un modello distribuito, l'asset del modello associato viene esportato automaticamente con il modello di richiesta. Quando si importa il modello in un nuovo contenitore, viene importato anche il modello. Il modello deve essere distribuito nel nuovo contenitore prima di distribuire il modello di prompt.

Importazione di un modello di prompt in uno spazio di distribuzione

Per distribuire i modelli di prompt senza variabili, è necessario esportare il progetto che contiene la risorsa modello di prompt e importare il progetto nello spazio di distribuzione.

Test del modello di prompt distribuito

Una volta completata correttamente la distribuzione, fare clic sul nome della distribuzione per visualizzare la distribuzione.

• La scheda Riferimento API include gli endpoint API e i frammenti di codice necessari per aggiungere questo modello di prompt a un'applicazione.
• La scheda Test supporta la verifica del modello di prompt. Immettere i dati di test come testo, testo in streaming o in un file JSON.

Se il servizio watsonx.governance è abilitato, vengono visualizzate anche queste schede:

• Valuta fornisce gli strumenti per valutare il template prompt nello spazio. Fare clic su Attiva per scegliere le dimensioni da valutare. Per i dettagli, consultare Valutazione dei modelli di prompt.
• AI Factsheets visualizza tutti i metadati raccolti per il modello di prompt. Utilizzare questi dettagli per tenere traccia del modello di prompt per gli obiettivi di governance e conformità. Vedere Tracking prompt templates.

Distribuzione programmatica di un modello di prompt

Quando si distribuisce un modello di prompt in modo programmatico, è necessario seguire questi passaggi:

1. Spostare la risorsa modello e il modello di richiesta in uno spazio di distribuzione. Ad esempio, se si utilizza l' API watsonx.ai, si recupera il modello e si analizza model_id memorizzato in prompt.model_id. Se si utilizza Data and AI Common Core API, utilizzare entity.wx_prompt.prompt.model_id. L'ID è una stringa di chiavi divisa con :. L'ultimo elemento della stringa è la chiave della risorsa modello, che si riferisce alla risorsa modello associata al modello.
2. Distribuire il modello, usando la chiave della risorsa modello del primo passo per individuare il modello da distribuire per il modello. Ad esempio, se si utilizza l'API Data and AI Common Core, la richiesta di ricerca cerca l'ID dello spazio o del progetto ( XXX ), il token dell'utente ( YYY ) e la chiave della risorsa modello associata al modello di richiesta ( ZZZ ).

curl --location 'https://api.dataplatform.cloud.ibm.com/v2/asset_types/wml_model/search?space_id=XXX' \
--header 'Authorization: Bearer YYY' \
--header 'Content-Type: application/json' \
--data '{
    "query": "(asset.resource_key:ZZZ)",
    "include": "entity",
    "limit": 100
}'

1. Dopo che il modello è stato distribuito con successo, distribuire il modello di prompt

Ulteriori informazioni

• Monitoraggio dei modelli di prompt

• Valutazione di un modello di prompt in uno spazio di distribuzione

• Sicurezza e privacy per i modelli di base

• Seguire l'esercitazione Avvio rapido: valutare e tenere traccia di un modello di prompt per valutare e tenere traccia di un modello di prompt di esempio

• Consultare il post del blog IBM watsonx.governance per la gestione e la garanzia delle prestazioni dei modelli AI - Un approccio prescrittivo per suggerimenti su come rendere operative le applicazioni di business e i flussi di lavoro con inferenza AI utilizzando il template di prompt distribuito in un notebook

Argomento principale Distribuzione e gestione di asset