Richiesta di un modello di base personalizzato
Dopo aver installato, registrato e distribuito un modello di fondazione personalizzato, utilizzare le funzionalità di watsonx.ai per richiamare il modello.
Quando il modello di fondazione personalizzato distribuito è disponibile, è possibile richiamarlo utilizzando uno di questi metodi:
- Richiedi un modello personalizzato utilizzando Prompt Lab
- Richiedi un modello personalizzato utilizzando l'API
Richiedi un modello personalizzato utilizzando Prompt Lab
Apri il modello personalizzato dall'elenco di modelli di base disponibili. È quindi possibile lavorare con il modello come si fa con i modelli di fondazione forniti con un watsonx.ai.
- Utilizza il Prompt Lab per creare e rivedere i prompt per il modello personalizzato di fondazione
- Creare e salvare prompt riutilizzabili come modelli di prompt con variabili
- Distribuire e testare i modelli di prompt
Richiedi un modello personalizzato utilizzando l'API
Fare riferimento a questi esempi per codificare un prompt per il modello di fondazione personalizzato:
Generazione di risposte testuali
Il seguente esempio di codice mostra come generare una risposta di testo utilizzando l'endpoint API dell' /ml/v1/deployments/<deployment ID>/text/generation
curl -X POST "https://<cluster_url>/ml/v1/deployments/<your deployment ID>/text/generation?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
"input": "Hello, what is your name",
"parameters": {
"max_new_tokens": 200,
"min_new_tokens": 20
}
}'
Generare una risposta di flusso
Il seguente esempio di codice mostra come generare una risposta di flusso utilizzando l'endpoint API dell' /ml/v1/deployments/<deployment ID>/text/generation_stream
curl -X POST "https://<cluster_url>/ml/v1/deployments/<your deployment ID>/text/generation_stream?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
"input": "Hello, what is your name",
"parameters": {
"max_new_tokens": 200,
"min_new_tokens": 20
}
}'
Per dettagli su come creare modelli personalizzati di fondazioni in un'installazione di motore leggero ( watsonx.ai ), vedere Lavorare con un motore leggero ( watsonx.ai ).
Argomento principale: Distribuzione di modelli di base personalizzati