Generazione di testo
Utilizzare i modelli di fondazione in IBM watsonx.ai in modo programmatico per le attività di generazione del testo.
Modi per sviluppare
I modelli di fondazione possono essere inferiti utilizzando questi metodi di programmazione:
In alternativa, è possibile utilizzare gli strumenti grafici dell'interfaccia utente di watsonx.ai per fare inferenza sui modelli di fondazione. Vedi Prompt Lab.
Tipi di inferenza
È possibile richiedere un foundation model utilizzando uno dei seguenti metodi di generazione del testo:
- Inferisce il testo: Attende di restituire l'output generato da foundation model tutto in una volta.
- Inferisce il flusso di eventi di testo: Restituisce l'output così come viene generato da foundation model. Questo metodo è utile nei casi d'uso conversazionali, quando si vuole che un chatbot o un assistente virtuale risponda all'utente in modo fluido, imitando una conversazione reale.
Per i casi di utilizzo della chat, utilizzare l'API Chat. Vedere Aggiunta di una funzione di chat generativa alle applicazioni con l'API di chat.
Node.js
- Generazione di testo
Si vedano le seguenti risorse:
- Flusso di generazione del testo
Si veda la seguente risorsa:
Libreria Python
Vedere la classe Model Inference della libreria watsonx.ai Python.
I seguenti argomenti descrivono come utilizzare i quaderni di esempio disponibili:
API REST
Il metodo che si usa per dedurre un foundation model è diverso a seconda che il foundation model sia fornito con il watsonx.ai o sia associato a una distribuzione.
Per dedurre un foundation model che viene distribuito da IBM in watsonx.ai, utilizzare il metodo di generazione del testo.
curl -X POST \ -H 'Authorization: Bearer {token}' \ -H 'Content-Type: application/json' \ -H 'Accept: application/json' \ --data-raw '{ "input": "Tell me about interest rates", "parameters": { "max_new_tokens": 200 }, "model_id": "ibm/granite-3-8b-instruct", "project_id": "{project_id}" }' \ "https://{region}.ml.cloud.ibm.com/ml/v1/text/generation?version=2025-02-11"Per inferenziare un foundation model sintonizzato, un foundation model personalizzato o un foundation model distribuito su richiesta, usare il metodo Deployments>Infer text.
L'indirizzo
{model_id}non è necessario per questo tipo di richiesta, perché l'installazione client supporta un solo modello.
Applicare i guardrail dell'intelligenza artificiale quando si fa inferenza
Quando si richiede un foundation model usando l'API, si può usare il campo moderations per applicare i guardrail dell'IA all'input e all'output di foundation model. Per ulteriori informazioni, vedere Rimozione del linguaggio dannoso dall'input e dall'output del modello.
Inferenza con un modello di prompt
È possibile inferenziare un foundation model con un testo di input che segue uno schema definito da un modello di prompt.
Per ulteriori informazioni, vedere Creare un modello di prompt.
Per estrarre il testo del modello di prompt da utilizzare come input per il metodo di generazione del testo, procedere come segue:
Utilizzare il metodo Search asset types dell'API Watson Data per ottenere l'ID del modello di richiesta.
curl -X POST \ 'https://api.dataplatform.cloud.ibm.com/v2/asset_types/wx_prompt/search?version=2024-07-29&project_id={project_id}' \ --header 'Content-Type: application/json' \ --header 'Authorization: Bearer ACCESS_TOKEN' \ --data '{ "query": "asset.name:{template_name}" }'L'ID del modello di prompt è specificato come
metadata.asset_id.Usare il metodo Ottieni la stringa di input dell'inferenza per un dato prompt per ottenere il testo del modello del prompt.
curl -X POST \ 'https://api.dataplatform.cloud.ibm.com/wx/v1/prompts/{prompt-template-id}/input?version=2024-07-29&project_id={project_id}' ...Per ulteriori informazioni, vedere Ottenere la stringa di input dell'inferenza per un determinato prompt
È possibile inviare il testo del prompt estratto come input al metodo Generate text.
Argomento principale: Codificare soluzioni di IA generativa