La progettazione rapida comporta tentativi ed errori. Tenere traccia della sperimentazione e salvare combinazioni di modelli e prompt che generano l'output desiderato.
Quando si salva il lavoro, è possibile scegliere di salvarlo come diversi tipi di asset. Il salvataggio del lavoro come asset consente di condividere il proprio lavoro con i collaboratori del progetto corrente.
Tipo di asset | Quando utilizzare questo tipo di asset | Cosa viene salvato | Come richiamare l'asset |
---|---|---|---|
Asset modello di prompt | Quando si trova una combinazione di testo statico di prompt, variabili di prompt e parametri di progettazione di prompt che generano i risultati desiderati da un modello specifico e che desiderano riutilizzarli. | Testo del prompt, modello, parametri ingegneristici del prompt, variabili del prompt e impostazioni dei guardrail AI. Nota: l'output generato dal modello non viene salvato come parte del modello di prompt a meno che il prompt non sia stato creato in modalità chat.
|
Dalla scheda Modelli prompt salvati |
Asset sessione di prompt | Quando vuoi tenere traccia dei passi coinvolti nella tua sperimentazione in modo da sapere cosa hai provato e cosa non hai fatto. | Testo del prompt, modello, parametri di ingegneria del prompt, impostazioni dei guardrail AI e output del modello per un massimo di 500 prompt inviati durante una sessione di ingegneria del prompt. | Dalla scheda Cronologia |
Assetto standard del notebook | Quando si desidera lavorare con i modelli in modo programmatico, ma si vuole partire dall'interfaccia di Prompt Lab per una migliore esperienza di prompt engineering. | Il testo del prompt, il modello, i parametri ingegneristici del prompt, i nomi delle variabili del prompt e i valori predefiniti sono formattati come codice Python e memorizzati come notebook Python. | Dalla pagina Asset del progetto |
Blocco Note di distribuzione | Quando il vostro prompt è in grado di svolgere funzioni avanzate come la ricerca di documenti di base per trovare risposte alle domande di una chat e volete distribuire la funzione come servizio di intelligenza artificiale. | Un servizio di intelligenza artificiale distribuibile che può essere consumato tramite API REST. Nota: è possibile salvare il lavoro come blocco note di distribuzione solo se si seleziona un indice vettoriale e si utilizza un modello di chat.
|
Dalla pagina Asset del progetto |
Ciascuno di questi tipi di asset è disponibile dalla pagina Asset del progetto. I collaboratori del progetto con il ruolo di Admin o Editor possono aprire e lavorare con le risorse. Le risorse del modello di prompt e della sessione di prompt sono bloccate automaticamente, ma è possibile sbloccarle facendo clic sull'icona di blocco .
Gli editor e gli amministratori possono utilizzare gli asset del modello di prompt bloccati per generare inferenze. Solo il proprietario del blocco può utilizzare un asset della sessione di prompt bloccato per generare inferenze.
Salvataggio del lavoro di ingegneria immediata
Per salvare il lavoro di progettazione del prompt, completare la seguente procedura:
Nell'intestazione dell'editor di prompt, fare clic sull'icona Salva lavoro
, quindi su Salva con nome.
Scegliere un tipo di asset.
Se si sceglie di creare un blocco note di flusso Gen AI distribuibile, è necessario associare il prompt a uno spazio di distribuzione. Per ulteriori informazioni, vedere Spazi di distribuzione.
È possibile sfogliare i 100 spazi di distribuzione più importanti.
Denominare l'asset e, facoltativamente, aggiungere una descrizione.
Fare clic su Salva.
Utilizzo delle richieste salvate in un notebook
Quando si salva il lavoro come un asset del notebook, viene creato un notebook Python .
Per lavorare con un asset del notebook richiesto, seguire la procedura relativa al tipo di notebook in uso.
Notebook standard
Aprire l'asset del notebook dalla pagina Asset del progetto.
Fare clic sull'icona Modifica
per istanziare il blocco note, in modo da poter procedere con il codice.
Il notebook contiene codice eseguibile che gestisce i seguenti passi:
- Si autentica con il servizio.
- Definisce una classe Python .
- Definisce il testo di input per il modello e dichiara le eventuali variabili di prompt. È possibile modificare il testo del prompt statico e assegnare valori alle variabili del prompt.
- Utilizza la classe definita per chiamare l'API di inferenza di watsonx.ai e passare l'input al foundation model.
- Mostra l'output generato dal foundation model.
Nota: Per i prompt che fanno inferenza su modelli memorizzati nel progetto, sostituire l'ID spazio con l'ID progetto.Utilizzare il notebook così com' è o modificarlo per soddisfare le esigenze del proprio caso d'uso.
Il codice Python generato con il Prompt Lab viene eseguito correttamente. È necessario verificare e convalidare le modifiche apportate al codice.
Blocco Note di distribuzione
Aprire l'asset del notebook dalla pagina Asset del progetto.
Fare clic sull'icona Modifica
per istanziare il blocco note, in modo da poter procedere con il codice.
Il notebook contiene codice eseguibile che gestisce i seguenti passi:
- Si autentica con il servizio.
- Si collega allo spazio di destinazione e promuove l'indice del vettore.
- Definisce il servizio AI da distribuire. Ciò include il codice per inizializzare l'indice del vettore, eseguire query sull'indice del vettore, formattare l'input per il modello ed eseguire inferenze.
- Testa il servizio AI localmente.
- Distribuisce il servizio AI nello spazio di destinazione.
- Testa il servizio AI distribuito.
Utilizzare il notebook così com' è o modificarlo per soddisfare le esigenze del proprio caso d'uso.
Il codice Python generato con il Prompt Lab viene eseguito correttamente. È necessario verificare e convalidare le modifiche apportate al codice.
Il servizio di intelligenza artificiale distribuito dal notebook può essere consumato utilizzando un'API REST. Di seguito è riportato un esempio di richiesta cURL per chiamare l'installazione client:
curl --location '${PUBLIC_ENDPOINT}' \ --header 'Content-Type: application/json' \ --header 'Authorization: Bearer ${IAM_TOKEN}' \ --data '{ \ "input_data": [{ "fields": ["Search", "Access token"], "values": [ [${MESSAGES}], [${IAM_TOKEN}]] }] }'
Dove
- PUBLIC_ENDPOINT è l'endpoint pubblico della tua distribuzione. Vedere Creazione di distribuzioni online .
- IAM_TOKEN è il token di autenticazione per accedereIBM Cloud Servizi. Vedere Credenziali per l'accesso programmatico . Il token di accesso utilizzato deve essere associato allo stesso account del progetto a cui si fa riferimento nel blocco note.
- MESSAGES è un array di voci di testo della cronologia chat con il seguente schema:
{ "role": type, // "user" or "assistant" "content": content // The text content of the message }
Per i dettagli su come distribuire e inferenziare i servizi AI, vedere Distribuzione dei servizi AI con gli strumenti.
Utilizzo dei modelli di prompt salvati
Per continuare a lavorare con un prompt salvato, aprirlo dalla scheda Modelli di prompt salvati del Prompt Lab.
Quando si apre un modello di prompt salvato, Salvataggio automatico è attivo, il che significa che tutte le modifiche apportate al prompt si rifletteranno nell'asset del modello di prompt salvato. Se si desidera che il modello di prompt salvato rimanga invariato, fare clic su Nuovo prompt per avviare un nuovo prompt.
Non è possibile modificare le modalità di modifica da un modello di prompt salvato.
A differenza di altre modalità di modifica, un modello di prompt salvato in modalità chat memorizza anche l'output del modello. Non è possibile passare a una modalità diversa da un modello di prompt salvato in modalità conversazione.
Quando viene eseguito il provisioning di watsonx.governance , se il modello di prompt include almeno una variabile di prompt, è possibile valutare l'efficacia delle risposte del modello.
- Per ulteriori informazioni sulle variabili di prompt, consultare Creazione di prompt riutilizzabili.
- Per ulteriori informazioni sulla valutazione delle risposte del modello, consultare Valutazione dei modelli di prompt nei progetti.
Gestione delle sessioni di prompt salvate
Per continuare a lavorare con una sessione di prompt salvata, aprirla dalla scheda Cronologia del Prompt Lab.
Per esaminare gli inoltri di prompt precedenti, è possibile fare clic su una voce di prompt dalla cronologia per aprirla nell'editor prompt. Se si preferiscono i risultati del prompt precedente, è possibile reimpostarli come prompt corrente facendo clic su Ripristina. Quando si ripristina una richiesta precedente, la sessione di richiesta corrente viene sostituita dalla versione precedente della sessione di richiesta.
Ulteriori informazioni
Argomento principale: Prompt Lab