Avvio rapido: valutare e tracciare un modello di prompt
Seguire questa esercitazione per informazioni su come valutare e tracciare un modello di prompt. È possibile valutare i modelli di prompt nei progetti o negli spazi di distribuzione per misurare le prestazioni delle attività del modello di base e comprendere in che modo il modello genera le risposte. Quindi, è possibile tracciare il modello di prompt in un caso di uso AI per acquisire e condividere i fatti relativi all'asset per aiutare a raggiungere gli obiettivi di governance e conformità.
- Servizi richiesti
- watsonx.governance
Il flusso di lavoro di base include le seguenti attività:
- Aprire un progetto che contenga il template di prompt da valutare. I progetti sono dove è possibile collaborare con altri per lavorare con gli asset.
- Valutare un modello di prompt utilizzando i dati di test.
- Esaminare i risultati nella scheda informativa AI.
- Tenere traccia del modello di prompt valutato in un caso di utilizzo AI.
- Distribuire e verificare il modello di prompt valutato.
Informazioni sui modelli di prompt
Con watsonx.governance, è possibile valutare i modelli di prompt nei progetti per misurare l'efficacia con cui i modelli di base generano risposte per i seguenti tipi di attività:
- Classificazione
- Riepilogo
- Generazione
- Risposta alle domande
- Estrazione di entità
Ulteriori informazioni sulla valutazione dei modelli di prompt nei progetti
Ulteriori informazioni sulla valutazione dei modelli di prompt negli spazi di distribuzione
Guarda un video sulla valutazione e la traccia di un modello di prompt
Guarda questo video per visualizzare un'anteprima dei passi in questa esercitazione. Potrebbero esserci lievi differenze nell'interfaccia utente mostrata nel video. Il video è destinato ad essere un compagno del tutorial scritto.
Questo video fornisce un metodo visivo per apprendere i concetti e le attività in questa documentazione.
Prova un'esercitazione sulla valutazione e la traccia di un modello di prompt
In questa esercitazione, verranno completate le seguenti attività:
- Compito 1: Creare gli spazi di lavoro
- Compito 2: Creare un caso d'uso per l'inventario e l'IA
- Attività 3: Valutazione del modello di prompt di esempio
- Attività 3: avviare la traccia del modello di prompt
- Compito 5: Importare le risorse tracciate per la convalida
- Attività 6: convalida del modello di prompt
- Attività 7: distribuire il modello di prompt
Suggerimenti per completare questa esercitazione
Di seguito sono riportati alcuni suggerimenti per completare correttamente questa esercitazione.
Utilizzare il video immagine - in - immagine
La seguente immagine animata mostra come utilizzare le funzioni di immagine video e indice:
Ottieni aiuto nella community
Se hai bisogno di aiuto con questa esercitazione, puoi fare una domanda o trovare una risposta nel forum di discussione della comunitàwatsonx.
Configurare le finestre del browser
Per un'esperienza ottimale durante il completamento di questa esercitazione, apri Cloud Pak for Data in una finestra del browser e tieni aperta questa pagina dell'esercitazione in un'altra finestra del browser per passare facilmente tra le due applicazioni. Prendi in considerazione la possibilità di organizzare le due finestre del browser fianco a fianco per renderle più semplici da seguire.
Completare i prerequisiti
Per completare questa esercitazione, è necessario configurare Watson OpenScale. Seguite questi passaggi per configurare Watson OpenScale utilizzando l'opzione Configurazione automatica o fate riferimento a Opzioni di configurazione per Watson OpenScale per vedere altre opzioni di configurazione:
- Dal menu Navigazione
, scegliere Amministrazione > Servizi > Istanze di servizio.
- Nella pagina Istanze di servizio, per la vostra Watson OpenScale o watsonx.governance, fare clic sul menu Overflow
e scegliere Lancio.
- Nella pagina Dettagli del servizio, fare clic su Avvia Watson OpenScale.
- Quando viene visualizzata la pagina Valutazione del modello, fare clic su Impostazione automatica.
Compito 1: Creare gli spazi di lavoro
Per completare questa esercitazione, sono necessari tre spazi di lavoro:
- Fase di sviluppo: Un progetto di sviluppo per archiviare le risorse sviluppate, valutate e monitorate.
- Fase di validazione: Un progetto di validazione per memorizzare le risorse pronte per essere validate.
- Fase operativa: Uno spazio di distribuzione di produzione per memorizzare le risorse e le distribuzioni convalidate.
Compito 1a: Creare il progetto di sviluppo sulla base di un campione
Per avere un'anteprima di questo compito, guardate il video che inizia a 00:11.
L'hub delle risorse include un progetto campione che contiene modelli di prompt che potete valutare e monitorare. Se avete già creato il progetto di esempio, saltate il passo 1 di questa attività e associate il servizio Watson Machine Learning al progetto di esempio. Altrimenti, seguite questi passaggi per creare il progetto di sviluppo basato su un campione:
Accedere al progetto Iniziare con watsonx.governance nell'hub Risorse.
Fare clic su Crea progetto.
Accettare i valori predefiniti per il nome del progetto e fare clic su Crea.
Fare clic su Visualizza nuovo progetto quando il progetto viene creato correttamente.
Associare un servizio di Watson Machine Learning al progetto. Per ulteriori informazioni, vedi Watson Machine Learning.
Quando il progetto si apre, fai clic sulla scheda Manage e seleziona la pagina Services and integrations .
Sulla scheda IBM , fare clic su Associa servizio.
Selezionare l'istanza di Watson Machine Learning . Se non hai ancora eseguito il provisioning di un'istanza del servizio Watson Machine Learning , attieniti alla seguente procedura:
Fare clic su Nuovo servizio.
Selezionare Watson Machine Learning.
Fare clic su Crea.
Selezionare la nuova istanza del servizio dall'elenco.
Fare clic su Associa servizio.
Se necessario, fare clic su Annulla per tornare alla pagina Servizi & Integrazioni .
Fare clic sulla scheda Asset nel progetto per visualizzare gli asset di esempio.
Per ulteriori informazioni o per vedere un video, vedere Creazione di un progetto.
Per ulteriori informazioni sui servizi associati, vedere Aggiungi servizi associati.
Controllare i progressi compiuti
L'immagine seguente mostra la scheda Assets del progetto di sviluppo. Ora si è pronti a creare l'inventario e il caso d'uso dell'intelligenza artificiale.
Compito 1b: Creare un progetto di convalida
Per vedere un'anteprima di questa attività, guardate il video a partire da 00:44.
In genere, l'ingegnere del prompt valuta il prompt con i dati di test e l'ingegnere di convalida convalida il prompt. L'ingegnere di validazione ha accesso ai dati di validazione che gli ingegneri di prompt potrebbero non avere. In questo caso, i dati di convalida si verificano in un progetto diverso. Seguite questi passaggi per creare un progetto vuoto. Successivamente, si importano le risorse dal progetto di sviluppo al progetto di convalida.
- Dal menu Navigazione
, scegliere Progetti > Visualizza tutti i progetti.
- Nella pagina Progetti, fare clic su Nuovo progetto.
- Per il nome del progetto, digitare:
Validation project
- Fare clic su Crea.
- Seguite gli stessi passi dell'attività 1a per associare il servizio Watson Machine Learning al progetto di convalida.
- Fare clic sulla scheda Assets per visualizzare il progetto vuoto.
Controllare i progressi compiuti
L'immagine seguente mostra il progetto di convalida vuoto.
Compito 1c: Creare uno spazio di distribuzione
Per avere un'anteprima di questa attività, guardate il video che inizia a 01:16.
È necessario creare uno spazio di distribuzione ora, in modo da poter promuovere successivamente il modello di prompt in tale spazio di distribuzione. Seguite questi passaggi per creare lo spazio di distribuzione:
Dal menu Navigazione
, scegliere Deployments.
Fate clic su Nuovo spazio di distribuzione.
Per il nome dello spazio, copiare e incollare il seguente testo:
Insurance claims deployment space
Per la Fase di distribuzione, selezionare Produzione.
Importante: È necessario selezionare Produzione per la Fase di distribuzione se si desidera spostare la distribuzione dalla Fase di valutazione alla Fase operativa.Selezionare il servizio di machine learning dall'elenco.
Fare clic su Crea.
Controllare i progressi compiuti
L'immagine seguente mostra lo spazio di distribuzione.
Compito 2: Creare un inventario e un caso d'uso dell'IA
Un inventario serve per archiviare e rivedere i casi d'uso dell'IA. I casi di utilizzo AI raccolgono i fatti di governance per gli asset AI tracciati dall'organizzazione. È possibile visualizzare tutti i casi di utilizzo AI in un inventario.
Attività 2a: Creare un inventario
Per avere un'anteprima di questa attività, guardate il video che inizia a 01:45.
Per creare un inventario, procedere come segue:
Dal menu Navigazione
, scegliere Governance dell'IA > Casi d'uso dell'IA.
Se si dispone di un inventario esistente, è possibile passare a Crea un nuovo caso di utilizzo AI per utilizzare tale inventario. Se non avete inventari, seguite questi passaggi.
Fare clic sull'icona Gestione inventari
.
Nella pagina Inventari, fare clic su Nuovo inventario.
Per il nome, copiare e incollare il testo seguente:
Golden Bank Insurance Inventory
Per la descrizione, copiare e incollare il seguente testo:
Inventory for insurance related claims processing
Deselezionare l'opzione Aggiungi collaboratori dopo la creazione . È possibile limitare l'accesso a livello di inventario e di caso di utilizzo AI.
Seleziona la tua istanza Cloud Object Storage dall'elenco.
Fare clic su Crea.
Chiudere la pagina Gestisci inventari .
Controllare i progressi compiuti
L'immagine seguente mostra l'inventario. È ora possibile creare un caso di utilizzo AI.
Compito 2b: Creare un caso d'uso dell'IA
Per vedere un'anteprima di questa attività, guardate il video a partire da 02:08.
Un caso di utilizzo AI è un problema aziendale definito che è possibile risolvere con l'aiuto dell'AI. Di solito questi sono definiti prima che qualsiasi asset AI venga sviluppato. Seguire questi passi per creare un caso di utilizzo AI:
- Fare clic su Nuovo caso di utilizzo AI.
- Per il Nome, copiare e incollare il seguente testo:
Insurance claims processing AI use case
- Selezionare un inventario esistente.
- Fare clic su Crea per accettare i valori predefiniti per il resto dei campi.
- Se è la prima volta che si utilizzano i casi d'uso dell'intelligenza artificiale, viene richiesto di configurare la funzione. Fare clic su Inizia e attendere che venga visualizzato il caso d'uso dell'IA.
Controllare i progressi compiuti
L'immagine seguente mostra il caso d'uso dell'intelligenza artificiale.
Task 2c: Associare gli spazi di lavoro al caso d'uso
Per vedere un'anteprima di questa attività, guardate il video a partire da 02:29.
Seguite questi passaggi per associare gli spazi di lavoro a questo caso d'uso:
- Spostarsi nella sezione Spazi di lavoro associati.
- Nella fase Sviluppo, fate clic su Associa spazio di lavoro.
- Selezionate il progetto Iniziare con watsonx.governance.
- Fare clic su Salva.
- Sotto la fase Validate, fate clic su Associate workspace.
- Selezionate il progetto Validazione.
- Fare clic su Salva.
- Nella fase Opera, fare clic su Associa spazio di lavoro.
- Selezionare Spazio di distribuzione delle richieste di assicurazione.
- Fare clic su Salva.
Controllare i progressi compiuti
L'immagine seguente mostra il caso d'uso AI con tutti gli spazi di lavoro associati.
Attività 3: valutare il modello di prompt di esempio
Il progetto di esempio contiene alcuni modelli di prompt e file CSV utilizzati come dati di test. Completate questi compiti per valutare uno dei modelli di prompt campione.
Compito 3a: Modificare il modello di prompt di esempio nel Laboratorio prompt
Per avere un'anteprima di questa attività, guardate il video a partire da 03:02.
Seguite questi passaggi per visualizzare il modello di prompt e vedere come è strutturato:
Dal menu Navigazione
, scegliere Progetti > Visualizza tutti i progetti.
Selezionate il progetto Iniziare con watsonx.governance.
Fai clic sulla scheda Assets.
Fare clic su Riepilogo richieste assicurative per aprire il modello di prompt in Prompt Lab, quindi fare clic su Modifica.
Fare clic sull'icona Variabili di prompt
.
Nota: per eseguire le valutazioni, è necessario creare almeno una variabile di prompt.Scorri alla sezione Try . Notare la variabile
{input}
nel campo Input . È necessario includere la variabile di prompt come input per verificare il prompt. Una variabile di prompt è una parola chiave segnaposto inclusa nel testo statico del prompt al momento della creazione e sostituita dinamicamente con il testo al runtime.
Controllare i progressi compiuti
L'immagine seguente mostra il Laboratorio Prompt.
Compito 3b: Valutare il modello di prompt
Per vedere un'anteprima di questa attività, guardate il video a partire da 03:24.
Ora siete pronti a valutare il modello di prompt.
- Fare clic sull'icona Valuta
.
- Espandere la sezione Qualità AI generativa per visualizzare un elenco di dimensioni. Le metriche disponibili dipendono dal tipo di attività del prompt. Ad esempio, il riepilogo ha metriche diverse dalla classificazione.
- Fare clic su Avanti.
- Selezionare i dati di test:
- Fare clic su Seleziona dal progetto.
- Selezionate File di progetto > Test di riepilogo dei sinistri assicurativi data.csv.
- Fare clic su Seleziona.
- Per la colonna di input, selezionare Insurance_Claim.
- Per la colonna di output di riferimento, selezionare Riepilogo.
- Fare clic su Avanti.
- Fare clic su Convalida. Il completamento delle valutazioni può richiedere alcuni minuti. Una volta completata la valutazione, vengono visualizzati i risultati del test nella scheda Valuta . Questa pagina mostra informazioni dettagliate su questa esecuzione della valutazione in modo da poter ottenere informazioni dettagliate sulle prestazioni del modello. Il riepilogo fornisce una panoramica dei punteggi delle metriche e delle violazioni delle soglie di punteggio predefinite per le valutazioni del modello di prompt.
- Fare clic sulla scheda Foglio informativo AI .
- Visualizzare le informazioni su ciascuna sezione della scheda.
- Fate clic su Sviluppo > Iniziare con watsonx.governance > Risultati del test per visualizzare nuovamente i risultati del test.
Controllare i progressi compiuti
La seguente immagine mostra i risultati della valutazione. Ora è possibile iniziare a tenere traccia del modello di prompt in un caso di utilizzo AI.
Attività 4: avviare la traccia del template di prompt
Per vedere un'anteprima di questa attività, guardate il video a partire da 04:24.
Puoi tenere traccia del tuo modello di prompt in un caso di utilizzo AI per segnalare il processo di sviluppo e test ai tuoi peer. Attenersi alla seguente procedura per avviare la traccia del modello di prompt:
- Nella scheda Foglio informativo AI , fare clic sulla pagina Governance .
- Fare clic su Traccia nel caso d'uso AI.
- Si noti che il caso d'uso dell'IA associato è Caso d'uso dell'IA per l'elaborazione dei reclami assicurativi.
- Selezionare un approccio. Un approccio è uno degli aspetti della soluzione al problema di business rappresentato dal caso di utilizzo AI. Ad esempio, è possibile creare approcci per tenere traccia di diversi modelli di prompt in un caso di utilizzo.
- Fare clic su Avanti.
- Per la versione del modello, selezionare Sperimentale.
- Accettare il valore predefinito per il numero di versione.
- Fare clic su Avanti.
- Esaminare le informazioni e fare clic su Traccia asset.
- Quando il tracciamento del modello è iniziato con successo, fare clic sull'icona Vedi dettagli
per aprire il caso d'uso dell'IA.
- Fare clic sulla scheda Ciclo di vita per vedere che il modello di prompt è nella fase Sviluppo. Man mano che il modello di prompt si sposta attraverso il ciclo di vita AI, si sposterà attraverso queste fasi:
- Fase di sviluppo: Risorse di intelligenza artificiale che sono state sviluppate in un ambiente di progetto.
- Fase di validazione: Risorse di intelligenza artificiale che sono state distribuite in uno spazio o in un progetto per essere convalidate.
- Fase operativa: Risorse dell'IA dispiegate in uno spazio per le operazioni.
Controllare i progressi compiuti
L'immagine seguente mostra la scheda Ciclo di vita nel caso d'uso AI con il modello di richiesta nella fase di Sviluppo. Ora siete pronti a passare alla fase di convalida.
Attività 5: Importare gli asset tracciati per la convalida
Come indicato nel Task 1, in genere l'ingegnere addetto al prompt valuta il prompt con i dati di test e l'ingegnere addetto alla convalida convalida il prompt. L'ingegnere di validazione ha accesso ai dati di validazione che gli ingegneri di prompt potrebbero non avere. In questo caso, i dati di convalida si verificano in un progetto diverso. Seguite questi passaggi per esportare il progetto di sviluppo e importare le risorse nel progetto di convalida creato nel Task 1 per spostare la risorsa nella fase di convalida del ciclo di vita dell'IA:
Task 5a: Esportazione del progetto di esempio
Per vedere un'anteprima di questa attività, guardate il video a partire da 05:07.
Seguite questi passaggi per esportare il progetto di sviluppo:
- Dal menu Navigazione
, scegliere Progetti > Visualizza tutti i progetti.
- Selezionate il progetto Iniziare con watsonx.governance.
- Fare clic sull'icona Importa/Esporta
> Esporta progetto.
- Selezionare la casella per selezionare tutti gli asset.
- Fare clic su Esporta.
- Fare clic su Continua l'esportazione per riconoscere che le risorse potrebbero contenere credenziali.
- Attendere che venga richiesto il nome del file del progetto e digitare
validation-project.zip
, quindi fare clic su Salva. - Una volta completata l'esportazione del progetto, fare clic su Torna al progetto.
Controllare i progressi compiuti
La seguente immagine mostra la pagina Esporta progetto.
Compito 5b: Importare le risorse nel progetto di convalida
Per vedere un'anteprima di questa attività, guardate il video a partire da 05:28.
Seguite questi passaggi per importare le risorse dal progetto di sviluppo al progetto di convalida:
- Dal menu Navigazione
, scegliere Progetti > Visualizza tutti i progetti.
- Aprite il progetto Validazione.
- Fare clic sull'icona Importa/Esporta
> Importa progetto.
- Fare clic su Sfoglia.
- Selezionate il file validation-project.zip e fate clic su Open.
- Selezionare l'opzione per indicare il consenso: Capisco che alcuni tipi di asset sovrascrivono gli asset esistenti con lo stesso nome e tipo.
- Fare clic su Importa.
- Quando le risorse sono state importate con successo, fare clic sull'icona Refresh
per vedere le risorse importate.
Controllare i progressi compiuti
La seguente immagine mostra la scheda Asset del progetto di convalida. È ora possibile valutare il modello di prompt di esempio nel progetto di validazione.
Attività 6: convalida del modello di prompt
Per vedere un'anteprima di questa attività, guardate il video a partire da 05:41.
Ora si è pronti a valutare il modello di prompt in questo progetto di convalida utilizzando lo stesso processo di valutazione di prima. Utilizzare lo stesso dataset di test per la valutazione. E selezionare le stesse colonne di input e output di prima. Attenersi alla seguente procedura per convalidare il modello di prompt:
- Fare clic sulla scheda Asset nel Progetto di convalida.
- Dal menu Overflow
per il modello di richiesta Riassunto delle richieste di assicurazione, selezionare Valuta.
- Fare clic su Valuta per avviare la valutazione.
- Ripetete i passaggi di Compito 3a: Valutare il modello di prompt per valutare il modello di prompt Riassunto dell'elaborazione delle richieste di risarcimento nel progetto di validazione.
- Fare clic sulla scheda Foglio informativo AI una volta completata la valutazione.
- Visualizzare entrambe le serie di risultati del test:
- Fate clic su Sviluppo > Iniziare con watsonx.governance > Risultati dei test.
- Fate clic su Validazione > Progetto di validazione > Risultati del test.
Controllare i progressi compiuti
La seguente immagine mostra i risultati del test di convalida. Si è ora pronti a promuovere il modello di prompt a uno spazio di distribuzione e quindi a distribuire il modello di prompt.
Attività 7: distribuzione del modello di prompt
Per distribuire il modello di prompt, è necessario promuoverlo nello spazio di distribuzione creato nel task 1. Quindi, nello spazio di distribuzione, è possibile creare un'installazione client e testare il modello di prompt distribuito.
Attività 7a: Promuovere il modello di prompt a uno spazio di distribuzione
Per vedere un'anteprima di questa attività, guardate il video a partire da 06:14.
La maschera di prompt viene promossa a uno spazio di distribuzione in preparazione della sua distribuzione. Attenersi alla seguente procedura per richiedere il modello di prompt:
Fare clic su Progetto di validazione nel percorso di navigazione.
Dal menu Overflow
per il modello di prompt Riassunto delle richieste di assicurazione, selezionare Promuovi nello spazio.
Per lo spazio Obiettivo, selezionare Spazio di distribuzione dei sinistri assicurativi.
Selezionare l'opzione Vai allo spazio dopo aver promosso il modello di prompt.
Fare clic su Promuovi.
Controllare i progressi compiuti
La seguente immagine mostra il modello di prompt nello spazio di distribuzione. Si è ora pronti a creare una distribuzione.
Attività 7b: Distribuire il modello di prompt
Per vedere un'anteprima di questa attività, guardate il video a partire da 06:33.
Ora è possibile creare una distribuzione online del modello di prompt dall'interno dello spazio di distribuzione. Seguire questa procedura per creare una distribuzione:
Dalla pagina dell'asset Riepilogo richieste di indennizzo delle assicurazioni nello spazio di distribuzione, selezionare Nuova distribuzione.
Per il nome della distribuzione, copiare e incollare il seguente testo:
Insurance claims summarization deployment
Fare clic su Crea.
Controllare i progressi compiuti
La seguente immagine mostra il modello di prompt distribuito.
Attività 7c: visualizzare il template del prompt distribuito
Per vedere un'anteprima di questa attività, guardate il video a partire da 06:47.
Seguire questa procedura per visualizzare il modello di prompt distribuito nella fase corrente del ciclo di vita:
- Visualizzare la distribuzione quando è pronta. La scheda Riferimento API fornisce informazioni per l'utilizzo della distribuzione del modello di prompt nell'applicazione.
- Fare clic sulla scheda Test . La scheda Test consente di inoltrare un'istruzione e un input per verificare la distribuzione.
- Fare clic su Genera. Chiudere la finestra dei risultati.
- Fare clic sulla scheda Foglio informativo AI .
- Scorrere verso il basso la pagina Foglio factsheet AI e fare clic sulla freccia per ulteriori dettagli.
- Esaminare le informazioni contenute nelle fasi Sviluppo, Validazione e Operazione del Foglio informativo AI per il modello di prompt distribuito.
- Scorrere fino alla parte superiore della pagina e fare clic sull'icona Vedi dettagli
per aprire il caso d'uso AI.
- Nel caso d'uso, fare clic sulla scheda Lifecycle. Si può notare che il modello di prompt è ora nella fase Operazione.
- Fate clic sul modello Riassunto delle richieste di assicurazione nella fase Operazione. Una volta terminato, fare clic su Annulla.
- Fate clic sul prompt Impiego del modello di riepilogo dei sinistri assicurativi nella fase Operazione. Una volta terminato, fare clic su Annulla.
Controllare i progressi compiuti
L'immagine seguente mostra il modello di prompt nella fase Operazione del ciclo di vita.
Passi successivi
Prova una delle altre esercitazioni:
Ulteriori risorse
Visualizza altri video.
Trova dataset di esempio, progetti, modelli, prompt e notebook nell'hub di risorse per ottenere un'esperienza pratica:
Notebook che potete aggiungere al vostro progetto per iniziare ad analizzare i dati e costruire modelli.
Progetti che si possono importare contenenti quaderni, set di dati, prompt e altre risorse.
Insiemi di dati che si possono aggiungere al progetto per perfezionare, analizzare e costruire modelli.
Prompt che si possono usare nel Prompt Lab per richiedere un modello di fondazione.
Modelli di base che potete utilizzare nel Laboratorio Prompt.
Argomento principale: Esercitazioni introduttive