0 / 0
Torna alla versione inglese della documentazione
Avvio rapido: valutare e tracciare un modello di prompt

Avvio rapido: valutare e tracciare un modello di prompt

Seguire questa esercitazione per informazioni su come valutare e tracciare un modello di prompt. È possibile valutare i modelli di prompt nei progetti o negli spazi di distribuzione per misurare le prestazioni delle attività del modello di base e comprendere in che modo il modello genera le risposte. Quindi, è possibile tracciare il modello di prompt in un caso di uso AI per acquisire e condividere i fatti relativi all'asset per aiutare a raggiungere gli obiettivi di governance e conformità.

Servizi richiesti
watsonx.governance

Il flusso di lavoro di base include le seguenti attività:

  1. Aprire un progetto che contenga il template di prompt da valutare. I progetti sono dove è possibile collaborare con altri per lavorare con gli asset.
  2. Valutare un modello di prompt utilizzando i dati di test.
  3. Esaminare i risultati nella scheda informativa AI.
  4. Tenere traccia del modello di prompt valutato in un caso di utilizzo AI.
  5. Distribuire e verificare il modello di prompt valutato.

Informazioni sui modelli di prompt

Con watsonx.governance, è possibile valutare i modelli di prompt nei progetti per misurare l'efficacia con cui i modelli di base generano risposte per i seguenti tipi di attività:

  • Classificazione
  • Riepilogo
  • Generazione
  • Risposta alle domande
  • Estrazione di entità

Ulteriori informazioni sulla valutazione dei modelli di prompt nei progetti

Ulteriori informazioni sulla valutazione dei modelli di prompt negli spazi di distribuzione

Guarda un video sulla valutazione e la traccia di un modello di prompt

Guarda il video Guarda questo video per visualizzare un'anteprima dei passi in questa esercitazione. Potrebbero esserci lievi differenze nell'interfaccia utente mostrata nel video. Il video è destinato ad essere un compagno del tutorial scritto.

Questo video fornisce un metodo visivo per apprendere i concetti e le attività in questa documentazione.


Prova un'esercitazione sulla valutazione e la traccia di un modello di prompt

In questa esercitazione, verranno completate le seguenti attività:





Suggerimenti per completare questa esercitazioneDi seguito sono riportati alcuni suggerimenti per completare correttamente questa esercitazione.

Utilizzare il video immagine - in - immagine

Suggerimento: avviare il video, quindi, scorrendo l'esercitazione, il video passa alla modalità immagine - in - immagine. Chiudere il sommario video per la migliore esperienza con l'immagine in foto. È possibile utilizzare la modalità immagine - in - immagine in modo da poter seguire il video mentre si completano le attività in questa esercitazione. Fare clic sulle date / ore per ciascuna attività da seguire.

La seguente immagine animata mostra come utilizzare le funzioni di immagine video e indice:

Come usare il picture-in-picture e i capitoli

Ottieni aiuto nella community

Se hai bisogno di aiuto con questa esercitazione, puoi fare una domanda o trovare una risposta nel forum di discussione della comunitàwatsonx.

Configurare le finestre del browser

Per un'esperienza ottimale durante il completamento di questa esercitazione, apri Cloud Pak for Data in una finestra del browser e tieni aperta questa pagina dell'esercitazione in un'altra finestra del browser per passare facilmente tra le due applicazioni. Prendi in considerazione la possibilità di organizzare le due finestre del browser fianco a fianco per renderle più semplici da seguire.

Esercitazione e IU affiancati

Suggerimento: se si incontra un tour guidato mentre si completa questa esercitazione nell'interfaccia utente, fare clic su Forse in seguito.



Attività 1: creare un inventario di modelli e un caso di utilizzo AI

video dell'esercitazione di anteprima Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 00:09.

Un inventario del modello è per l'archiviazione e la revisione dei casi di utilizzo AI. I casi di utilizzo AI raccolgono i fatti di governance per gli asset AI tracciati dall'organizzazione. È possibile visualizzare tutti i casi di utilizzo AI in un inventario.

Attività 1a: creare un inventario del modello

Attenersi alla seguente procedura per creare un inventario del modello:

  1. Dal Menu di navigazione Menu di navigazione, scegli AI governance> AI use cases.

  2. Gestisci i tuoi inventari:

    • Se si dispone di un inventario esistente, è possibile passare a Crea un nuovo caso di utilizzo AI per utilizzare tale inventario.
    • Se non si dispone di alcun inventario, fare clic su Gestisci inventari.
    1. Fare clic su Nuovo inventario.

    2. Per il nome, copiare e incollare il seguente testo:

      Golden Bank Insurance Inventory
      
    3. Per la descrizione, copiare e incollare il testo seguente:

      Model inventory for insurance related processing
      
    4. Deselezionare l'opzione Aggiungi collaboratori dopo la creazione . È possibile limitare l'accesso a livello di inventario e di caso di utilizzo AI.

    5. Seleziona la tua istanza Cloud Object Storage dall'elenco.

    6. Fare clic su Crea.

  3. Chiudere la pagina Gestisci inventari .

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine mostra l'inventario del modello. È ora possibile creare un caso di utilizzo AI.

Inventario modelli

Attività 1b: creare un caso d'uso AI

Un caso di utilizzo AI è un problema aziendale definito che è possibile risolvere con l'aiuto dell'AI. Di solito questi sono definiti prima che qualsiasi asset AI venga sviluppato. Seguire questi passi per creare un caso di utilizzo AI:

  1. Fare clic su Nuovo caso di utilizzo AI.

  2. Per il nome, copiare e incollare il seguente testo:

    Insurance claims processing AI use case
    
  3. Selezionare un inventario di modelli esistente.

  4. Fare clic su Crea per accettare i valori predefiniti per il resto dei campi.

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine mostra il caso di utilizzo AI. È ora possibile tenere traccia del modello di prompt.

Caso di utilizzo di AI




Attività 2: creazione di un progetto

video dell'esercitazione di anteprima Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 00:51.

È necessario un progetto per memorizzare il modello di prompt e la valutazione. Per creare un progetto basato su un esempio, attenersi alla seguente procedura:

  1. Accedi al progetto Introduzione alla governance watsonx nell'hub della risorsa.

    1. Fare clic su Crea progetto.

    2. Accettare i valori predefiniti per il nome del progetto e fare clic su Crea.

    3. Fare clic su Visualizza nuovo progetto quando il progetto viene creato correttamente.

  2. Associare un servizio di Watson Machine Learning al progetto. Per ulteriori informazioni, vedi Watson Machine Learning.

    1. Quando il progetto si apre, fai clic sulla scheda Manage e seleziona la pagina Services and integrations .

    2. Sulla scheda IBM , fare clic su Associa servizio.

    3. Selezionare l'istanza di Watson Machine Learning . Se non hai ancora eseguito il provisioning di un'istanza del servizio Watson Machine Learning , attieniti alla seguente procedura:

      1. Fare clic su Nuovo servizio.

      2. Selezionare Watson Machine Learning.

      3. Fare clic su Crea.

      4. Selezionare la nuova istanza del servizio dall'elenco.

    4. Fare clic su Associa servizio.

    5. Se necessario, fare clic su Annulla per tornare alla pagina Servizi & Integrazioni .

  3. Fare clic sulla scheda Asset nel progetto per visualizzare gli asset di esempio.

Per ulteriori informazioni o per guardare un video, consultare Creazione di un progetto.

Per ulteriori informazioni sui servizi associati, consultare Aggiunta di servizi associati.

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine mostra la scheda Asset del progetto. Si è ora pronti a valutare il modello di prompt di esempio nel progetto.

Asset di progetto di esempio




Attività 3: valutare il modello di prompt di esempio

video dell'esercitazione di anteprima Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 01:30.

Il progetto di esempio contiene alcuni modelli di prompt e file CSV utilizzati come dati di test. Seguire questa procedura per scaricare i dati di verifica e valutare uno dei modelli di prompt di esempio:

  1. Scaricare i dati di test dal progetto di esempio. È necessario fornire un file locale per i dati di test durante la valutazione.

    1. Fai clic sulla scheda Assets.
    2. Per il file Insurance claim summarization test data.csv , fare clic sul menu Overflow Menu di overflowe scegliere Download.
    3. Salvare il file CSV localmente.
  2. Fare clic su Riepilogo richieste assicurative per aprire il modello di prompt in Prompt Lab, quindi fare clic su Modifica.

  3. Fare clic sull'icona Variabili prompt Variabili prompt.

    Nota: per eseguire le valutazioni, è necessario creare almeno una variabile di prompt.
  4. Scorri alla sezione Try . Notare la variabile {input} nel campo Input . È necessario includere la variabile di prompt come input per verificare il prompt. Una variabile di prompt è una parola chiave segnaposto inclusa nel testo statico del prompt al momento della creazione e sostituita dinamicamente con il testo al runtime.

  5. Fare clic su Valuta Valuta.

  6. Espandere la sezione Qualità AI generativa per visualizzare un elenco di dimensioni. Le metriche disponibili dipendono dal tipo di attività del prompt. Ad esempio, il riepilogo ha metriche diverse dalla classificazione.

  7. Fare clic su Avanti.

  8. Selezionare i dati di test:

    1. Fare clic su Sfoglia.
    2. Selezionare il file Test di riepilogo delle richieste di indennizzo assicurativo data.csv precedentemente scaricato.
    3. Fare clic su Apri.
    4. Per la colonna di input, selezionare Insurance_Claim.
    5. Per la colonna di output di riferimento, selezionare Riepilogo.
    6. Fare clic su Avanti.
  9. Fare clic su Convalida. Il completamento delle valutazioni può richiedere alcuni minuti. Una volta completata la valutazione, vengono visualizzati i risultati del test nella scheda Valuta . Questa pagina mostra informazioni dettagliate su questa esecuzione della valutazione in modo da poter ottenere informazioni dettagliate sulle prestazioni del modello. Il riepilogo fornisce una panoramica dei punteggi delle metriche e delle violazioni delle soglie di punteggio predefinite per le valutazioni del modello di prompt.

  10. Fare clic sulla scheda Foglio informativo AI .

    1. Visualizzare le informazioni su ciascuna sezione della scheda.
    2. Fare clic su Valutazione> Sviluppa> Test per visualizzare nuovamente i risultati del test.

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine mostra i risultati della valutazione. Ora è possibile iniziare a tenere traccia del modello di prompt in un caso di utilizzo AI.

Risultati del test di valutazione del modello di prompt




Attività 4: avviare la traccia del template di prompt

video dell'esercitazione di anteprima Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 02:37.

Puoi tenere traccia del tuo modello di prompt in un caso di utilizzo AI per segnalare il processo di sviluppo e test ai tuoi peer. Attenersi alla seguente procedura per avviare la traccia del modello di prompt:

  1. Dal Menu di navigazione Menu di navigazione, scegliere Progetti> Visualizza tutti i progetti.
  2. Seleziona il progetto Getting started with watsonx governance .
  3. Fai clic sulla scheda Assets.
  4. Dal menu Overflow menu di overflow per il modello di prompt Riepilogo richieste assicurative , selezionare Visualizza foglio di calcolo AI. Ogni asset AI ha un factsheet AI; che include informazioni dettagliate su come è stato creato l'asset, i suoi risultati di valutazione per tutto il ciclo di vita dell'AI e ulteriori allegati.
  5. Nella scheda Foglio informativo AI , fare clic sulla pagina Governance .
  6. Fare clic su Traccia un caso di utilizzo AI.
  7. Selezionare il Casi di utilizzo AI per l'elaborazione delle richieste di assicurazione.
  8. Fare clic su Avanti.
  9. Selezionare un approccio. Un approccio è uno degli aspetti della soluzione al problema di business rappresentato dal caso di utilizzo AI. Ad esempio, è possibile creare approcci per tenere traccia di diversi modelli di prompt in un caso di utilizzo.
  10. Fare clic su Avanti.
  11. Per la versione del modello, selezionare Sperimentale.
  12. Accettare il valore predefinito per il numero di versione.
  13. Fare clic su Avanti.
  14. Esaminare le informazioni e fare clic su Traccia asset.
  15. Quando la traccia del modello inizia correttamente, fare clic sull'icona Visualizza dettagli Mostra dettagli per aprire il caso di utilizzo AI.
  16. Fare clic sulla scheda Ciclo di vita per visualizzare il modello di prompt nella fase Sviluppo . Man mano che il modello di prompt si sposta attraverso il ciclo di vita AI, si sposterà attraverso queste fasi:
    • Fase Sviluppo : asset AI che sono stati sviluppati in un ambiente di progetto.
    • Fase Test : modelli ML che sono stati distribuiti in uno spazio per il test.
    • Fase Convalida : asset AI che sono stati distribuiti in uno spazio o in un progetto per la convalida.
    • Fase operativa : asset AI distribuiti in uno spazio per l'operazione.

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine mostra la scheda Ciclo di vita nel caso di utilizzo AI con il modello di prompt nella fase Sviluppo. Si è ora pronti a continuare con la fase di convalida

La scheda Ciclo di vita nel caso di utilizzo AI




Attività 5: creazione di un nuovo progetto per la convalida

video dell'esercitazione di anteprima Per visualizzare in anteprima questa attività, guardare il video a partire dalle 03:27.

In genere, l'ingegnere del prompt valuta il prompt con i dati di test e l'ingegnere di convalida convalida il prompt. L'ingegnere di validazione ha accesso ai dati di validazione che gli ingegneri di prompt potrebbero non avere. In questo caso, i dati di convalida si verificano in un progetto diverso. Seguire questi passi per esportare il progetto di sviluppo e importarlo come nuovo progetto di convalida per spostare l'asset nella fase di convalida del ciclo di vita AI:

  1. Dal Menu di navigazione Menu di navigazione, scegliere Progetti> Visualizza tutti i progetti.

  2. Seleziona il progetto Getting started with watsonx governance .

  3. Fare clic sull'icona Importa / Esporta Importa/Esporta > Esporta progetto.

  4. Selezionare la casella per selezionare tutti gli asset.

  5. Fare clic su Esporta.

  6. Per il nome del progetto, copiare e incollare il seguente testo, quindi fare clic su Salva.

    validation project.zip
    
  7. Una volta completata l'esportazione del progetto, fare clic su Torna al progetto.

  8. Dal Menu di navigazione Menu di navigazione, scegliere Progetti> Visualizza tutti i progetti.

  9. Fare clic su Nuovo progetto.

    1. Selezionare Crea un progetto da un esempio di file.

    2. Fare clic su Sfoglia.

    3. Selezionare validation project.zipe fare clic su Apri.

    4. Per il nome del progetto, copiare e incollare il testo seguente:

      Validation project
      
    5. Fare clic su Crea.

  10. Una volta creato il progetto, fare clic su Visualizza nuovo progetto.1. Segui la stessa procedura descritta nel Passo 1 per associare il tuo servizio Watson Machine Learning a questo progetto.

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine mostra la scheda Asset del progetto di convalida. È ora possibile valutare il modello di prompt di esempio nel progetto di validazione.

Asset del progetto di convalida




Attività 6: convalida del modello di prompt

video dell'esercitazione di anteprima Per visualizzare un'anteprima di questa attività, guardare il video a partire dalle 04:22.

Ora si è pronti a valutare il modello di prompt in questo progetto di convalida utilizzando lo stesso processo di valutazione di prima. Utilizzare lo stesso dataset di test per la valutazione. E selezionare le stesse colonne di input e output di prima. Attenersi alla seguente procedura per convalidare il modello di prompt:

  1. Fare clic sulla scheda Asset nel Progetto di convalida.
  2. Ripetere i passi in Attività 2 per valutare il modello di prompt Riepilogo elaborazione richieste .
  3. Fare clic sulla scheda Foglio informativo AI una volta completata la valutazione.
  4. Visualizzare entrambe le serie di risultati del test:
    1. Fai clic su Evaluation> Develop> Test.
    2. Fare clic su Valutazione> Convalida> Test.

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine mostra i risultati del test di convalida. Si è ora pronti a promuovere il modello di prompt a uno spazio di distribuzione e quindi a distribuire il modello di prompt.

Risultati del test di valutazione del modello di prompt




Attività 7: distribuzione del modello di prompt

video dell'esercitazione di anteprima Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 05:04.

Attività 7a: Promuovere il modello di prompt a uno spazio di distribuzione

La maschera di prompt viene promossa a uno spazio di distribuzione in preparazione della sua distribuzione. Attenersi alla seguente procedura per richiedere il modello di prompt:

  1. Fare clic su Convalida progetto nella traccia di navigazione dei progetti.
  2. Dal menu Overflow menu di overflow per il modello di prompt Riepilogo richieste assicurazioni , selezionare Promuovi nello spazio.
  3. Per Spazio di destinazione, selezionare Crea un nuovo spazio di distribuzione.
    1. Per il nome spazio, copiare e incollare il seguente testo:

      Insurance claims deployment space
      
    2. Per la Fase di distribuzione, selezionare Produzione.

      Importante: è necessario selezionare Produzione per la fase di distribuzione se si desidera spostare la distribuzione dalla fase di valutazione alla fase di funzionamento.
    3. Selezionare il servizio di machine learning dall'elenco.

    4. Fare clic su Crea.

    5. Fare clic su Chiudi.

  4. Seleziona lo spazio di distribuzione Insurance claims deployment space dall'elenco.
  5. Selezionare l'opzione Vai allo spazio dopo aver promosso il modello di prompt.
  6. Fare clic su Promuovi.

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine mostra il modello di prompt nello spazio di distribuzione. Si è ora pronti a creare una distribuzione.

Modello di prompt nello spazio di distribuzione

Attività 7b: Distribuire il modello di prompt

Ora è possibile creare una distribuzione online del modello di prompt dall'interno dello spazio di distribuzione. Seguire questa procedura per creare una distribuzione:

  1. Dalla pagina dell'asset Riepilogo richieste di indennizzo delle assicurazioni nello spazio di distribuzione, selezionare Nuova distribuzione.

  2. Per il nome della distribuzione, copiare e incollare il seguente testo:

    Insurance claims summarization deployment
    
  3. Fare clic su Crea.

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine mostra il modello di prompt distribuito.

Modello di prompt distribuito

Attività 7c: visualizzare il template del prompt distribuito

Seguire questa procedura per visualizzare il modello di prompt distribuito nella fase corrente del ciclo di vita:

  1. Visualizzare la distribuzione quando è pronta. La scheda Riferimento API fornisce informazioni per l'utilizzo della distribuzione del modello di prompt nell'applicazione.
  2. Fare clic sulla scheda Test . La scheda Test consente di inoltrare un'istruzione e un input per verificare la distribuzione.
  3. Fare clic su Genera. Chiudere la finestra dei risultati.
  4. Fare clic sulla scheda Foglio informativo AI . Il Factsheet AI mostra che il modello del prompt è ora in fase operativa.
  5. Scorrere verso il basso la pagina Foglio factsheet AI e fare clic sulla freccia per ulteriori dettagli.
  6. Selezionare la pagina Valutazione> Operate> Distribuzione 1.
  7. Fare clic sull'icona Visualizza dettagli Mostra dettagli nella parte superiore del factsheet per aprire il caso di utilizzo AI.
  8. Fare clic sulla scheda Ciclo di vita .
  9. Fare clic sul modello di prompt Riepilogo richiesta assicurazione nella fase Operate . Una volta terminato, fare clic su Annulla.
  10. Fare clic sulla distribuzione del modello di prompt Distribuzione riepilogo richieste di assicurazione nella fase Operate .

Icona Checkpoint Controlla i tuoi progressi

La seguente immagine mostra il modello di prompt nella fase operativa del ciclo di vita.

Modello di prompt nella fase Operate




Passi successivi

Prova una delle altre esercitazioni:

Ulteriori risorse

  • Visualizza altri video.

  • Trova dataset di esempio, progetti, modelli, prompt e notebook nell'hub di risorse per ottenere un'esperienza pratica:

    Blocco appunti Notebooks che è possibile aggiungere al progetto per iniziare ad analizzare i dati e a creare modelli.

    Progetto Progetti che è possibile importare contenenti notebook, dataset, prompt e altri asset.

    Dataset Set di dati che è possibile aggiungere al proprio progetto per perfezionare, analizzare e creare modelli.

    Richiesta Richiedi che è possibile utilizzare in Prompt Lab per richiedere un modello di base.

    Modello Foundation models che è possibile utilizzare in Prompt Lab.

Argomento principale: Esercitazioni introduttive

Ricerca e risposta AI generativa
Queste risposte sono generate da un modello di lingua di grandi dimensioni in watsonx.ai basato sul contenuto della documentazione del prodotto. Ulteriori informazioni