Avvio rapido: valutare e tracciare un modello di prompt

Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 00:09.

Un inventario del modello è per l'archiviazione e la revisione dei casi di utilizzo AI. I casi di utilizzo AI raccolgono i fatti di governance per gli asset AI tracciati dall'organizzazione. È possibile visualizzare tutti i casi di utilizzo AI in un inventario.

Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 00:51.

È necessario un progetto per memorizzare il modello di prompt e la valutazione. Se il progetto è già stato creato, saltare il passo 1 in questa attività e associare il servizio Watson Machine Learning al progetto di esempio. Altrimenti, attenersi alla seguente procedura per creare un progetto basato su un esempio:

1. Accedi al progetto Introduzione alla governance watsonx nell'hub della risorsa.

   1. Fare clic su Crea progetto.

   2. Accettare i valori predefiniti per il nome del progetto e fare clic su Crea.

   3. Fare clic su Visualizza nuovo progetto quando il progetto viene creato correttamente.

2. Associare un servizio di Watson Machine Learning al progetto. Per ulteriori informazioni, vedi Watson Machine Learning.

   1. Quando il progetto si apre, fai clic sulla scheda Manage e seleziona la pagina Services and integrations .

   2. Sulla scheda IBM , fare clic su Associa servizio.

   3. Selezionare l'istanza di Watson Machine Learning . Se non hai ancora eseguito il provisioning di un'istanza del servizio Watson Machine Learning , attieniti alla seguente procedura:

      1. Fare clic su Nuovo servizio.

      2. Selezionare Watson Machine Learning.

      3. Fare clic su Crea.

      4. Selezionare la nuova istanza del servizio dall'elenco.

   4. Fare clic su Associa servizio.

   5. Se necessario, fare clic su Annulla per tornare alla pagina Servizi & Integrazioni .

3. Fare clic sulla scheda Asset nel progetto per visualizzare gli asset di esempio.

Per ulteriori informazioni o per guardare un video, consultare Creazione di un progetto.

Per ulteriori informazioni sui servizi associati, consultare Aggiunta di servizi associati.

Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 01:30.

Il progetto di esempio contiene alcuni modelli di prompt e file CSV utilizzati come dati di test. Seguire questa procedura per scaricare i dati di verifica e valutare uno dei modelli di prompt di esempio:

1. Scaricare i dati di test dal progetto di esempio. È necessario fornire un file locale per i dati di test durante la valutazione.

   1. Fai clic sulla scheda Assets.
   2. Per il file Insurance claim summarization test data.csv , fare clic sul menu Overflow e scegliere Download.
   3. Salvare il file CSV localmente.

2. Fare clic su Riepilogo richieste assicurative per aprire il modello di prompt in Prompt Lab, quindi fare clic su Modifica.

3. Fare clic sull'icona Variabili prompt .

   Nota: per eseguire le valutazioni, è necessario creare almeno una variabile di prompt.

4. Scorri alla sezione Try . Notare la variabile {input} nel campo Input . È necessario includere la variabile di prompt come input per verificare il prompt. Una variabile di prompt è una parola chiave segnaposto inclusa nel testo statico del prompt al momento della creazione e sostituita dinamicamente con il testo al runtime.

5. Fare clic su Valuta .

6. Espandere la sezione Qualità AI generativa per visualizzare un elenco di dimensioni. Le metriche disponibili dipendono dal tipo di attività del prompt. Ad esempio, il riepilogo ha metriche diverse dalla classificazione.

7. Fare clic su Avanti.

8. Selezionare i dati di test:

   1. Fare clic su Sfoglia.
   2. Selezionare il file Test di riepilogo delle richieste di indennizzo assicurativo data.csv precedentemente scaricato.
   3. Fare clic su Apri.
   4. Per la colonna di input, selezionare Insurance_Claim.
   5. Per la colonna di output di riferimento, selezionare Riepilogo.
   6. Fare clic su Avanti.

9. Fare clic su Convalida. Il completamento delle valutazioni può richiedere alcuni minuti. Una volta completata la valutazione, vengono visualizzati i risultati del test nella scheda Valuta . Questa pagina mostra informazioni dettagliate su questa esecuzione della valutazione in modo da poter ottenere informazioni dettagliate sulle prestazioni del modello. Il riepilogo fornisce una panoramica dei punteggi delle metriche e delle violazioni delle soglie di punteggio predefinite per le valutazioni del modello di prompt.

10. Fare clic sulla scheda Foglio informativo AI .

    1. Visualizzare le informazioni su ciascuna sezione della scheda.
    2. Fare clic su Valutazione> Sviluppa> Test per visualizzare nuovamente i risultati del test.

Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 02:37.

Puoi tenere traccia del tuo modello di prompt in un caso di utilizzo AI per segnalare il processo di sviluppo e test ai tuoi peer. Attenersi alla seguente procedura per avviare la traccia del modello di prompt:

1. Dal Menu di navigazione , scegliere Progetti> Visualizza tutti i progetti.
2. Seleziona il progetto Getting started with watsonx governance .
3. Fai clic sulla scheda Assets.
4. Dal menu Overflow per il modello di prompt Riepilogo richieste assicurazioni , selezionare Vai al foglio di factsheet AI. Ogni asset AI ha un factsheet AI; che include informazioni dettagliate su come è stato creato l'asset, i suoi risultati di valutazione per tutto il ciclo di vita dell'AI e ulteriori allegati.
5. Nella scheda Foglio informativo AI , fare clic sulla pagina Governance .
6. Fare clic su Traccia un caso di utilizzo AI.
7. Selezionare il Casi di utilizzo AI per l'elaborazione delle richieste di assicurazione.
8. Fare clic su Avanti.
9. Selezionare un approccio. Un approccio è uno degli aspetti della soluzione al problema di business rappresentato dal caso di utilizzo AI. Ad esempio, è possibile creare approcci per tenere traccia di diversi modelli di prompt in un caso di utilizzo.
10. Fare clic su Avanti.
11. Per la versione del modello, selezionare Sperimentale.
12. Accettare il valore predefinito per il numero di versione.
13. Fare clic su Avanti.
14. Esaminare le informazioni e fare clic su Traccia asset.
15. Quando la traccia del modello inizia correttamente, fare clic sull'icona Visualizza dettagli per aprire il caso di utilizzo AI.
16. Fare clic sulla scheda Ciclo di vita per visualizzare il modello di prompt nella fase Sviluppo . Man mano che il modello di prompt si sposta attraverso il ciclo di vita AI, si sposterà attraverso queste fasi:
    • Fase Sviluppo : asset AI che sono stati sviluppati in un ambiente di progetto.
    • Fase Test : modelli ML che sono stati distribuiti in uno spazio per il test.
    • Fase Convalida : asset AI che sono stati distribuiti in uno spazio o in un progetto per la convalida.
    • Fase operativa : asset AI distribuiti in uno spazio per l'operazione.

Per visualizzare in anteprima questa attività, guardare il video a partire dalle 03:27.

In genere, l'ingegnere del prompt valuta il prompt con i dati di test e l'ingegnere di convalida convalida il prompt. L'ingegnere di validazione ha accesso ai dati di validazione che gli ingegneri di prompt potrebbero non avere. In questo caso, i dati di convalida si verificano in un progetto diverso. Seguire questi passi per esportare il progetto di sviluppo e importarlo come nuovo progetto di convalida per spostare l'asset nella fase di convalida del ciclo di vita AI:

1. Dal Menu di navigazione , scegliere Progetti> Visualizza tutti i progetti.

2. Seleziona il progetto Getting started with watsonx governance .

3. Fare clic sull'icona Importa / Esporta > Esporta progetto.

4. Selezionare la casella per selezionare tutti gli asset.

5. Per il nome del progetto, copiare e incollare il seguente testo, quindi fare clic su Salva.

   validation project.zip
   ```1. Click **Export**.
   

6. Una volta completata l'esportazione del progetto, fare clic su Torna al progetto.

7. Dal Menu di navigazione , scegliere Progetti> Visualizza tutti i progetti.

8. Fare clic su Nuovo progetto.

9. Selezionare File locale.

   1. Fare clic su Sfoglia.

   2. Selezionare validation project.zipe fare clic su Apri.

   3. Per il nome del progetto, copiare e incollare il testo seguente:

      Validation project
      

   4. Fare clic su Crea.

10. Una volta creato il progetto, fare clic su Visualizza nuovo progetto.1. Segui la stessa procedura descritta nel Passo 1 per associare il tuo servizio Watson Machine Learning a questo progetto.

Per visualizzare un'anteprima di questa attività, guardare il video a partire dalle 04:22.

Ora si è pronti a valutare il modello di prompt in questo progetto di convalida utilizzando lo stesso processo di valutazione di prima. Utilizzare lo stesso dataset di test per la valutazione. E selezionare le stesse colonne di input e output di prima. Attenersi alla seguente procedura per convalidare il modello di prompt:

1. Fare clic sulla scheda Asset nel Progetto di convalida.
2. Ripetere i passi in Attività 2 per valutare il modello di prompt Riepilogo elaborazione richieste .
3. Fare clic sulla scheda Foglio informativo AI una volta completata la valutazione.
4. Visualizzare entrambe le serie di risultati del test:
   1. Fai clic su Evaluation> Develop> Test.
   2. Fare clic su Valutazione> Convalida> Test.

Per visualizzare l'anteprima di questa attività, guardare il video a partire dalle 05:04.