Avvio rapido: Confronto delle prestazioni del prompt

Per vedere un'anteprima di questo compito, guardate il video a partire da 00:16.

L'hub delle risorse include un progetto campione che contiene modelli di prompt esemplificativi che possono essere confrontati in Evaluation Studio. Seguite questi passaggi per creare il progetto basato su un campione:

1. Dalla schermata iniziale, fare clic sull'icona Crea un nuovo progetto .

2. Selezionare il campione.

3. Cercate Getting started with watsonx.governanceCopiato negli appunti, selezionate il progetto di esempio e fate clic su Avanti.

4. Scegliere un' istanza del servizio di archiviazione oggetti esistente o crearne una nuova.

5. Fare clic su Crea.

6. Attendere il completamento dell'importazione del progetto, quindi fare clic su Visualizza nuovo progetto.

7. Associare un servizio watsonx.ai Runtime al progetto. Per ulteriori informazioni, vedere Aggiunta di servizi associati a un progetto.

   1. Quando si apre il progetto, fare clic sulla scheda Gestione e selezionare la pagina Servizi e integrazioni.

   2. Nella scheda Servizi IBM, fare clic su Associa servizio.

   3. Selezionare l'istanza del runtime watsonx.ai. Se non si dispone ancora di un'istanza del servizio watsonx.ai Runtime, seguire questi passaggi:

      1. Fare clic su Nuovo servizio.

      2. Selezionare watsonx.ai Runtime.

      3. Fare clic su Crea.

      4. Selezionare la nuova istanza di servizio dall'elenco.

   4. Fare clic su Associa servizio.

   5. Se necessario, fare clic su Annulla per tornare alla pagina Servizi e integrazioni.

8. Fare clic sulla scheda Assets del progetto per visualizzare gli asset di esempio.

Per ulteriori informazioni o per vedere un video, vedere Creazione di un progetto. Per ulteriori informazioni sui servizi associati, vedere Aggiunta di servizi associati.

Per vedere un'anteprima di questo compito, guardate il video a partire da 01:11.

Per confrontare le prestazioni dei prompt, è necessario creare un esperimento di Evaluation Studio. Seguite questi passaggi per creare l'esperimento:

1. Dalla scheda Attività, fare clic su Nuova attività > Valutare e confrontare i prompt.

2. Nella pagina di impostazione, digitare Summarization Evaluation experimentCopiato negli appunti come nome.

3. Selezionare un tipo di attività. In questo caso, si desidera confrontare i modelli di prompt di riepilogo, quindi selezionare Riassunto.

4. Fare clic su Avanti per proseguire con la pagina Modelli di prompt.

5. Selezionare i modelli di richiesta Riassunto sinistro, 2 Riassunto sinistro e 3 Riassunto sinistro.

   Si noti che tutti e tre i modelli di prompt includono le variabili di input, che sono un requisito di Evaluation Studio.

6. Fare clic su Avanti per continuare con la pagina Metriche.

7. Espandere le sezioni Qualità dell'IA generativa e Salute del modello per rivedere le metriche che saranno utilizzate nella valutazione.

8. Fare clic su Avanti per continuare con la pagina Dati del test.

9. Selezionare i dati del test:

   1. Fare clic su Seleziona dati dal progetto.

   2. Selezionare File di progetto > Test di riepilogo delle richieste di risarcimento data.csv.

      I dati di test caricati devono contenere colonne di output e di input di riferimento per ciascuna variabile richiesta. Le colonne di output di riferimento vengono utilizzate per calcolare le metriche basate sul riferimento, come ROUGE e BLEU.

   3. Fare clic su Seleziona.

   4. Per la colonna Input, selezionare Insurance_Claim.

   5. Per la colonna di output Riferimento, selezionare Riepilogo.

10. Fare clic su Avanti per proseguire con la pagina Revisione ed esecuzione.

11. Rivedere la configurazione e fare clic su Esegui valutazione. Il completamento delle valutazioni può richiedere pochi minuti.

Per un'anteprima di questo compito, guardate il video a partire da 02:26.

Ora siete pronti a valutare e confrontare gli asset di IA. Seguire questi passaggi per esaminare i risultati in Evaluation Studio:

1. Al termine della valutazione, visualizzare le visualizzazioni di confronto delle metriche.

   I grafici confrontano i risultati per ciascun modello di prompt selezionato. La visualizzazione mostra se i punteggi violano le soglie per ciascuna metrica.

2. Fare clic sull'elenco dei record per selezionare una metrica diversa. Ad esempio, selezionare Analisi dei contenuti per vedere gli aggiornamenti del grafico in base alla metrica selezionata.

   

3. Passare il mouse su una barra del grafico per visualizzarne i dettagli.

4. Rivedete la tabella sotto la visualizzazione che mostra i tre modelli di prompt. Si noti che ciascuna delle istruzioni utilizza un modello di fondazione diverso.

5. Per effettuare i confronti, fare clic sull'icona Imposta come riferimento accanto a un modello di prompt.

   L'impostazione del modello di riferimento evidenzia le colonne della tabella per mostrare se altri asset stanno performando meglio o peggio dell'asset selezionato.

6. Fare clic sull'icona della classifica personalizzata .

   

   Per analizzare i risultati, è anche possibile creare una classifica personalizzata delle metriche tra i diversi gruppi, specificando i fattori di peso e una formula di classificazione per determinare quali modelli di prompt hanno le migliori prestazioni. Quando si crea una classifica personalizzata, è possibile selezionare le metriche rilevanti per la classifica e assegnare loro un fattore di peso. Fare clic su Annulla.

7. Per eseguire nuovamente le valutazioni, fare clic sull'icona Regola impostazioni . Usare il riquadro Dettagli della valutazione per aggiornare i dati del test o riconfigurare le metriche.

8. Per modificare l'esperimento, fare clic sull'icona Attività per rimuovere o aggiungere attività alla valutazione e modificare il confronto.

9. Dalla tabella, fare clic sul menu Overflow accanto a un modello di prompt e scegliere Visualizza scheda informativa AI. I Factsheet raccolgono i dettagli dell'asset per ogni fase del ciclo di vita dell'IA, per aiutarvi a raggiungere gli obiettivi di governance e conformità.

10. Chiudere la pagina AI Factsheet per tornare allo Studio di valutazione.

11. Da qui, è possibile iniziare a tracciare un modello di prompt in un caso d'uso di IA. Dalla tabella, fare clic sul menu Overflow accanto a un modello di prompt e scegliere Track in AI use case.