Valutazione delle distribuzioni scollegate negli spazi
È possibile creare una distribuzione separata per valutare i modelli di prompt per i modelli di base non creati o ospitati da IBM.
Per valutare i modelli di base esterni in watsonx.governance, è possibile creare una distribuzione scollegata in uno spazio di distribuzione per connettersi al modello di prompt esterno. Quando si valuta una distribuzione scollegata, è possibile misurare l'efficacia con cui il modello esterno genera risposte per i seguenti tipi di attività:
- Riepilogo del testo
- Classificazione testo
- Risposta alle domande
- Estrazione di entità
- Generazione di contenuto
- Generazione aumentata di recupero (RAG)
Prima di iniziare
Autorizzazioni richieste
È necessario disporre dei ruoli Admin o Editor per valutare le distribuzioni scollegate in uno spazio di distribuzione.
Nel progetto, è possibile creare e valutare un modello di prompt scollegato e promuovere un modello di prompt scollegato in uno spazio di distribuzione.
Se non si promuove un modello di prompt scollegato a uno spazio di distribuzione, è necessario creare un modello di prompt scollegato che colleghi il modello esterno a watsonx.governance prima di valutare i modelli di prompt scollegati negli spazi. È necessario fornire i dettagli di connessione come il nome del modello esterno e il suo URL quando si crea il modello di prompt scollegato. Il seguente esempio mostra come creare un template di prompt scollegato con la API:
{
"name": "prompt name",
"description": "prompt description",
"model_version": {
"number": "2.0.0-rc.7",
"tag": "my prompt tag",
"description": "my description"
},
"prompt_variables": {
"var1": {},
"var2": {}
},
"task_ids": [
"retrieval_augmented_generation"
],
"input_mode": "detached",
"prompt": {
"model_id": "",
"input": [
[
"Some input",
""
]
],
"data": {},
"external_information": {
"external_prompt_id": "external prompt",
"external_model_id": "external model",
"external_model_provider": "external provider",
"external_prompt": {
"url": "https://asdfasdf.com?asd=a&32=1",
"additional_information": [
{
"additional_key": "additional settings"
}
]
},
"external_model": {
"name": "An external model",
"url": "https://asdfasdf.com?asd=a&32=1"
}
}
}
}
Creazione di una distribuzione scollegata da uno spazio
Se non si promuove un modello di prompt scollegato allo spazio di distribuzione dal proprio progetto, è necessario creare una distribuzione scollegata da uno spazio. È possibile utilizzare la seguente procedura per creare una distribuzione scollegata da uno spazio di distribuzione:
Dopo aver creato il modello di prompt, salvarlo in uno spazio di distribuzione, specificando l'ID spazio.
{ "prompt_template": { "id": "<PT ID>" }, "detached": {}, "base_model_id": "abcabc", "description": "Prompt template deployment description", "name": "Prompt template deployment name", "space_id": "<Space ID>" }Dalla scheda Asset dello spazio di distribuzione, fare clic su Nuova distribuzione per l'asset del modello prompt scollegato.
Scegliere Scollegato come tipo di distribuzione.
Fornire un nome e una descrizione facoltativa per la distribuzione.
Se si tiene traccia del modello di prompt scollegato in un caso di utilizzo AI, la distribuzione scollegata viene aggiunta al caso di utilizzo.
Valutazione di una distribuzione scollegata in uno spazio
Le seguenti sezioni descrivono come valutare le distribuzioni scollegate negli spazi ed esaminare i risultati della valutazione:
Valutazione delle distribuzioni scollegate negli spazi di pre - produzione
Esegui valutazione
Per eseguire le valutazioni del modello di prompt, è possibile fare clic su Valuta nella scheda Valutazioni quando si apre una distribuzione per aprire la procedura guidata Valuta modello di prompt . Puoi eseguire le valutazioni solo se ti sono assegnati i ruoli Admin o Editor per il tuo spazio di distribuzione.
Seleziona dimensioni
La procedura guidata Valuta modello di prompt visualizza le dimensioni disponibili per valutare il tipo di attività associato al prompt. È possibile espandere le dimensioni per visualizzare l'elenco di metriche utilizzate per valutare le dimensioni selezionate.
Watsonx.governance configura automaticamente le valutazioni per ogni dimensione con impostazioni predefinite. Per configurare le valutazioni con impostazioni diverse, è possibile selezionare Impostazioni avanzate per impostare le dimensioni minime del campione e i valori di soglia per ogni metrica, come mostrato nel seguente esempio:
Seleziona dati di test
È necessario caricare un file CSV che contiene i dati di test con colonne di riferimento che includono l'input e l'output del modello previsto. I dati di test caricati devono contenere l'output del modello per consentire le valutazioni di distribuzione scollegate. Al termine del caricamento, è necessario mappare le variabili di richiesta alle colonne associate dei dati di test. 
Riesamina e valuta
È possibile esaminare le selezioni per il tipo di attività prompt, i dati di test caricati e il tipo di valutazione che viene eseguito. È necessario selezionare Valuta per eseguire la valutazione.
Revisione dei risultati della valutazione
Una volta terminata la valutazione, è possibile esaminare un riepilogo dei risultati della valutazione nella scheda Valutazioni in watsonx.governance per ottenere informazioni dettagliate sulle prestazioni del modello. Il riepilogo fornisce una panoramica dei punteggi delle metriche e delle violazioni delle soglie di punteggio predefinite per le valutazioni del modello di prompt.
Per analizzare i risultati, è possibile fare clic sulla freccia 
accanto alla valutazione del modello di prompt per visualizzare le visualizzazioni dei dati dei risultati nel tempo. È inoltre possibile analizzare i risultati della valutazione dello stato del modello eseguita per impostazione predefinita durante le valutazioni del modello di prompt per comprendere l'efficienza con cui il proprio modello elabora i dati.
Il menu Azioni fornisce anche le opzioni riportate di seguito per analizzare i risultati:
- Valuta ora: eseguire la valutazione con un dataset di test differente
- Tutte le valutazioni: visualizzare una cronologia delle valutazioni per comprendere come cambiano i risultati nel tempo.
- Configurare i monitor: configurare le soglie di valutazione e le dimensioni del campione.
- Visualizza informazioni modello: visualizza i dettagli sul tuo modello per comprendere come è configurato il tuo ambiente di distribuzione.
Valutazione delle distribuzioni scollegate negli spazi di produzione
Attiva valutazione
Per eseguire le valutazioni di un modello di prompt, è possibile selezionare Attiva nella scheda Valutazioni quando si apre una distribuzione per aprire la procedura guidata Valuta modello di prompt . Puoi eseguire le valutazioni solo se ti sono assegnati i ruoli Admin o Editor per il tuo spazio di distribuzione.
Se non hai un'istanza watsonx.governance associata al tuo spazio di distribuzione, devi selezionare Associa un'istanza del servizio nella casella di dialogo Associa un'istanza del servizio prima di poter eseguire le valutazioni. Nella finestra Associa istanza per valutazione , devi scegliere l'istanza watsonx.governance che vuoi utilizzare e selezionare Associa un'istanza del servizio per associare un'istanza al tuo spazio di distribuzione. Devi avere il ruolo Admin per il tuo spazio di distribuzione per associare le istanze.
Se non hai un database associato alla tua istanza watsonx.governance , devi anche associare un database prima di eseguire le valutazioni. Per associare un database, è necessario fare clic su Associa database nella casella di dialogo Database richiesto per collegarsi a un database. Ti deve essere assegnato il ruolo Admin per il tuo spazio di distribuzione e l'istanza watsonx.governance per associare i database.
Seleziona dimensioni
La procedura guidata Valuta modello di prompt visualizza le dimensioni disponibili per valutare il tipo di attività associato al prompt. È possibile fornire un nome colonna di etichetta per l'output di riferimento specificato nei dati di feedback. È inoltre possibile espandere le dimensioni per visualizzare l'elenco di metriche utilizzate per valutare le dimensioni selezionate.
Watsonx.governance configura automaticamente le valutazioni per ogni dimensione con impostazioni predefinite. Per configurare le valutazioni con impostazioni diverse, è possibile selezionare Impostazioni avanzate per impostare le dimensioni minime del campione e i valori di soglia per ogni metrica, come mostrato nel seguente esempio:
Riesamina e valuta
È possibile rivedere le selezioni per il tipo di attività di prompt e il tipo di valutazione che viene eseguito. È inoltre possibile selezionare Visualizza schema payload o Visualizza schema di feedback per verificare che i nomi delle colonne corrispondano ai nomi delle variabili di prompt nel modello di prompt. È necessario selezionare Attiva per eseguire la valutazione.
Per generare i risultati di valutazione, selezionare Valuta ora nel menu Azioni per aprire la finestra Importa dati di test quando viene visualizzata la pagina di riepilogo della valutazione.
Importa dati di test
Nella finestra Importa dati di verifica , è possibile selezionare Carica dati di payload o Carica dati di feedback per caricare un file CSV che contiene colonne etichettate che corrispondono alle colonne nei propri schemi di payload e feedback.
Revisione dei risultati della valutazione
Una volta terminata la valutazione, è possibile esaminare un riepilogo dei risultati della valutazione nella scheda Valutazioni in watsonx.governance per ottenere informazioni dettagliate sulle prestazioni del modello. Il riepilogo fornisce una panoramica dei punteggi delle metriche e delle violazioni delle soglie di punteggio predefinite per le valutazioni del modello di prompt.
Per analizzare i risultati, è possibile fare clic sulla freccia accanto alla valutazione del modello di prompt per visualizzare le visualizzazioni dei dati dei risultati nel tempo. È inoltre possibile analizzare i risultati della valutazione dello stato del modello eseguita per impostazione predefinita durante le valutazioni del modello di prompt per comprendere l'efficienza con cui il proprio modello elabora i dati.
Il menu Azioni fornisce anche le opzioni riportate di seguito per analizzare i risultati:
- Valuta ora: eseguire la valutazione con un dataset di test differente
- Configurare i monitor: configurare le soglie di valutazione e le dimensioni del campione.
- Visualizza informazioni modello: visualizza i dettagli sul tuo modello per comprendere come è configurato il tuo ambiente di distribuzione.
Se si sta monitorando l'implementazione distaccata in un caso d'uso dell'IA, i dettagli sul modello e i risultati della valutazione vengono registrati in una scheda informativa che è possibile visualizzare.