Configurazione delle valutazioni dell' v2 e di deriva
È possibile configurare le valutazioni di Drift v2 per misurare le variazioni dei dati nel tempo e garantire risultati coerenti per il modello. Utilizzare le valutazioni di drift v2 per identificare i cambiamenti nell'output del modello, l'accuratezza delle previsioni e la distribuzione dei dati di input.
Le seguenti sezioni descrivono come configurare le valutazioni di deviazione v2 :
Configurazione delle valutazioni drift v2 per i modelli di apprendimento automatico
Se si registrano i dati del carico utile quando si preparano le valutazioni del modello, è possibile configurare le valutazioni drift v2 per i modelli di apprendimento automatico per capire come le modifiche dei dati influiscono sui risultati del modello.
Calcolare l'archivio di deviazione
È necessario scegliere il metodo da utilizzare per analizzare i dati di addestramento e determinare le distribuzioni dei dati delle caratteristiche del modello. Se si collegano i dati di allenamento e la loro dimensione è inferiore a 500 MB, si può scegliere di calcolare l'archivio drift v2.
Se non si collegano i dati di allenamento o se le dimensioni dei dati sono superiori a 500 MB, è necessario scegliere di calcolare l'archivio drift v2 in un notebook. È necessario calcolare anche l'archivio drift v2 nei notebook se si vogliono valutare modelli di immagini o di testo.
È possibile specificare un limite per le dimensioni dei dati di allenamento impostando le dimensioni massime dei campioni per la quantità di dati di allenamento utilizzati per il punteggio e il calcolo dell'archivio drift v2. Per le implementazioni non-watsonx.ai Runtime, l'elaborazione dell'archivio Drift v2 ha un costo associato allo scoring dei dati di training rispetto all'endpoint di scoring del modello.
Imposta soglie di deviazione
È necessario impostare valori di soglia per ogni metrica per identificare i problemi relativi ai risultati della valutazione. I valori impostati creano avvisi nel dashboard Insight che vengono visualizzati quando i punteggi delle metriche violano le soglie. È necessario impostare i valori compresi tra 0 e 1. I punteggi della metrica devono essere inferiori ai valori di soglia per evitare violazioni.
Selezionare funzioni importanti
Solo per i modelli tabulari, l'importanza delle caratteristiche viene calcolata per determinare l'impatto della deriva delle caratteristiche sul modello. Per calcolare l'importanza delle caratteristiche, è possibile selezionare le caratteristiche importanti e più importanti del modello che hanno il maggiore impatto sui risultati del modello.
Quando si configurano le spiegazioni di SHAP, le caratteristiche importanti vengono rilevate automaticamente utilizzando le spiegazioni globali.
Puoi anche caricare un elenco di funzionalità importanti caricando un file JSON. Vengono forniti degli snippet di esempio che possono essere utilizzati per caricare un file JSON. Per ulteriori informazioni, vedi Frammenti di importanza della funzione.
Imposta la dimensione del campione
Le dimensioni del campione sono utilizzate per capire come elaborare il numero di transazioni che vengono valutate durante le valutazioni. È necessario impostare una dimensione minima del campione per indicare il numero minimo di transazioni che si desidera valutare. È inoltre possibile impostare una dimensione massima del campione per indicare il numero massimo di transazioni che si desidera valutare.
Configurazione delle valutazioni di drift v2 per i modelli di IA generativa
Quando si valuta i modelli di prompt, è possibile esaminare un riepilogo dei risultati della valutazione della deviazione v2 per i seguenti tipi di attività:
- Riepilogo del testo
- Classificazione testo
- Generazione di contenuto
- Estrazione di entità
- Risposta alle domande
- Richiamo RAG (augmented Generation)
Imposta soglie di deviazione
Per configurare le valutazioni di deviazione v2 con le proprie impostazioni, è possibile impostare una dimensione di esempio minima e massima per ogni metrica. La dimensione minima o massima del campione indica il numero minimo o massimo di transazioni modello che si desidera valutare.
È inoltre possibile configurare i dati della baseline e impostare i valori di soglia per ogni metrica. I valori di soglia creano avvisi nella pagina di riepilogo della valutazione che apper quando i punteggi della metrica violano le soglie. È necessario impostare i valori compresi tra 0 e 1. I punteggi della metrica devono essere inferiori ai valori di soglia per evitare violazioni.
Calcolare l'archivio di deviazione
Watsonx.governance utilizza i record payload per definire la baseline per le valutazioni della deviazione v2 . È necessario configurare il numero di record che si desidera calcolare come dati di base. È possibile utilizzare un notebook per generare l'archivio dei dati della baseline v2 di deviazione per configurare le valutazioni.
Calcolo delle incorporazioni
Per calcolare le metriche di deriva dell'incorporazione, è necessario fornire le incorporazioni con i dati di prova. È possibile usare notebook per aiutare a generare e persistere gli embedding.
Argomento principale: Valutazione dei modelli di IA