Configurazione delle valutazioni di deviazione v2
È possibile configurare le valutazioni di deviazione v2 per misurare le modifiche nei dati nel tempo per garantire risultati coerenti per il modello. Utilizzare le valutazioni della deviazione v2 per identificare modifiche nell'output del modello, l'accuratezza delle previsioni e la distribuzione dei dati di input.
Le seguenti sezioni descrivono come configurare le valutazioni di deviazione v2 :
Configurazione delle valutazioni di deviazione v2
Se si registrano i dati del carico utile quando si preparano le valutazioni del modello, è possibile configurare le valutazioni Drift v2 per capire come le modifiche dei dati influiscono sui risultati del modello.
Calcolare l'archivio di deviazione
È necessario scegliere il metodo da utilizzare per analizzare i dati di addestramento e determinare le distribuzioni dei dati delle caratteristiche del modello. Se si collegano i dati di allenamento e la loro dimensione è inferiore a 500 MB, si può scegliere di calcolare l'archivio drift v2.
Se non si collegano i dati di allenamento o se le dimensioni dei dati sono superiori a 500 MB, è necessario scegliere di calcolare l'archivio drift v2 in un notebook. È necessario calcolare anche l'archivio drift v2 nei notebook se si vogliono valutare modelli di immagini o di testo.
È possibile specificare un limite per le dimensioni dei dati di addestramento impostando le dimensioni massime dei campioni per la quantità di dati di addestramento utilizzati per il punteggio e il calcolo dell'archivio drift v2. Per le implementazioni non-watsonx.ai Runtime, l'elaborazione dell'archivio Drift v2 ha un costo associato allo scoring dei dati di training rispetto all'endpoint di scoring del modello.
Imposta soglie di deviazione
È necessario impostare valori di soglia per ogni metrica per identificare i problemi relativi ai risultati della valutazione. I valori impostati creano avvisi nel dashboard Insight che vengono visualizzati quando i punteggi delle metriche violano le soglie. È necessario impostare i valori compresi tra 0 e 1. I punteggi della metrica devono essere inferiori ai valori di soglia per evitare violazioni.
Selezionare funzioni importanti
Solo per i modelli tabulari, l'importanza delle caratteristiche viene calcolata per determinare l'impatto della deriva delle caratteristiche sul modello. Per calcolare l'importanza delle caratteristiche, è possibile selezionare le caratteristiche importanti e più importanti del modello che hanno il maggiore impatto sui risultati del modello.
Quando si configurano le spiegazioni di SHAP, le caratteristiche importanti vengono rilevate automaticamente utilizzando le spiegazioni globali.
Puoi anche caricare un elenco di funzionalità importanti caricando un file JSON. Vengono forniti degli snippet di esempio che possono essere utilizzati per caricare un file JSON. Per ulteriori informazioni, vedi Frammenti di importanza della funzione.
Imposta la dimensione del campione
Le dimensioni del campione sono fornite per elaborare il numero di transazioni che vengono valutate durante le valutazioni. È necessario impostare una dimensione minima del campione per indicare il numero minimo di transazioni che si desidera valutare. È inoltre possibile impostare una dimensione massima del campione per indicare il numero massimo di transazioni che si desidera valutare.
Argomento principale: Valutazione dei modelli di IA