Configurazione delle valutazioni di correttezza
È possibile configurare valutazioni di equità per determinare se il modello produce risultati distorti. Utilizzate le valutazioni di equità per identificare quando il vostro modello mostra la tendenza a fornire più spesso risultati favorevoli a un gruppo rispetto a un altro.
Configurazione delle valutazioni di equità per i modelli di apprendimento automatico
Se si registra i dati del carico utile quando si preparano le valutazioni del modello, è possibile configurare le valutazioni di equità.
È possibile configurare manualmente le valutazioni di correttezza oppure è possibile eseguire un notebook personalizzato per generare un file di configurazione. È possibile caricare il file di configurazione per specificare le impostazioni per la valutazione.
Quando si configurano le valutazioni di correttezza manualmente, è possibile specificare il gruppo di riferimento (valore) che si prevede rappresenti i risultati favorevoli. È anche possibile selezionare gli attributi del modello corrispondenti (funzioni) per monitorare la distorsione (ad esempio, Età o Sesso), che verrà confrontata con il gruppo di riferimento. In base ai dati di addestramento, è possibile specificare la dimensione minima e massima del campione per le valutazioni.
Selezionare gli esiti favorevoli e quelli sfavorevoli
È necessario specificare i risultati favorevoli e sfavorevoli quando si configurano le valutazioni di equità. I valori che rappresentano un risultato favorevole derivano dalla colonna labelpredictedLabelpredictionprediction01
Seleziona funzioni
È necessario selezionare le caratteristiche che rappresentano gli attributi del modello che si desidera valutare per rilevare le distorsioni. Ad esempio, è possibile valutare caratteristiche come SexAge
I valori delle funzioni vengono specificati come riferimento o come gruppo monitorato. Il gruppo monitorato rappresenta i valori più a rischio per i risultati distorti. Ad esempio, per la funzione SexFemaleNon-binaryAge[18-25]Sex=MaleAge=[26,100]
Impostare la soglia di equità
È possibile impostare la soglia di equità per specificare una differenza accettabile tra la percentuale di risultati favorevoli per il gruppo monitorato e la percentuale di risultati favorevoli per il gruppo di riferimento. Ad esempio, se la percentuale di risultati favorevoli per un gruppo nel modello è 70% e la soglia di correttezza è impostata su 80%, il monitoraggio della correttezza rileva la distorsione nel modello.
Imposta la dimensione del campione
Le dimensioni del campione vengono utilizzate per accelerare l'elaborazione del numero di transazioni da valutare. È necessario impostare una dimensione minima del campione per indicare il numero minimo di transazioni che si desidera valutare. È inoltre possibile impostare una dimensione massima del campione per indicare il numero massimo di transazioni che si desidera valutare.
Test per la distorsione indiretta
Se si seleziona un campo che non è una caratteristica di addestramento, chiamato campo aggiunto, il pregiudizio indiretto viene identificato trovando i valori associati nelle caratteristiche di addestramento. Ad esempio, la professione "studente" può implicare un individuo più giovane anche se il campo Età è stato escluso dall'addestramento del modello. Per maggiori dettagli sulla configurazione delle valutazioni di equità per considerare i pregiudizi indiretti, vedere Configurazione del monitor di equità per i pregiudizi indiretti.
Attenuazione della distorsione
Il debiasing passivo e attivo viene utilizzato per la valutazione dei modelli di apprendimento automatico. L'annullamento della distorsione passivo rivela la distorsione, mentre l'annullamento della distorsione attivo impedisce di portare avanti tale distorsione modificando il modello in tempo reale per l'applicazione corrente. Per i dettagli sull'interpretazione dei risultati e sulla mitigazione della distorsione in un modello, consultare Revisione dei risultati da una valutazione della correttezza.
Configurazione delle valutazioni dell'equità in watsonx.governance
Quando valutate i modelli di prompt, potete esaminare un riepilogo dei risultati della valutazione dell'equità per i compiti di classificazione del testo.
Selezionare gli esiti favorevoli e quelli sfavorevoli
È necessario specificare i risultati favorevoli e sfavorevoli quando si configurano le valutazioni di equità. I valori che rappresentano un risultato favorevole sono derivati dalla colonna labelpredictedLabelpredictionprediction01
Selezionare i metacampi
È necessario selezionare i metacampi per consentire a watsonx.governance di identificare i campi non specificati come caratteristiche nei dati di test forniti.
Impostare le soglie di equità
Per configurare le valutazioni di equità con le proprie impostazioni, è possibile impostare una dimensione minima e massima del campione per ciascuna metrica. La dimensione minima o massima del campione indica il numero minimo o massimo di transazioni del modello che si desidera valutare.
È inoltre possibile configurare i dati di base e impostare i valori di soglia per ogni metrica. I valori di soglia creano avvisi nella pagina di riepilogo della valutazione che appaiono quando i punteggi delle metriche violano le soglie impostate. I valori devono essere compresi tra 0 e 1. I punteggi delle metriche devono essere inferiori ai valori di soglia per evitare violazioni.
Imposta la dimensione del campione
Watsonx.governance utilizza le dimensioni dei campioni per capire come elaborare il numero di transazioni che vengono valutate durante le valutazioni. È necessario impostare una dimensione minima del campione per indicare il numero minimo di transazioni che si desidera che watsonx.governance valuti. È inoltre possibile impostare una dimensione massima del campione per indicare il numero massimo di transazioni che si desidera che watsonx.governance valuti.
Argomento principale: Configurazione delle valutazioni di equità