È possibile configurare valutazioni di equità per determinare se il modello produce risultati distorti. Utilizzate le valutazioni di equità per identificare quando il vostro modello mostra la tendenza a fornire più spesso risultati favorevoli a un gruppo rispetto a un altro.
Configurazione delle valutazioni di equità per i modelli di apprendimento automatico
Se si registra i dati del carico utile quando si preparano le valutazioni del modello, è possibile configurare le valutazioni di equità.
È possibile configurare manualmente le valutazioni di correttezza oppure è possibile eseguire un notebook personalizzato per generare un file di configurazione. È possibile caricare il file di configurazione per specificare le impostazioni per la valutazione.
Quando si configurano le valutazioni di correttezza manualmente, è possibile specificare il gruppo di riferimento (valore) che si prevede rappresenti i risultati favorevoli. È anche possibile selezionare gli attributi del modello corrispondenti (funzioni) per monitorare la distorsione (ad esempio, Età o Sesso), che verrà confrontata con il gruppo di riferimento. In base ai dati di addestramento, è possibile specificare la dimensione minima e massima del campione per le valutazioni.
Selezionare gli esiti favorevoli e quelli sfavorevoli
È necessario specificare i risultati favorevoli e sfavorevoli quando si configurano le valutazioni di equità. I valori che rappresentano un risultato favorevole derivano dalla colonna label nei dati di addestramento. Per impostazione predefinita la colonna predictedLabel è impostata come la colonna prediction. I valori favorevoli e sfavorevoli devono essere specificati utilizzando il valore della colonna prediction come tipo di dati stringa, ad esempio 0 o 1 quando si caricano i dati di addestramento.
Seleziona funzioni
È necessario selezionare le caratteristiche che rappresentano gli attributi del modello che si desidera valutare per rilevare le distorsioni. Ad esempio, è possibile valutare caratteristiche come Sex o Age per la polarizzazione. Sono supportate solo le funzioni di tipo di dati di correttezza categoriali, numerici (interi), mobili o doppi.
I valori delle funzioni vengono specificati come riferimento o come gruppo monitorato. Il gruppo monitorato rappresenta i valori più a rischio per i risultati distorti. Ad esempio, per la funzione Sex , è possibile impostare Female e Non-binary come gruppi monitorati. Per una funzione numerica, come Age, è possibile impostare [18-25] come gruppo monitorato. Tutti gli altri valori per la funzione vengono quindi considerati come gruppo di riferimento, ad esempio Sex=Male o Age=[26,100].
Impostare la soglia di equità
È possibile impostare la soglia di equità per specificare una differenza accettabile tra la percentuale di risultati favorevoli per il gruppo monitorato e la percentuale di risultati favorevoli per il gruppo di riferimento. Ad esempio, se la percentuale di risultati favorevoli per un gruppo nel modello è 70% e la soglia di correttezza è impostata su 80%, il monitoraggio della correttezza rileva la distorsione nel modello.
Imposta la dimensione del campione
Le dimensioni del campione vengono utilizzate per accelerare l'elaborazione del numero di transazioni da valutare. È necessario impostare una dimensione minima del campione per indicare il numero minimo di transazioni che si desidera valutare. È inoltre possibile impostare una dimensione massima del campione per indicare il numero massimo di transazioni che si desidera valutare.
Test per la distorsione indiretta
Se si seleziona un campo che non è una caratteristica di addestramento, chiamato campo aggiunto, il pregiudizio indiretto viene identificato trovando i valori associati nelle caratteristiche di addestramento. Ad esempio, la professione "studente" può implicare un individuo più giovane anche se il campo Età è stato escluso dall'addestramento del modello. Per maggiori dettagli sulla configurazione delle valutazioni di equità per considerare i pregiudizi indiretti, vedere Configurazione del monitor di equità per i pregiudizi indiretti.
Attenuazione della distorsione
Il debiasing passivo e attivo viene utilizzato per la valutazione dei modelli di apprendimento automatico. L'annullamento della distorsione passivo rivela la distorsione, mentre l'annullamento della distorsione attivo impedisce di portare avanti tale distorsione modificando il modello in tempo reale per l'applicazione corrente. Per i dettagli sull'interpretazione dei risultati e sulla mitigazione della distorsione in un modello, consultare Revisione dei risultati da una valutazione della correttezza.
Configurazione delle valutazioni dell'equità in watsonx.governance
Quando valutate i modelli di prompt, potete esaminare un riepilogo dei risultati della valutazione dell'equità per i compiti di classificazione del testo.
Selezionare gli esiti favorevoli e quelli sfavorevoli
È necessario specificare i risultati favorevoli e sfavorevoli quando si configurano le valutazioni di equità. I valori che rappresentano un risultato favorevole sono derivati dalla colonna label dei dati del test forniti dall'utente. Per impostazione predefinita la colonna predictedLabel è impostata come la colonna prediction. I valori favorevoli e sfavorevoli devono essere specificati utilizzando il valore della colonna prediction come tipo di dati stringa, ad esempio 0 o 1 quando si caricano i dati di allenamento.
Selezionare i metacampi
È necessario selezionare i metacampi per consentire a watsonx.governance di identificare i campi non specificati come caratteristiche nei dati di test forniti.
Impostare le soglie di equità
Per configurare le valutazioni di equità con le proprie impostazioni, è possibile impostare una dimensione minima e massima del campione per ciascuna metrica. La dimensione minima o massima del campione indica il numero minimo o massimo di transazioni del modello che si desidera valutare.
È inoltre possibile configurare i dati di base e impostare i valori di soglia per ogni metrica. I valori di soglia creano avvisi nella pagina di riepilogo della valutazione che appaiono quando i punteggi delle metriche violano le soglie impostate. I valori devono essere compresi tra 0 e 1. I punteggi delle metriche devono essere inferiori ai valori di soglia per evitare violazioni.
Imposta la dimensione del campione
Watsonx.governance utilizza le dimensioni dei campioni per capire come elaborare il numero di transazioni che vengono valutate durante le valutazioni. È necessario impostare una dimensione minima del campione per indicare il numero minimo di transazioni che si desidera che watsonx.governance valuti. È inoltre possibile impostare una dimensione massima del campione per indicare il numero massimo di transazioni che si desidera che watsonx.governance valuti.
Metriche di correttezza supportate
Quando si attivano le valutazioni di equità per i modelli di apprendimento automatico o le risorse di IA generativa, è possibile visualizzare un riepilogo dei risultati della valutazione con le metriche relative al tipo di modello che si sta valutando.
È possibile visualizzare i risultati delle valutazioni di correttezza per i modelli di apprendimento automatico nella dashboard Insights. Per ulteriori informazioni, vedere Riesame dei risultati di equità.
Le seguenti metriche sono supportate da valutazioni di equità:
Impatto disparato
L'impatto diseguale è specificato come i punteggi di equità per i diversi gruppi. L'impatto diseguale confronta la percentuale di esiti favorevoli per un gruppo monitorato con la percentuale di esiti favorevoli per un gruppo di riferimento.
Come funziona: Quando si visualizzano i dettagli dell'implementazione di un modello, la sezione Fairness del riepilogo del modello che viene visualizzato, fornisce i punteggi di fairness per diversi gruppi che sono descritti come metriche. I punteggi di equità sono calcolati con la formula dell'impatto disparato.
Usa la matrice di confusione per misurare le prestazioni: No
Fate i conti:
(num_positives(privileged=False) / num_instances(privileged=False))
Disparate impact = ______________________________________________________________________
(num_positives(privileged=True) / num_instances(privileged=True))
Il valore num_positives rappresenta il numero di individui del gruppo che hanno ricevuto un esito positivo, mentre il valore num_instances rappresenta il numero totale di individui del gruppo. L'etichetta privileged=False specifica i gruppi non privilegiati e l'etichetta privileged=True specifica i gruppi privilegiati. Gli esiti positivi sono indicati come esiti favorevoli, mentre gli esiti negativi sono indicati come esiti sfavorevoli. Il gruppo privilegiato è designato come gruppo di riferimento e il gruppo non privilegiato come gruppo monitorato.
Il calcolo produce una percentuale che specifica la frequenza con cui il gruppo non privilegiato riceve il risultato positivo è la stessa con cui il gruppo privilegiato riceve il risultato positivo. Ad esempio, se un modello di rischio di credito assegna la previsione "nessun rischio" all'80% dei richiedenti non privilegiati e al 100% dei richiedenti privilegiati, tale modello ha un impatto disparato dell'80%.
Dettagli di correttezza supportati
- Sono supportati i seguenti dettagli per le metriche di equità:
- Le percentuali favorevoli per ciascuno dei gruppi
- Le medie di correttezza per tutti i gruppi di correttezza
- Distribuzione dei dati per ciascuno dei gruppi monitorati
- Distribuzione dei dati del payload
- Sono supportati i seguenti dettagli per le metriche di equità:
Differenza di parità statistica
La differenza statistica di parità confronta la percentuale di esiti favorevoli dei gruppi monitorati rispetto ai gruppi di riferimento.
Descrizione: Metrica di equità che descrive l'equità delle previsioni del modello. È la differenza tra il rapporto di esiti favorevoli nei gruppi monitorati e in quelli di riferimento
- Sotto lo 0: benefici maggiori per il gruppo monitorato.
- Allo 0: Entrambi i gruppi hanno lo stesso beneficio.
- Superiore a 0 Implica un beneficio maggiore per il gruppo di riferimento.
Usa la matrice di confusione per misurare le prestazioni: Sì
Fate i conti:
num_positives(privileged=False) num_positives(privileged=True)
Statistical parity difference = ________________________________ - ________________________________
num_instances(privileged=False) num_instances(privileged=True)
Punteggio impatto
Il punteggio di impatto confronta il tasso di selezione dei gruppi monitorati per ottenere risultati favorevoli con il tasso di selezione dei gruppi di riferimento per ottenere risultati favorevoli.
- Fate i conti:
La formula seguente calcola il tasso di selezione per ciascun gruppo:
number of individuals receiving favorable outcomes
Selection rate = ________________________________________________________
total number of individuals
La formula seguente calcola il punteggio di impatto:
selection rate for monitored groups
Impact score = ________________________________________________________
selection rate for reference groups
Soglie:
- Limite inferiore: 0.8
- Limite superiore: 1.0
Come funziona: Punteggi più alti indicano tassi di selezione più elevati per i gruppi monitorati
Differenza tasso di falsi negativi
La differenza del tasso di falsi negativi indica la percentuale di transazioni positive che sono state erroneamente classificate come negative dal modello.
Descrizione: Restituisce la differenza dei tassi di falsi negativi per i gruppi monitorati e di riferimento
- Allo 0: Entrambi i gruppi hanno lo stesso beneficio.
Usa la matrice di confusione per misurare le prestazioni: Sì
Fate i conti:
Per calcolare il tasso di falsi negativi (FNR) si utilizza la seguente formula:
false negatives
False negative rate = __________________________
all positives
Per calcolare la differenza del tasso di falsi negativi si utilizza la seguente formula:
False negative rate difference = FNR of monitored group - FNR of reference group
Differenza tasso di falsi positivi
La differenza del tasso di falsi positivi indica la percentuale di transazioni negative che sono state erroneamente classificate come positive dal modello.
Descrizione: Restituisce il rapporto del tasso di falsi positivi per il gruppo monitorato e i gruppi di riferimento.
- Allo 0: entrambi i gruppi hanno le stesse probabilità.
Usa la matrice di confusione per misurare le prestazioni: Sì
Fate i conti:
Per calcolare il tasso di falsi positivi (FPR) si utilizza la seguente formula:
false positives
False positive rate = ________________________
total negatives
Per calcolare la differenza del tasso di falsi positivi si utilizza la seguente formula:
False positive rate difference = FPR of monitored group - FPR of reference group
Differenza tasso di rilevamento falsi
La differenza del tasso di scoperta dei falsi indica la quantità di transazioni false positive come percentuale di tutte le transazioni con esito positivo. Descrive la pervasività dei falsi positivi tra tutte le transazioni positive.
Descrizione: Restituisce la differenza del tasso di scoperta dei falsi per i gruppi monitorati e di riferimento.
- Allo 0: entrambi i gruppi hanno le stesse probabilità.
Usa la matrice di confusione per misurare le prestazioni: Sì
Fate i conti:
Per calcolare il tasso di scoperta dei falsi (FDR) si utilizza la seguente formula:
false positives
False discovery rate = _________________________________________
true positives + false positives
Per calcolare la differenza del tasso di scoperta dei falsi si utilizza la seguente formula:
False discovery rate difference = FDR of monitored group - FDR of reference group
Differenza tasso di omissione falsi
La differenza del tasso di omissione falsa indica il numero di transazioni false negative come percentuale di tutte le transazioni con esito negativo. Descrive la pervasività dei falsi negativi tra tutte le transazioni negative.
Descrizione: Restituisce la differenza del tasso di false omissioni per i gruppi monitorati e di riferimento
- Allo 0: entrambi i gruppi hanno le stesse probabilità.
Usa la matrice di confusione per misurare le prestazioni: Sì
Fate i conti:
Per calcolare il tasso di false omissioni (FOR) si utilizza la seguente formula:
false negatives
False omission rate = ________________________________________
true negatives + false negatives
Per la differenza del tasso di falsa omissione si utilizza la seguente formula:
False omission rate difference = FOR of monitored group - FOR of reference group
Differenza tasso di errore
La differenza del tasso di errore calcola la percentuale di transazioni che vengono valutate in modo errato dal modello.
Descrizione: Restituisce la differenza del tasso di errore per i gruppi monitorati e di riferimento.
- Allo 0: entrambi i gruppi hanno le stesse probabilità.
Usa la matrice di confusione per misurare le prestazioni: Sì
Fate i conti:
Per calcolare il tasso di errore (ER) si utilizza la seguente formula:
false positives + false negatives
Error rate = ___________________________________________
all positives + all negatives
Per calcolare la differenza del tasso di errore si utilizza la seguente formula:
Error rate difference = ER of monitored group - ER of reference group
Differenza odds media
La differenza di probabilità media indica la percentuale di transazioni che è stata valutata in modo errato dal modello.
Descrizione: Restituisce la differenza del tasso di errore per i gruppi monitorati e di riferimento.
- Allo 0: entrambi i gruppi hanno le stesse probabilità.
Usa la matrice di confusione per misurare le prestazioni: Sì
Fate i conti:
Per calcolare il tasso di falsi positivi (FPR) si utilizza la seguente formula:
false positives
False positive rate = _________________________
total negatives
Per calcolare il tasso di veri positivi (TPR) si utilizza la seguente formula:
True positives
True positive rate = ______________________
All positives
Per il calcolo della differenza di probabilità media si utilizza la seguente formula:
(FPR monitored group - FPR reference group) + (TPR monitored group - TPR reference group)
Average odds difference = ___________________________________________________________________________________________
2
Differenza odds assoluti media
La differenza media di probabilità assoluta confronta la media delle differenze assolute nei tassi di falsi positivi e di veri positivi tra i gruppi monitorati e i gruppi di riferimento.
Descrizione: Restituisce la media della differenza assoluta del tasso di falsi positivi e del tasso di veri positivi per i gruppi monitorati e di riferimento.
- Allo 0: entrambi i gruppi hanno le stesse probabilità.
Usa la matrice di confusione per misurare le prestazioni: Sì
Fate i conti:
Per calcolare il tasso di falsi positivi (FPR) si utilizza la seguente formula:
false positives
False positive rate = ____________________________
all negatives
Per calcolare il tasso di veri positivi (TPR) si utilizza la seguente formula:
True positives
True positive rate = ________________________
All positives
Per il calcolo della differenza media delle probabilità assolute si utilizza la seguente formula:
|FPR monitored group - FPR reference group| + |TPR monitored group - TPR reference group|
Average absolute odds difference = ______________________________________________________________________________________________
2
Misurare le prestazioni con la matrice di confusione
La matrice di confusione misura le prestazioni categorizzando le previsioni positive e negative in quattro quadranti che rappresentano la misura dei valori effettivi e previsti, come mostrato nell'esempio seguente:
| Attuale/Previsto | Negativo | Positivo |
|---|---|---|
| Negativo | TN | FP |
| Positivo | FN | TP |
Il quadrante dei veri negativi (TN) rappresenta i valori effettivamente negativi e previsti come negativi, mentre il quadrante dei veri positivi (TP) rappresenta i valori effettivamente positivi e previsti come positivi. Il quadrante dei falsi positivi (FP) rappresenta i valori effettivamente negativi ma previsti come positivi e il quadrante dei falsi negativi (FN) rappresenta i valori effettivamente positivi ma previsti come negativi.
Argomento principale: Configurazione delle valutazioni di equità