È possibile configurare la spiegabilità per rivelare quali caratteristiche contribuiscono al risultato previsto dal modello per una transazione e prevedere quali modifiche porterebbero a un risultato diverso.
È possibile configurare la spiegabilità per analizzare i fattori che influenzano i risultati del modello. È possibile scegliere di configurare le spiegazioni locali per analizzare l'impatto dei fattori per specifiche transazioni del modello e configurare le spiegazioni globali per analizzare fattori generali che influiscono sui risultati del modello.
È possibile configurare la spiegabilità manualmente o eseguire un notebook personalizzato per generare un archivio di spiegabilità.
Quando si esegue il notebook, è possibile caricare l'archivio per specificare i parametri della valutazione. Se non si forniscono dati di formazione, è necessario generare l'archivio per configurare la spiegabilità.
Quando si configura manualmente la spiegabilità, è necessario impostare i parametri per determinare il tipo di spiegazioni che si desidera generare. È anche possibile scegliere di specificare funzioni controllabili e abilitare il supporto lingua.
Configura parametri
Per configurare i parametri, è necessario specificare i metodi di spiegazione che si desidera utilizzare. È necessario scegliere di utilizzare SHAP (Shapley Additive explanations) o LIME (Local Interpretable Model-Agnostic explanations) come metodo di spiegazione locale. Se si utilizza SHAP come metodo di spiegazione locale, è necessario specificare il numero di perturbazioni che il modello genera per ogni spiegazione locale e selezionare un'opzione per l'utilizzo dei dati di sfondo. I dati di contesto vengono utilizzati per determinare l'influenza delle caratteristiche sui risultati delle spiegazioni. Se si utilizza LIME come spiegazione locale, è necessario specificare solo il numero di perturbazioni.
Abilitando il parametro Spiegazione globale, si può anche scegliere di utilizzare SHAP (Spiegazioni additive di Shapley) o LIME (Spiegazioni agnostiche del modello interpretabile locale) come metodo di spiegazione globale. Per configurare il metodo di spiegazione globale, è necessario specificare la dimensione del campione di transazioni del modello che viene utilizzato per generare le spiegazioni in corso e una pianificazione che determina quando vengono generate le spiegazioni. È inoltre necessario specificare una soglia di stabilità della spiegazione globale e selezionare un'opzione che specifichi come viene generata una spiegazione globale di base. Queste impostazioni vengono utilizzate per calcolare la metrica di stabilità della spiegazione globale.
Caratteristiche controllabili
Le funzioni controllabili sono funzioni che possono essere modificate e che hanno un impatto significativo sui risultati del modello. È possibile specificare le caratteristiche controllabili per identificare le modifiche che potrebbero produrre risultati diversi.
Supporto dei linguaggi
Se si attiva il supporto per le lingue, è possibile analizzare le lingue non delimitate da spazi per determinare la spiegabilità. È possibile configurare explainability per rilevare automaticamente le lingue supportate o specificare manualmente le lingue supportate che si desidera analizzare. Non puoi configurare il supporto lingua per i modelli strutturati e di immagine.
Metriche di spiegabilità supportate
Sono supportate le seguenti metriche di spiegabilità:
Stabilità della spiegazione globale
La stabilità della spiegazione globale indica il grado di coerenza della spiegazione globale nel tempo
- Descrizione:
Una spiegazione globale viene generata con i dati di base forniti dall'utente quando si configurano le valutazioni di spiegabilità. Le spiegazioni globali identificano le caratteristiche che hanno il maggior impatto sul comportamento del modello. Quando vengono generate nuove spiegazioni globali, ogni spiegazione viene confrontata con la spiegazione globale di base per calcolare la stabilità della spiegazione globale. La stabilità della spiegazione globale utilizza la formula del guadagno cumulativo scontato normalizzato (NDGC) per determinare la somiglianza tra le nuove spiegazioni globali e la spiegazione globale di base.
Come funziona: I valori più alti indicano una maggiore uniformità con la spiegazione di base
- A 0: le spiegazioni sono molto diverse.
- A 1: le spiegazioni sono molto simili.
Fate i conti:
Per calcolare la stabilità della spiegazione globale si utilizza la seguente formula:
DCGₚ
nDCGₚ = _____________________
IDCGₚ
Limitazioni
- Quando si configurano le impostazioni per le spiegazioni globali di SHAP, esistono le seguenti limitazioni:
- La dimensione del campione utilizzata per configurare le spiegazioni può influenzare il numero di spiegazioni generate in determinati periodi di tempo. Se si tenta di generare più spiegazioni per campioni di grandi dimensioni, le transazioni potrebbero non essere elaborate.
- Se si configurano le spiegazioni per più sottoscrizioni, è necessario specificare i valori predefiniti per le impostazioni della dimensione del campione e del numero di perturbazioni quando l'installazione contiene 20 funzioni o meno.
- I segni di uguale (=) nei nomi delle colonne non sono supportati nei vostri dati. Il segno uguale potrebbe causare un errore.
- L'esplicabilità non è supportata per i modelli SPSS multiclasse che restituono solo la probabilità della classe vincente.
Ulteriori informazioni
spiegazione delle transazioni del modello
Argomento principale: Valutazione dei modelli di IA