Le spiegazioni delle transazioni del modello aiutano a capire come vengono determinate le previsioni.

È possibile analizzare le spiegazioni locali per comprendere l'impatto dei fattori per transazioni specifiche o analizzare le spiegazioni globali per comprendere i fattori generali che influiscono sui risultati del modello. Il tipo di modello configurato determina il tipo di spiegazione che è possibile utilizzare per analizzare le transazioni.

Le spiegazioni sono supportate per modelli di testo strutturati, immagini e non strutturati. I modelli strutturati possono utilizzare problemi di classificazione binari, multiclasse o di regressione. I modelli di immagini o di testo non strutturato possono utilizzare problemi di classificazione binaria o multiclasse.

Quando si configura la spiegabilità, per analizzare le transazioni si possono usare le spiegazioni locali interpretabili modello-agnostiche (LIME), le spiegazioni contrastive o le spiegazioni additive di Shapley (SHAP).

LIME identifica le funzioni più importanti per uno specifico punto di dati analizzando fino a 5000 altri punti di dati vicini. In un'impostazione ideale, le funzioni con elevata importanza in LIME sono le funzioni più importanti per quel punto di dati specifico.

Le spiegazioni contrastanti calcolano quanti valori devono essere modificati per modificare la previsione o mantenere la stessa previsione. I fattori che richiedono il massimo cambiamento sono considerati più importanti, quindi le funzioni con la massima importanza nelle spiegazioni contrastanti sono le funzioni in cui il modello è meno sensibile. Per le spiegazioni contrastive, vengono visualizzate le variazioni massime per lo stesso risultato e le variazioni minime per un risultato modificato. Queste categorie sono anche note come valori positivi e negativi pertinenti. Questi valori consentono di spiegare il comportamento del modello in vicinanza del punto di dati per cui viene generata una spiegazione.

SHAP è un approccio teorico del gioco che spiega l'output dei modelli di machine learning. Collega l'allocazione ottimale del credito con le spiegazioni locali utilizzando i valori di Shapley e le relative estensioni. SHAP assegna a ciascuna funzione del modello un valore di importanza per una particolare previsione, denominata Valore Shapley. Il valore di Shapley è il contributo marginale medio di un valore caratteristica in tutti i possibili gruppi di funzioni. I valori SHAP delle funzioni di input sono le somme della differenza tra l'output del modello di base o previsto e l'output del modello corrente per la previsione spiegata. L'output del modello di baseline può essere basato sul riepilogo dei dati di addestramento o su qualsiasi sottoinsieme di dati per cui devono essere generate le spiegazioni. I valori di Shapley di una serie di transazioni possono essere combinati per ottenere spiegazioni globali che forniscono una panoramica delle funzioni più importanti di un modello.