Erklärungen zu Ihren Modelltransaktionen helfen Ihnen zu verstehen, wie die Vorhersagen ermittelt werden.
Sie können lokale Erklärungen analysieren, um die Auswirkungen von Faktoren für bestimmte Transaktionen zu verstehen, oder globale Erklärungen analysieren, um die allgemeinen Faktoren zu verstehen, die sich auf die Modellergebnisse auswirken. Der von Ihnen konfigurierte Modelltyp bestimmt den Typ der Erläuterung, die Sie zum Analysieren Ihrer Transaktionen verwenden können.
Es werden Erklärungen für strukturierte, bildliche und unstrukturierte Textmodelle unterstützt. Strukturierte Modelle können Probleme mit der Binär-, Mehrklassen-oder Regressionsklassifikation verwenden. Image-oder unstrukturierte Textmodelle können binäre oder mehrklassige Klassifizierungsprobleme verwenden.
Wenn Sie die Erklärbarkeit konfigurieren, können Sie lokale interpretierbare modellgnostische Erklärungen (LIME), kontrastive Erklärungen oder additive Shapley-Erklärungen (SHAP) zur Analyse von Transaktionen verwenden.
LIME ermittelt, welche Features für einen bestimmten Datenpunkt am wichtigsten sind, indem bis zu 5000 weitere Datenpunkte in der Nahaufnahme analysiert werden. In einer idealen Situation sind die Merkmale mit hoher Wichtigkeit in LIME die Merkmale, die für diesen speziellen Datenpunkt am wichtigsten sind.
Kontrastierende Erklärungen berechnen, wie viele Werte geändert werden müssen, um die Vorhersage zu ändern oder dieselbe Vorhersage beizubehalten. Faktoren, die die umfangreichste Änderung erfordern, werden als wichtiger eingestuft, d. h. in kontrastierenden Erklärungen sind diejenigen Merkmale von größter Bedeutung, bei denen das Modell die geringste Sensitivität zeigt. Bei kontrastiven Erklärungen werden die maximalen Veränderungen für das gleiche Ergebnis und die minimalen Veränderungen für ein verändertes Ergebnis angezeigt. Diese Kategorien werden auch als relevante positive und relevante negative Werte bezeichnet. Diese Werte helfen, das Verhalten des Modells in der Nähe des Datenpunkts zu erklären, für den eine Erklärung generiert wird.
SHAP ist ein spieltheoretischer Ansatz, der die Ausgabe von Modellen für maschinelles Lernen erläutert. Es verbindet die optimale Kreditvergabe mit lokalen Erklärungen, indem es Shapley-Werte und deren zugehörige Erweiterungen verwendet. SHAP weist jedem Modellmerkmal einen Wichtigkeitswert für eine bestimmte Vorhersage zu, der als Shapley-Wertbezeichnet wird. Der Shapley-Wert ist der durchschnittliche marginale Beitrag eines Featurewerts für alle möglichen Gruppen von Features. Die SHAP-Werte der Eingabemerkmale sind die Summen der Differenz zwischen der Baseline-oder erwarteten Modellausgabe und der aktuellen Modellausgabe für die erklärte Vorhersage. Die Basismodellausgabe kann auf der Zusammenfassung der Trainingsdaten oder einer beliebigen Untergruppe von Daten basieren, für die Erklärungen generiert werden müssen. Die Shapley-Werte einer Gruppe von Transaktionen können kombiniert werden, um globale Erklärungen zu erhalten, die einen Überblick darüber geben, welche Merkmale eines Modells am wichtigsten sind.
Es werden nur globale Erklärungen für Online-Abonnements unterstützt. SHAP-Erläuterungen unterstützen nur Tabellendaten.
Lokale Erklärungen analysieren
Sie können verschiedene Methoden verwenden, um lokale Erklärungen anzuzeigen.
Wenn Sie Auswertungsergebnisse überprüfen, können Sie den Link Anzahl der Erklärungen auswählen, um das Fenster Erläuterung auswählen zu öffnen.
Wählen Sie in der Spalte Aktion Erklären aus, damit die Detailseite Transaktion angezeigt wird. Die Transaktionsdetails enthalten je nach den verwendeten Erläuterungsmethoden und Modelltypen unterschiedliche Erläuterungen.
Bei kategorialen Modellen bietet die Seite Transaktionsdetails auf der Registerkarte Erklären eine Analyse der Features, die das Ergebnis der Transaktion mit der von Ihnen verwendeten lokalen Erläuterungsmethode beeinflusst haben. Für SHAP können Sie die Hintergrunddaten, die Sie verwenden, im Menü Hintergrunddaten auswählen, um die Erläuterung neu zu generieren.
Auf der Registerkarte "Prüfen" werden erweiterte kontrastive Erklärungen für binäre Klassifizierungsmodelle erstellt, mit denen Sie mit Merkmalen experimentieren können, indem Sie die Werte ändern, um zu sehen, ob sich das Ergebnis ändert.
Sie können auch verschiedene Erläuterungen für die folgenden Transaktionstypen anzeigen:
- Bildtransaktionen erklären
- Erklärungen für Transaktionen mit unstrukturiertem Text
- Erklärungen für tabellarische Transaktionen
Bildtransaktionen erklären
Bei Bildmodellen können Sie anzeigen, welche Teile eines Bildes positiv oder negativ zum vorhergesagten Ergebnis beitragen. Im folgenden Beispiel zeigt die Abbildung in der positiven Anzeige die Teile, die sich positiv auf die Vorhersage ausgewirkt haben. Das Bild in der negativen Anzeige zeigt die Teile von Bildern, die einen negativen Einfluss auf das Ergebnis hatten.
Sie können auch die folgenden Notebooks verwenden, um Erläuterungen für Imagemodelle zu erstellen:
Erklärungen für Transaktionen mit unstrukturiertem Text
Bei unstrukturierten Textmodellen können Sie anzeigen, welche Schlüsselwörter positive oder negative Auswirkungen auf die Modellvorhersage hatten. Unstrukturierte Textmodelle erläutern die Bedeutung von Wörtern oder Tokens.
Die Erklärung zeigt außerdem die Position der ermittelten Schlüsselwörter im Originaltext, der als Eingabe an das Modell übergeben wurde. Zum Ändern der Sprache wählen Sie eine andere Sprache in der Liste aus. Die Erklärung wird erneut unter Verwendung eines anderen Tokenizers ausgeführt.
Sie können auch das folgende Notebook verwenden, um Erläuterungen für unstrukturierte Textmodelle zu generieren:
Lernprogramm zum Generieren einer Erklärung für ein textbasiertes Modell
Erklärungen für tabellarische Transaktionen
Bei tabellarischen Klassifikationsmodellen können Sie die obersten drei Merkmale anzeigen, die die Modellvorhersage positiv beeinflussen, und die obersten drei Merkmale, die die Vorhersage negativ beeinflussen.
Zum Anzeigen lokaler Erläuterungen können Sie auch die Registerkarte Transaktion erklären auswählen, um die Seite Letzte Transaktionen zu öffnen. Auf der Seite werden alle von Ihrem Modell verarbeiteten Transaktionen angezeigt.
Globale Erklärungen analysieren
Wenn Sie bei der Konfiguration der Erklärbarkeit die globale Erklärungsmethode SHAP oder LIME aktivieren, können Sie Details für die globale Erklärungsstabilitätsmetrik anzeigen. Die globale Erläuterungsmetrik berechnet den Grad der Konsistenz in der globalen Erläuterung im Zeitverlauf.
Wenn Sie globale Erklärungen analysieren, können Sie auch die folgenden Details einsehen:
Merkmaleinfluss
Sie können die wichtigsten Merkmale in absteigender Reihenfolge der durchschnittlichen absoluten SHAP- oder LIME-Werte anzeigen, um zu verstehen, welche Merkmale den größten Einfluss auf die Modellvorhersagen haben.
Verteilung der Features
Das Merkmalsverteilungsdiagramm zeigt, wie sich die SHAP- oder LIME-Werte auf die Vorhersagen der wichtigsten Merkmale auswirken. Anhand des Diagramms können Sie die Korrelation zwischen Merkmalen und Vorhersagen nachvollziehen.
Vergleich
Sie können einen Vergleich der Änderungen des Merkmalseinflusses zwischen den aktuellen globalen und den globalen Basiserläuterungen anzeigen
Übergeordnetes Thema: Modelltransaktionen überprüfen