0 / 0
Zurück zur englischen Version der Dokumentation
Modelltransaktionen erklären
Letzte Aktualisierung: 03. Dez. 2024
Modelltransaktionen erklären

Erklärungen zu Ihren Modelltransaktionen helfen Ihnen zu verstehen, wie die Vorhersagen ermittelt werden.

Sie können lokale Erklärungen analysieren, um die Auswirkungen von Faktoren für bestimmte Transaktionen zu verstehen, oder globale Erklärungen analysieren, um die allgemeinen Faktoren zu verstehen, die sich auf die Modellergebnisse auswirken. Der von Ihnen konfigurierte Modelltyp bestimmt den Typ der Erläuterung, die Sie zum Analysieren Ihrer Transaktionen verwenden können.

Es werden Erklärungen für strukturierte, bildliche und unstrukturierte Textmodelle unterstützt. Strukturierte Modelle können Probleme mit der Binär-, Mehrklassen-oder Regressionsklassifikation verwenden. Image-oder unstrukturierte Textmodelle können binäre oder mehrklassige Klassifizierungsprobleme verwenden.

Wenn Sie die Erklärbarkeit konfigurieren, können Sie lokale interpretierbare modellgnostische Erklärungen (LIME), kontrastive Erklärungen oder additive Shapley-Erklärungen (SHAP) zur Analyse von Transaktionen verwenden.

LIME ermittelt, welche Features für einen bestimmten Datenpunkt am wichtigsten sind, indem bis zu 5000 weitere Datenpunkte in der Nahaufnahme analysiert werden. In einer idealen Situation sind die Merkmale mit hoher Wichtigkeit in LIME die Merkmale, die für diesen speziellen Datenpunkt am wichtigsten sind.

Kontrastierende Erklärungen berechnen, wie viele Werte geändert werden müssen, um die Vorhersage zu ändern oder dieselbe Vorhersage beizubehalten. Faktoren, die die umfangreichste Änderung erfordern, werden als wichtiger eingestuft, d. h. in kontrastierenden Erklärungen sind diejenigen Merkmale von größter Bedeutung, bei denen das Modell die geringste Sensitivität zeigt. Bei kontrastiven Erklärungen werden die maximalen Veränderungen für das gleiche Ergebnis und die minimalen Veränderungen für ein verändertes Ergebnis angezeigt. Diese Kategorien werden auch als relevante positive und relevante negative Werte bezeichnet. Diese Werte helfen, das Verhalten des Modells in der Nähe des Datenpunkts zu erklären, für den eine Erklärung generiert wird.

SHAP ist ein spieltheoretischer Ansatz, der die Ausgabe von Modellen für maschinelles Lernen erläutert. Es verbindet die optimale Kreditvergabe mit lokalen Erklärungen, indem es Shapley-Werte und deren zugehörige Erweiterungen verwendet. SHAP weist jedem Modellmerkmal einen Wichtigkeitswert für eine bestimmte Vorhersage zu, der als Shapley-Wertbezeichnet wird. Der Shapley-Wert ist der durchschnittliche marginale Beitrag eines Featurewerts für alle möglichen Gruppen von Features. Die SHAP-Werte der Eingabemerkmale sind die Summen der Differenz zwischen der Baseline-oder erwarteten Modellausgabe und der aktuellen Modellausgabe für die erklärte Vorhersage. Die Basismodellausgabe kann auf der Zusammenfassung der Trainingsdaten oder einer beliebigen Untergruppe von Daten basieren, für die Erklärungen generiert werden müssen. Die Shapley-Werte einer Gruppe von Transaktionen können kombiniert werden, um globale Erklärungen zu erhalten, die einen Überblick darüber geben, welche Merkmale eines Modells am wichtigsten sind.

Hinweis:

Es werden nur globale Erklärungen für Online-Abonnements unterstützt. SHAP-Erläuterungen unterstützen nur Tabellendaten.

Lokale Erklärungen analysieren

Sie können verschiedene Methoden verwenden, um lokale Erklärungen anzuzeigen.

Wenn Sie Auswertungsergebnisse überprüfen, können Sie den Link Anzahl der Erklärungen auswählen, um das Fenster Erläuterung auswählen zu öffnen.

Das Fenster "Erläuterung auswählen" wird angezeigt.

Wählen Sie in der Spalte Aktion Erklären aus, damit die Detailseite Transaktion angezeigt wird. Die Transaktionsdetails enthalten je nach den verwendeten Erläuterungsmethoden und Modelltypen unterschiedliche Erläuterungen.

Bei kategorialen Modellen bietet die Seite Transaktionsdetails auf der Registerkarte Erklären eine Analyse der Features, die das Ergebnis der Transaktion mit der von Ihnen verwendeten lokalen Erläuterungsmethode beeinflusst haben. Für SHAP können Sie die Hintergrunddaten, die Sie verwenden, im Menü Hintergrunddaten auswählen, um die Erläuterung neu zu generieren.

Transaktionsdetails

Auf der Registerkarte "Prüfen" werden erweiterte kontrastive Erklärungen für binäre Klassifizierungsmodelle erstellt, mit denen Sie mit Merkmalen experimentieren können, indem Sie die Werte ändern, um zu sehen, ob sich das Ergebnis ändert.

Transaktionsdetails auf der Registerkarte 'Untersuchen' zeigen Werte an, die zu einem anderen Ergebnis führen können.

Sie können auch verschiedene Erläuterungen für die folgenden Transaktionstypen anzeigen:

Bildtransaktionen erklären

Bei Bildmodellen können Sie anzeigen, welche Teile eines Bildes positiv oder negativ zum vorhergesagten Ergebnis beitragen. Im folgenden Beispiel zeigt die Abbildung in der positiven Anzeige die Teile, die sich positiv auf die Vorhersage ausgewirkt haben. Das Bild in der negativen Anzeige zeigt die Teile von Bildern, die einen negativen Einfluss auf das Ergebnis hatten.

Das Konfidenzdetail für die Klassifizierung der Erklärbarkeit wird mit einem Bild eines Baumfrosches angezeigt. Verschiedene Bildbereiche sind in separaten Rahmen hervorgehoben. Jeder Teil zeigt das Ausmaß, in dem er festgestellt hat, ob es sich bei dem Bild um einen Frosch handelt oder nicht.

Sie können auch die folgenden Notebooks verwenden, um Erläuterungen für Imagemodelle zu erstellen:

Erklärungen für Transaktionen mit unstrukturiertem Text

Bei unstrukturierten Textmodellen können Sie anzeigen, welche Schlüsselwörter positive oder negative Auswirkungen auf die Modellvorhersage hatten. Unstrukturierte Textmodelle erläutern die Bedeutung von Wörtern oder Tokens.

Das Klassifikationsdiagramm für Erklärbarkeitsbilder wird angezeigt. Es zeigt Konfidenzniveaus für den unstrukturierten Text an

Die Erklärung zeigt außerdem die Position der ermittelten Schlüsselwörter im Originaltext, der als Eingabe an das Modell übergeben wurde. Zum Ändern der Sprache wählen Sie eine andere Sprache in der Liste aus. Die Erklärung wird erneut unter Verwendung eines anderen Tokenizers ausgeführt.

Sie können auch das folgende Notebook verwenden, um Erläuterungen für unstrukturierte Textmodelle zu generieren:

Lernprogramm zum Generieren einer Erklärung für ein textbasiertes Modell

Erklärungen für tabellarische Transaktionen

Bei tabellarischen Klassifikationsmodellen können Sie die obersten drei Merkmale anzeigen, die die Modellvorhersage positiv beeinflussen, und die obersten drei Merkmale, die die Vorhersage negativ beeinflussen.

Das Klassifikationsdiagramm für Erklärbarkeitsbilder wird angezeigt. Zeigt Konfidenzniveaus für das tabellarische Datenmodell an.

Zum Anzeigen lokaler Erläuterungen können Sie auch die Registerkarte Transaktion erklären Transaktion erklären auswählen, um die Seite Letzte Transaktionen zu öffnen. Auf der Seite werden alle von Ihrem Modell verarbeiteten Transaktionen angezeigt.

Globale Erklärungen analysieren

Wenn Sie bei der Konfiguration der Erklärbarkeit die globale Erklärungsmethode SHAP oder LIME aktivieren, können Sie Details für die globale Erklärungsstabilitätsmetrik anzeigen. Die globale Erläuterungsmetrik berechnet den Grad der Konsistenz in der globalen Erläuterung im Zeitverlauf.

Das Diagramm der globalen Erklärungsstabilität wird angezeigt. Sie zeigt den Grad der Konsistenz der globalen Erklärungen im Laufe der Zeit

Wenn Sie globale Erklärungen analysieren, können Sie auch die folgenden Details einsehen:

Merkmaleinfluss

Sie können die wichtigsten Merkmale in absteigender Reihenfolge der durchschnittlichen absoluten SHAP- oder LIME-Werte anzeigen, um zu verstehen, welche Merkmale den größten Einfluss auf die Modellvorhersagen haben.

Das Merkmalseinflussdiagramm wird angezeigt. Sie zeigt die wichtigsten Merkmale in absteigender Reihenfolge der durchschnittlichen absoluten SHAP- oder LIME-Werte.

Verteilung der Features

Das Merkmalsverteilungsdiagramm zeigt, wie sich die SHAP- oder LIME-Werte auf die Vorhersagen der wichtigsten Merkmale auswirken. Anhand des Diagramms können Sie die Korrelation zwischen Merkmalen und Vorhersagen nachvollziehen.

Das Diagramm der Merkmalsverteilung wird angezeigt. Sie zeigt die Korrelation zwischen Merkmalen und Vorhersagen.

Vergleich

Sie können einen Vergleich der Änderungen des Merkmalseinflusses zwischen den aktuellen globalen und den globalen Basiserläuterungen anzeigen

Anzeige globaler Erläuterungsmetriken

Übergeordnetes Thema: Modelltransaktionen überprüfen