Metrikberechnung mit dem Python SDK
Das Python SDK ist eine Python -Bibliothek, mit der Sie maschinelle Lernmodelle programmgesteuert überwachen, verwalten und steuern können.
Sie können das Python SDK verwenden, um Bewertungsmetriken und Algorithmen in einer Notebook-Laufzeitumgebung zu berechnen oder als Spark-Jobs gegen IBM Analytics Engine für maschinelles Lernen und Bewertungen auszulagern.
Unterstützte Algorithmen und Metriken
Das Python SDK unterstützt die folgenden Metriken und Erklärungsalgorithmen:
FairScore-Transformer
Sie können den Transformator FairScore als Verfahren zur Verzerrungsminderung nach der Verarbeitung verwenden. Dieses Verfahren transformiert Wahrscheinlichkeitsschätzungen oder die Scores von probabilistischen binären Klassifikationsmodellen in Bezug auf Fairnessziele. Um FairScore Transformer zu verwenden, müssen Sie einen Fair-Score-Transformer trainieren.
Nachprozessor für individuelle Fairness
Der Nachprozessor für individuelle Fairness ist ein Nachverarbeitungstransformatoralgorithmus, der individuelle Scores transformiert, um individuelle Fairness zu erreichen. Sie können es mit dem Python SDK verwenden, um die Textklassifizierung mit mehreren Klassen zu unterstützen. Sie müssen diesen Algorithmus trainieren, bevor Sie ihn verwenden können, um Modellausgaben umzusetzen.
Eingabereduktion
Sie können den Eingabereduktionsalgorithmus verwenden, um das Mindestset von Features zu berechnen, das Sie angeben müssen, um Modellvorhersagen konsistent zu halten. Der Algorithmus schließt die Merkmale aus, die sich nicht auf Modellvorhersagen auswirken.
Wahrscheinlichkeitskompensation
Die Likelihood-Kompensation (LC) ist ein Rahmen zur Erklärung der Abweichungen der Vorhersage eines Blackbox-Modells von der Ground Truth. Mit Testdaten und der Vorhersagefunktion eines Blackbox-Modells kann LC die Anomalien in den Testdaten erkennen und erklären, wodurch die Stichprobe zu einer Anomalie wurde. Die LC-Erklärung wird als Deltas bereitgestellt, die beim Hinzufügen zu den ursprünglichen Testdaten oder Anomalien die Vorhersage des Modells in die Ground Truth konvergiert. LC bietet lokale Erklärungen und wird ausschließlich für Regressionsmodelle unterstützt.
Lokales interpretierbares Modell-agnostische Erklärungen (LIME)
LIME ermittelt, welche Funktionen für einen bestimmten Datenpunkt am wichtigsten sind, indem bis zu 5000 weitere Nahdatenpunkte analysiert werden. Im Idealfall sind die wichtigsten Merkmale für LIME zugleich die Merkmale mit der größten Bedeutung für den jeweiligen Datenpunkt. Sie können LIME-Erläuterungen für Modelle mit multimodalen Daten generieren, die Features mit strukturierten und unstrukturierten Daten enthalten. Strukturierte Daten können numerische und kategoriale Daten enthalten. Unstrukturierte Daten können eine Textspalte enthalten.
Mittlere individuelle Disparität
Sie können die mittlere individuelle Disparität verwenden, um zu überprüfen, ob Ihr Modell ähnliche Vorhersagen oder Scores für ähnliche Stichproben generiert. Diese Metrik berechnet die Differenz der Wahrscheinlichkeitsschätzungen von Klassifikationsmodellen mit mehreren Klassen für ähnliche Stichproben.
Scannen von mehrdimensionalen Subsets
Sie können den Scanalgorithmus für mehrdimensionale Subsets als allgemeine Verzerrungssuchmethode verwenden. Diese Methode erkennt und identifiziert, welche Untergruppen von Merkmalen statistisch signifikante Vorhersageverzerrung für ein probabilistisches binäres Klassifikationsmerkmal aufweisen. Dieser Algorithmus hilft Ihnen bei der Entscheidung, welche Features die geschützten Attribute sind und welche Werte dieser Features die privilegierte Gruppe für Überwachungsbewertungen sind.
Extraktion geschützter Attribute
Der Extraktionsalgorithmus für geschützte Attribute wandelt Textdateien in strukturierte Dateien um. Der Algorithmus zerlegt die Textdaten in Tokens, vergleicht die Daten mit von Ihnen angegebenen Mustern und extrahiert das geschützte Attribut aus dem Text, um strukturierte Daten zu erstellen. Sie können diese strukturierten Daten verwenden, um mit einem Algorithmus zur Erkennung von Verzerrungen gegen das geschützte Attribut zu ermitteln. Der Extraktionsalgorithmus für geschützte Attribute unterstützt nur das Geschlecht als geschütztes Attribut.
Perturbation bei geschützten Attributen
Der Algorithmus für die Störung des geschützten Attributs generiert gegenfaktische Anweisungen, indem er Muster für geschützte Attribute in Textdatasets identifiziert. Er zerlegt außerdem den Text in Tokens und verzerrt die Schlüsselwörter in den Textdaten, um Anweisungen zu generieren. Sie können die ursprünglichen und gestörten Datensätze verwenden, um mit einem Algorithmus zur Erkennung von Verzerrungen gegen das Schutzattribut zu ermitteln. Der Algorithmus für die Störung des geschützten Attributs unterstützt nur das Geschlecht als geschütztes Attribut.
Protodash Explainer
Die protodash explainer identifiziert Eingabedaten aus einem Referenzset, die Erklärungen erfordern. Diese Methode minimiert die maximale mittlere Abweichung (MMD) zwischen den Referenzdatenpunkten und einer Anzahl von Instanzen, die aus den Trainingsdaten ausgewählt werden. Damit Sie Ihre Modellvorhersagen besser verstehen können, imitieren die Trainingsdateninstanzen eine ähnliche Verteilung wie die Referenzdatenpunkte.
Shapley-Additiver Erklärer (SHAP)
SHAP ist ein spieltheoretischer Ansatz, der die Ausgabe von Modellen für maschinelles Lernen erläutert. Es verbindet die optimale Kreditvergabe mit lokalen Erklärungen, indem es Shapley-Werte und deren zugehörige Erweiterungen verwendet.
SHAP weist jedem Modellmerkmal einen Wichtigkeitswert für eine bestimmte Vorhersage zu, der als Shapley-Wertbezeichnet wird. Der Shapley-Wert ist der durchschnittliche marginale Beitrag eines Featurewerts für alle möglichen Gruppen von Features. Die SHAP-Werte der Eingabemerkmale sind die Summen der Differenz zwischen der Baseline-oder erwarteten Modellausgabe und der aktuellen Modellausgabe für die erklärte Vorhersage. Die Basismodellausgabe kann auf der Zusammenfassung der Trainingsdaten oder einer beliebigen Untergruppe von Daten basieren, für die Erklärungen generiert werden müssen.
Die Shapley-Werte einer Gruppe von Transaktionen können kombiniert werden, um globale Erklärungen zu erhalten, die einen Überblick darüber geben, welche Merkmale eines Modells am wichtigsten sind. Sie können SHAP-Erklärungen für unstrukturierte Textmodelle generieren, um zu verstehen, wie Ergebnisse vorhergesagt werden.
Geglättetes empirisches Differential (SED)
Das SED ist eine Fairnessmetrik, mit der Sie Fairness für Ihre Modellvorhersagen beschreiben können. SED quantifiziert die Differenz in der Wahrscheinlichkeit günstiger und ungünstiger Ergebnisse zwischen sich überschneidenden Gruppen, die durch Merkmale dividiert werden. Alle sich überschneidenden Gruppen sind gleich, sodass es keine nicht privilegierten oder privilegierten Gruppen gibt. Diese Berechnung erzeugt einen SED-Wert, der das Mindestverhältnis der geglätteten Dirichlet-Wahrscheinlichkeit für günstige und ungünstige Ergebnisse zwischen sich überschneidenden Gruppen im Dataset darstellt. Der Wert liegt im Bereich 0-1, ohne 0 und 1, und ein größerer Wert gibt ein besseres Ergebnis an.