Berechnung der Verzerrung

Der Algorithmus für die Fairness-Überwachung berechnet die Verzerrung stündlich anhand der letzten N Datensätze, die in der Nutzlastprotokollierungstabelle vorhanden sind, und der Wert von N wird bei der Konfiguration der Fairness-Überwachung angegeben. Der Algorithmus wendet eine Methode mit dem Namen Perturbation an, um Unterschiede in den erwarteten Ergebnissen in den Daten zu bewerten.

Bei der Perturbation werden die Merkmalswerte der Referenzgruppe in die Überwachungsgruppe geändert oder umgekehrt. Die durch Perturbation veränderten Daten werden danach an das Modell gesendet, um dessen Verhalten zu auszuwerten. Der Algorithmus prüft die letzten N Datensätze in der Nutzdatentabelle und das Verhalten des Modells für die durch Perturbation veränderten Daten, um zu entscheiden, ob die Modellergebnisse das Vorhandensein von Verzerrungen anzeigen.

Ein Modell ist verzerrt, wenn der Prozentsatz günstiger Ergebnisse für die überwachte Gruppe um einen Schwellenwert, den Sie beim Konfigurieren der Fairnessüberwachung angeben, kleiner als der Prozentsatz günstiger Ergebnisse für die Referenzgruppe ist.

Beachten Sie, dass Fairnesswerte mehr als 100% betragen können. Diese Berechnung bedeutet, dass die überwachte Gruppe mehr günstige Ergebnisse empfangen hat als die Referenzgruppe. Wenn keine neuen Scoring-Anforderungen gesendet werden, bleibt der Fairnesswert konstant.

Ausgewogene Daten und perfekte Gleichheit

Für ausgeglichene Datasets gelten die folgenden Konzepte:

• Zur Bestimmung des Werts für perfekte Gleichheit werden Referenzgruppentransaktionen synthetisch erstellt, indem der überwachte Merkmalwert jeder überwachten Gruppentransaktion in alle Referenzgruppenwerte geändert wird. Diese neuen synthetisch erstellten Transaktionen werden dem Satz von Referenzgruppentransaktionen hinzugefügt und vom Model ausgewertet.

Wenn die überwachte Funktion beispielsweise SEX und die überwachte Gruppe FEMALEist, werden alle FEMALE -Transaktionen als MALE -Transaktionen dupliziert. Andere Merkmalwerte bleiben unverändert. Diese neuen, synthetisch erstellten MALE-Transaktionen werden zur Gruppe der ursprünglichen MALE-Referenzgruppentransaktionen hinzugefügt.

• Der Prozentsatz der günstigen Ergebnisse wird für die neue Referenzgruppe ermittelt. Dieser Prozentsatz stellt die perfekte Fairness für die überwachte Gruppe dar.
• Die Transaktionen der überwachten Gruppe werden ebenfalls synthetisch erstellt, indem der Referenzmerkmalwert jeder Referenzgruppentransaktion in den Wert der überwachten Gruppe geändert wird. Diese neuen synthetisch erstellten Transaktionen werden dem Satz der Transaktionen der überwachten Gruppe hinzugefügt und vom Model ausgewertet.

Wenn die überwachte Funktion SEX ist und die überwachte Gruppe FEMALE, werden alle MALE-Transaktionen als FEMALE-Transaktionen dupliziert. Andere Merkmalwerte bleiben unverändert. Diese neuen, synthetisch erstellten FEMALE-Transaktionen werden zur Gruppe der ursprünglichen FEMALE-Transaktionen für überwachte Gruppen hinzugefügt.

Perfect equality =   Percentage of favorable outcomes for all reference transactions, 
                     including the synthesized transactions from the monitored group

Perfect equality for `SEX` =  Percentage of favorable outcomes for `MALE` transactions, 
                                 including the synthesized transactions that were initially `FEMALE` but changed to `MALE`

Konvertieren des Datentyps einer Vorhersagespalte

Bei der Fairnessüberwachung lässt die Spalte für die Vorhersage nur ganzzahlige numerische Werte zu, obwohl die Vorhersage mit der Bezeichnung 'Kategorial' versehen ist. Die Konvertierung des Vorhersagespaltendatentyps ist möglich.

Die Trainingsdaten können beispielsweise Klassenbezeichnungen wie "Loan Denied", "Loan Granted" enthalten. Der Vorhersagewert, der vom IBM watsonx.ai Runtime Scoring Endpunkt zurückgegeben wird, hat Werte wie "0.0", "1.0". Der Scoring-Endpunkt hat auch eine optionale Spalte mit der Textdarstellung der Vorhersage. Beispielsweise hat die Spalte 'predictionLabel' bei prediction=1.0 den Wert 'Darlehen bewilligt'. Wenn eine solche Spalte verfügbar ist, können Sie bei der Konfiguration des günstigen und des ungünstigen Ergebnisses für das Modell die Zeichenfolgewerte 'Darlehen bewilligt' und 'Darlehen abgelehnt' angeben. Ist keine solche Spalte verfügbar, müssen Sie für die Klasse 'favourable' bzw. 'unfavourable' für ein günstiges bzw. ungünstiges Ergebnis jeweils die Werte 1.0, 0.0 vom Typ Integer/Double angeben.

IBM watsonx.ai Runtime verfügt über ein Konzept des Ausgabeschemas, das das Schema der Ausgabe des IBM watsonx.ai Runtime Scoring-Endpunkts und die Rolle für die verschiedenen Spalten definiert. Die Rollen werden verwendet, um anzugeben, welche Spalte den Vorhersagewert, welche Spalte die Vorhersagewahrscheinlichkeit und den Klassenbeschriftungswert enthält usw. Das Ausgabeschema wird automatisch für Modelle festgelegt, die mit Model Builder erstellt werden. Sie kann auch mit dem IBM watsonx.ai Runtime Python Client gesetzt werden. Benutzer können mithilfe des Ausgabeschemas eine Spalte definieren, die die Zeichenfolgedarstellung der Vorhersage enthält. Setzen Sie modeling_role für die Spalte auf "decoded-target". Die Dokumentation für den IBM watsonx.ai Runtime Python Client ist verfügbar unter: https://ibm.github.io/watsonx-ai-python-sdk/core_api.html#repository Suchen Sie nach 'OUTPUT_DATA_SCHEMA', um das Ausgabeschema zu verstehen. Der zu verwendende API-Aufruf ist der Aufrufstore_model für den OUTPUT_DATA_SCHEMA als Parameter angegeben werden kann.

Interpretation eines Fairnesswerts, der größer als 100 Prozent ist

Abhängig von Ihrer Fairnesskonfiguration kann Ihr Fairness-Score über 100 Prozent liegen. Dies bedeutet, dass Ihre überwachte Gruppe im Vergleich zur Referenzgruppe mehr "faire" Ergebnisse erhält. Technisch bedeutet dies, dass das Modell in der umgekehrten Richtung unfair ist.

Weitere Informationen

Fairnessüberwachung für indirekte Verzerrung konfigurieren

Überprüfung der Modelleinsichten

Übergeordnetes Thema: Fairnessüberwachung konfigurieren