Konfiguration von Fairnessbewertungen
Sie können Fairness-Auswertungen konfigurieren, um festzustellen, ob Ihr Modell verzerrte Ergebnisse erzeugt. Verwenden Sie Fairness-Bewertungen, um festzustellen, wann Ihr Modell dazu neigt, einer Gruppe häufiger günstige Ergebnisse zu liefern als einer anderen.
Konfiguration von Fairnessbewertungen
Wenn Sie bei der Vorbereitung von Modellauswertungen Nutzlastdaten protokollieren, können Sie Fairnessauswertungen konfigurieren.
Sie können Fairnessbewertungen manuell konfigurieren oder ein angepasstes Notebook ausführen, um eine Konfigurationsdatei zu erstellen. Sie können die Konfigurationsdatei hochladen, um die Einstellungen für Ihre Bewertung festzulegen.
Wenn Sie Fairnessbewertungen manuell konfigurieren, können Sie die Referenzgruppe (Wert) angeben, von der Sie erwarten, dass sie günstige Ergebnisse darstellen. Sie können auch die entsprechenden Modellattribute (Features) zur Überwachung auf Verzerrungen (z. B. Alter oder Geschlecht) auswählen, die mit der Referenzgruppe verglichen werden. Abhängig von Ihren Trainingsdaten können Sie auch den minimalen und maximalen Stichprobenumfang für Auswertungen festlegen.
Wählen Sie günstige und ungünstige Ergebnisse
Bei der Konfiguration von Fairnessbewertungen müssen Sie günstige und ungünstige Ergebnisse angeben. Die Werte, die ein günstiges Ergebnis darstellen, werden aus der Spalte label in Trainingsdaten abgeleitet. Standardmäßig wird die Spalte predictedLabel als Vorhersagespalte (prediction) festgelegt. Günstige und ungünstige Werte müssen angegeben werden, indem der Wert der Spalte prediction als Zeichenfolgedatentyp verwendet wird, beispielsweise 0 oder 1, wenn Sie Trainingsdaten hochladen.
Features auswählen
Sie müssen die Merkmale auswählen, bei denen es sich um die Modellattribute handelt, die Sie auswerten möchten, um Verzerrungen zu erkennen. Sie können zum Beispiel Merkmale wie Sex oder Age auf Verzerrungen untersuchen. Es werden nur Fairnessmerkmale mit dem Datentyp 'categorical' (kategorial), 'numeric (integer)' (numerisch - Ganzzahl), 'float' (Gleitkomma) oder 'double' (Doppelzeichen) unterstützt.
Die Werte der Features werden als Referenz oder überwachte Gruppe angegeben. Die überwachte Gruppe stellt die Werte dar, die am stärksten für verzerrte Ergebnisse gefährdet sind. Für das Feature Sex können Sie beispielsweise Female und Non-binary als überwachte Gruppen festlegen. Für eine numerische Funktion wie Age können Sie [18-25] als überwachte Gruppe festlegen. Alle anderen Werte für das Merkmal werden dann als Referenzgruppe betrachtet, z. B. Sex=Male oder Age=[26,100].
Fairness-Schwelle festlegen
Sie können den Fairness-Schwellenwert festlegen, um einen akzeptablen Unterschied zwischen dem Prozentsatz der günstigen Ergebnisse für die überwachte Gruppe und dem Prozentsatz der günstigen Ergebnisse für die Referenzgruppe zu bestimmen. Wenn beispielsweise der Prozentsatz günstiger Ergebnisse für eine Gruppe in Ihrem Modell 70 % beträgt und der Fairnessschwellenwert auf 80 % gesetzt ist, erkennt die Fairnessüberwachung Verzerrungen in Ihrem Modell.
Stichprobegröße festlegen
Die Stichprobengröße wird verwendet, um die Anzahl der ausgewerteten Transaktionen schneller zu verarbeiten. Sie müssen einen Mindeststichprobenumfang festlegen, um die niedrigste Anzahl von Transaktionen anzugeben, die Sie auswerten möchten. Sie können auch einen maximalen Stichprobenumfang festlegen, um die maximale Anzahl von Transaktionen anzugeben, die Sie auswerten möchten.
Tests auf indirekte Verzerrung
Wenn Sie ein Feld auswählen, das kein Trainingsmerkmal ist, ein so genanntes hinzugefügtes Feld, wird die indirekte Verzerrung durch die Suche nach zugehörigen Werten in den Trainingsmerkmalen ermittelt. Zum Beispiel kann der Beruf "Student" eine jüngere Person implizieren, obwohl das Feld "Alter" von der Modellausbildung ausgeschlossen wurde. Einzelheiten zum Konfigurieren von Fairness-Bewertungen zur Berücksichtigung indirekter Verzerrungen finden Sie unter Konfigurieren des Fairness-Monitors für indirekte Verzerrungen.
Verzerrung mindern
Passives und aktives Debiasing werden für die Bewertung von Modellen des maschinellen Lernens verwendet. Bei der passiven Verzerrungsbereinigung wird die bestehende Verzerrung erkannt, während die passive Verzerrungsbereinigung die Fortschreibung der Verzerrung verhindert, indem das Modell für die aktuelle Anwendung in Echtzeit geändert wird. Details zum Interpretieren von Ergebnissen und zum Mindern von Verzerrungen in einem Modell finden Sie unter Ergebnisse einer Fairnessbewertung überprüfen.
Leistung mit Konfusionsmatrix messen
Die Konfusionsmatrix misst die Leistung und kategorisiert positive und negative Vorhersagen in vier Quadranten, die die Messung der tatsächlichen und vorhergesagten Werte darstellen, wie im folgenden Beispiel gezeigt:
| Tatsächliche/vorhergesehene | Negativ | Positiv |
|---|---|---|
| Negativ | TN | FP |
| Positiv | FN | GP |
Der wahre negative Quadrant (TN) repräsentiert Werte, die tatsächlich negativ sind und als negativ vorhergesagt wurden, und der wahre positive Quadrant (TP) repräsentiert Werte, die tatsächlich positiv sind und als positiv vorhergesagt wurden. Der falsch-positive Quadrant (FP) repräsentiert Werte, die tatsächlich negativ sind, aber als positiv vorhergesagt werden, und der falsch-negative Quadrant (FN) repräsentiert Werte, die tatsächlich positiv sind, aber als negativ vorhergesagt werden.
Übergeordnetes Thema: Konfiguration von Fairnessbewertungen