Sie können Fairness-Auswertungen konfigurieren, um festzustellen, ob Ihr Modell verzerrte Ergebnisse erzeugt. Verwenden Sie Fairness-Bewertungen, um festzustellen, wann Ihr Modell dazu neigt, einer Gruppe häufiger günstige Ergebnisse zu liefern als einer anderen.
Konfigurieren von Fairnessbewertungen für Modelle des maschinellen Lernens
Wenn Sie Nutzlastdaten protokollieren, wenn Sie Modellauswertungen vorbereiten, können Sie Fairnessauswertungen konfigurieren.
Sie können Fairnessbewertungen manuell konfigurieren oder ein angepasstes Notebook ausführen, um eine Konfigurationsdatei zu erstellen. Sie können die Konfigurationsdatei hochladen, um die Einstellungen für Ihre Bewertung festzulegen.
Wenn Sie Fairnessbewertungen manuell konfigurieren, können Sie die Referenzgruppe (Wert) angeben, von der Sie erwarten, dass sie günstige Ergebnisse darstellen. Sie können auch die entsprechenden Modellattribute (Features) zur Überwachung auf Verzerrungen (z. B. Alter oder Geschlecht) auswählen, die mit der Referenzgruppe verglichen werden. Abhängig von Ihren Trainingsdaten können Sie auch den minimalen und maximalen Stichprobenumfang für Auswertungen festlegen.
Wählen Sie günstige und ungünstige Ergebnisse
Bei der Konfiguration von Fairnessbewertungen müssen Sie günstige und ungünstige Ergebnisse angeben. Die Werte, die ein günstiges Ergebnis darstellen, werden aus der Spalte label in Trainingsdaten abgeleitet. Standardmäßig ist die Spalte predictedLabel als Spalte prediction eingestellt. Günstige und ungünstige Werte müssen angegeben werden, indem der Wert der Spalte prediction als Zeichenfolgedatentyp verwendet wird, beispielsweise 0 oder 1, wenn Sie Trainingsdaten hochladen.
Features auswählen
Sie müssen die Merkmale auswählen, bei denen es sich um die Modellattribute handelt, die Sie auswerten möchten, um Verzerrungen zu erkennen. Sie können zum Beispiel Merkmale wie Sex oder Age auf Verzerrungen untersuchen. Es werden nur Merkmale unterstützt, die 'kategorial', 'numerisch' (Ganzzahl), Gleitkomma oder Double als Datentyp aufweisen.
Die Werte der Features werden als Referenz oder überwachte Gruppe angegeben. Die überwachte Gruppe stellt die Werte dar, die am stärksten für verzerrte Ergebnisse gefährdet sind. Für das Feature Sex können Sie beispielsweise Female und Non-binary als überwachte Gruppen festlegen. Für eine numerische Funktion wie Age können Sie [18-25] als überwachte Gruppe festlegen. Alle anderen Werte für das Merkmal werden dann als Referenzgruppe betrachtet, z. B. Sex=Male oder Age=[26,100].
Fairness-Schwelle festlegen
Sie können den Fairness-Schwellenwert festlegen, um einen akzeptablen Unterschied zwischen dem Prozentsatz der günstigen Ergebnisse für die überwachte Gruppe und dem Prozentsatz der günstigen Ergebnisse für die Referenzgruppe zu bestimmen. Wenn beispielsweise der Prozentsatz günstiger Ergebnisse für eine Gruppe in Ihrem Modell 70 % beträgt und der Fairnessschwellenwert auf 80 % gesetzt ist, erkennt die Fairnessüberwachung Verzerrungen in Ihrem Modell.
Stichprobegröße festlegen
Die Stichprobengröße wird verwendet, um die Anzahl der ausgewerteten Transaktionen schneller zu verarbeiten. Sie müssen einen Mindeststichprobenumfang festlegen, um die niedrigste Anzahl von Transaktionen anzugeben, die Sie auswerten möchten. Sie können auch einen maximalen Stichprobenumfang festlegen, um die maximale Anzahl von Transaktionen anzugeben, die Sie auswerten möchten.
Tests auf indirekte Verzerrung
Wenn Sie ein Feld auswählen, das kein Trainingsmerkmal ist, ein so genanntes hinzugefügtes Feld, wird die indirekte Verzerrung durch die Suche nach zugehörigen Werten in den Trainingsmerkmalen ermittelt. Zum Beispiel kann der Beruf "Student" eine jüngere Person implizieren, obwohl das Feld "Alter" von der Modellausbildung ausgeschlossen wurde. Einzelheiten zur Konfiguration von Fairness-Bewertungen zur Berücksichtigung indirekter Verzerrungen finden Sie unter Konfiguration des Fairness-Monitors für indirekte Verzerrungen.
Verzerrung mindern
Passives und aktives Debiasing werden für die Bewertung von Modellen des maschinellen Lernens verwendet. Die passive Verzerrungsbereinigung macht die Verzerrung sichtbar. Die aktive Verzerrungsbereinigung hingegen verhindert, dass die Verzerrung weiter propagiert wird, indem sie in Echtzeit für die aktuelle Anwendung entsprechende Änderungen am Modell vornimmt. Details zum Interpretieren von Ergebnissen und zum Mindern von Verzerrungen in einem Modell finden Sie unter Ergebnisse einer Fairnessbewertung überprüfen.
Konfigurieren von Fairnessbewertungen in watsonx.governance
Wenn Sie Prompt-Vorlagen auswerten, können Sie eine Zusammenfassung der Ergebnisse der Fairness-Bewertung für die Textklassifizierungsaufgaben einsehen.
Wählen Sie günstige und ungünstige Ergebnisse
Bei der Konfiguration von Fairnessbewertungen müssen Sie günstige und ungünstige Ergebnisse angeben. Die Werte, die ein günstiges Ergebnis darstellen, werden aus der Spalte label in den von Ihnen bereitgestellten Testdaten abgeleitet. Standardmäßig ist die predictedLabel-Spalte als prediction-Spalte eingestellt. Günstige und ungünstige Werte müssen angegeben werden, indem der Wert der Spalte prediction als String-Datentyp verwendet wird, z. B. 0 oder 1, wenn Sie Trainingsdaten hochladen.
Meta-Felder auswählen
Sie müssen Meta-Felder auswählen, damit watsonx.governance Felder identifizieren kann, die nicht als Merkmale in den von Ihnen bereitgestellten Testdaten angegeben sind.
Fairness-Schwellenwerte festlegen
Um Fairness-Auswertungen mit Ihren eigenen Einstellungen zu konfigurieren, können Sie eine minimale und maximale Stichprobengröße für jede Metrik festlegen. Der minimale bzw. maximale Stichprobenumfang gibt die minimale bzw. maximale Anzahl von Modelltransaktionen an, die Sie auswerten möchten.
Sie können auch Basisdaten konfigurieren und Schwellenwerte für jede Metrik festlegen. Schwellenwerte erzeugen Warnungen auf der Seite mit der Auswertungszusammenfassung, die angezeigt werden, wenn die Metrikwerte Ihre Schwellenwerte überschreiten. Die Werte müssen im Bereich von 0 bis 1 liegen. Die metrischen Werte müssen unter den Schwellenwerten liegen, um Verstöße zu vermeiden.
Stichprobegröße festlegen
Watsonx.governance verwendet Stichprobengrößen, um zu verstehen, wie die Anzahl der Transaktionen, die während der Auswertungen ausgewertet werden, zu verarbeiten ist. Sie müssen eine Mindeststichprobengröße festlegen, um die niedrigste Anzahl von Transaktionen anzugeben, die watsonx.governance auswerten soll. Sie können auch eine maximale Stichprobengröße festlegen, um die maximale Anzahl von Transaktionen anzugeben, die watsonx.governance auswerten soll.
Unterstützte Fairnessmetriken
Wenn Sie Fairness-Evaluierungen für Modelle für maschinelles Lernen oder generative KI-Assets aktivieren, können Sie eine Zusammenfassung der Evaluierungsergebnisse mit Metriken für die Art des Modells anzeigen, das Sie evaluieren.
Sie können die Ergebnisse Ihrer Fairness-Bewertungen für Modelle des maschinellen Lernens auf dem Insights-Dashboard einsehen. Weitere Informationen finden Sie unter Überprüfung der Fairness-Ergebnisse.
Die folgenden Messgrößen werden durch Fairness-Bewertungen unterstützt:
Ungleiche Auswirkungen
Ungleiche Auswirkungen werden als Fairnesswerte für verschiedene Gruppen angegeben. Bei ungleichen Auswirkungen wird der Prozentsatz der günstigen Ergebnisse für eine überwachte Gruppe mit dem Prozentsatz der günstiger Ergebnisse für eine Referenzgruppe verglichen.
Wie es funktioniert: Wenn Sie die Details einer Modellbereitstellung ansehen, zeigt der Abschnitt Fairness der Modellzusammenfassung die Fairnesswerte für verschiedene Gruppen an, die als Metriken beschrieben werden. Die Fairnessscores werden mit der Formel für ungleiche Auswirkungen berechnet.
Verwendet die Konfusionsmatrix zur Leistungsmessung: Nein
Rechnen Sie nach:
(num_positives(privileged=False) / num_instances(privileged=False))
Disparate impact = ______________________________________________________________________
(num_positives(privileged=True) / num_instances(privileged=True))
Der Wert num_positives gibt die Anzahl der Personen in der Gruppe an, die ein positives Ergebnis erhalten haben, und der Wert num_instances gibt die Gesamtzahl der Personen in der Gruppe an. Die Bezeichnung privileged=False gibt nicht privilegierte Gruppen an und die Bezeichnung privileged=True privilegierte Gruppen. Die positiven Ergebnisse werden als günstige Ergebnisse und die negativen Ergebnisse als ungünstige Ergebnisse bezeichnet. Die privilegierte Gruppe wird als Referenzgruppe bezeichnet, die nicht privilegierte Gruppe als überwachte Gruppe.
Die Berechnung ergibt einen Prozentwert, der angibt, wie oft die Rate des positiven Ergebnisses für die nicht privilegierte Gruppe, mit der Rate des positiven Ergebnisses für die privilegierte Gruppe übereinstimmt. Beispiel: Wenn ein Kreditrisikomodell die Vorhersage "Kein Risiko" für 80 % der nicht privilegierten Antragsteller ausgibt und für 100 % der privilegierten Antragsteller, beträgt der Wert für ungleiche Auswirkungen in diesem Modell 80 %.
Unterstützte Fairnessdetails
- Die folgenden Details für Fairness-Metriken werden unterstützt:
- Die günstigen Prozentsätze für jede der Gruppen
- Fairnessdurchschnittswerte für alle Fairnessgruppen
- Verteilung der Daten für jede der überwachten Gruppen
- Verteilung der Nutzdaten
- Die folgenden Details für Fairness-Metriken werden unterstützt:
Statistische Paritätsdifferenz
Die statistische Paritätsdifferenz vergleicht den prozentualen Anteil der günstigen Ergebnisse für die überwachten Gruppen mit den Referenzgruppen.
Beschreibung: Fairness-Metrik, die die Fairness der Modellvorhersagen beschreibt. Es handelt sich um die Differenz zwischen dem Verhältnis der günstigen Ergebnisse in den überwachten Gruppen und den Referenzgruppen
- Unter 0: Höhere Leistungen für die überwachte Gruppe.
- Bei 0: Beide Gruppen haben den gleichen Nutzen.
- Über 0 Bedeutet einen höheren Nutzen für die Referenzgruppe.
Verwendet die Konfusionsmatrix zur Leistungsmessung: Ja
Rechnen Sie nach:
num_positives(privileged=False) num_positives(privileged=True)
Statistical parity difference = ________________________________ - ________________________________
num_instances(privileged=False) num_instances(privileged=True)
Auswirkungsbewertung
Die Auswirkungsbewertung vergleicht die Rate, mit der beobachtete Gruppen ausgewählt werden, um günstige Ergebnisse zu erzielen, mit der Rate, mit der Referenzgruppen ausgewählt werden, um günstige Ergebnisse zu erzielen.
- Rechnen Sie nach:
Mit der folgenden Formel wird die Auswahlquote für jede Gruppe berechnet:
number of individuals receiving favorable outcomes
Selection rate = ________________________________________________________
total number of individuals
Mit der folgenden Formel wird der Impact Score berechnet:
selection rate for monitored groups
Impact score = ________________________________________________________
selection rate for reference groups
Schwellenwerte:
- Untere Grenze: 0.8
- Obere Grenze: 1.0
Wie es funktioniert: Höhere Punktzahlen bedeuten höhere Auswahlquoten für beobachtete Gruppen
Differenz der Falsch-Negativ-Rate
Die Differenz der Falsch-Negativ-Rate gibt den Prozentsatz der positiven Transaktionen an, die von Ihrem Modell fälschlicherweise als negativ eingestuft wurden.
Beschreibung: Gibt die Differenz der Falsch-Negativ-Raten für die überwachte Gruppe und die Referenzgruppe an
- Bei 0: Beide Gruppen haben den gleichen Nutzen.
Verwendet die Konfusionsmatrix zur Leistungsmessung: Ja
Rechnen Sie nach:
Die folgende Formel wird zur Berechnung der Falsch-Negativ-Rate (FNR) verwendet:
false negatives
False negative rate = __________________________
all positives
Für die Berechnung der Differenz der Falsch-negativ-Raten wird folgende Formel verwendet:
False negative rate difference = FNR of monitored group - FNR of reference group
Differenz der Falsch-Positiv-Rate
Die Differenz der Falsch-Positiv-Rate gibt den Prozentsatz der negativen Transaktionen an, die von Ihrem Modell fälschlicherweise als positiv bewertet wurden.
Beschreibung: Gibt das Verhältnis der Falsch-Positiv-Rate für die überwachte Gruppe und die Referenzgruppen zurück.
- Bei 0: Beide Gruppen haben gleiche Chancen.
Verwendet die Konfusionsmatrix zur Leistungsmessung: Ja
Rechnen Sie nach:
Die folgende Formel wird zur Berechnung der Falsch-Positiv-Rate (FPR) verwendet:
false positives
False positive rate = ________________________
total negatives
Die folgende Formel wird für die Berechnung der Falsch-Positiv-Rate verwendet:
False positive rate difference = FPR of monitored group - FPR of reference group
Differenz der False Discovery Rate
Die Differenz der Falschfindungsrate gibt die Anzahl der falsch-positiven Transaktionen als Prozentsatz aller Transaktionen mit einem positiven Ergebnis an. Sie beschreibt die Häufigkeit von falsch-positiven Ergebnissen aus allen positiven Transaktionen.
Beschreibung: Gibt die Differenz der Falschentdeckungsrate für die überwachte Gruppe und die Referenzgruppe zurück.
- Bei 0: Beide Gruppen haben gleiche Chancen.
Verwendet die Konfusionsmatrix zur Leistungsmessung: Ja
Rechnen Sie nach:
Zur Berechnung der Falschentdeckungsrate (FDR) wird die folgende Formel verwendet:
false positives
False discovery rate = _________________________________________
true positives + false positives
Zur Berechnung der Differenz der Falschfindungsrate wird die folgende Formel verwendet:
False discovery rate difference = FDR of monitored group - FDR of reference group
Differenz der Falschauslassungsquote
Die Differenz der Falschauslassungsquote gibt die Anzahl der falsch negativen Vorgänge als Prozentsatz aller Vorgänge mit negativem Ergebnis an. Sie beschreibt die Häufigkeit von falsch-negativen Ergebnissen aus allen negativen Transaktionen.
Beschreibung: Liefert die Differenz der Falschauslassungsrate für die überwachte und die Referenzgruppe
- Bei 0: Beide Gruppen haben gleiche Chancen.
Verwendet die Konfusionsmatrix zur Leistungsmessung: Ja
Rechnen Sie nach:
Für die Berechnung der Falschauslassungsquote (FOR) wird folgende Formel verwendet:
false negatives
False omission rate = ________________________________________
true negatives + false negatives
Die folgende Formel wird für die Differenz der Falschauslassungsrate verwendet:
False omission rate difference = FOR of monitored group - FOR of reference group
Differenz bei Fehlerrate
Die Fehlerquotendifferenz berechnet den Prozentsatz der Transaktionen, die von Ihrem Modell falsch bewertet werden.
Beschreibung: Gibt die Differenz der Fehlerquote für die überwachte Gruppe und die Referenzgruppe zurück.
- Bei 0: Beide Gruppen haben gleiche Chancen.
Verwendet die Konfusionsmatrix zur Leistungsmessung: Ja
Rechnen Sie nach:
Zur Berechnung der Fehlerquote (ER) wird die folgende Formel verwendet:
false positives + false negatives
Error rate = ___________________________________________
all positives + all negatives
Zur Berechnung der Fehlerquotendifferenz wird die folgende Formel verwendet:
Error rate difference = ER of monitored group - ER of reference group
Durchschnittliche Odds-Differenz
Die durchschnittliche Odds-Differenz gibt den Prozentsatz der Transaktionen an, die von Ihrem Modell falsch bewertet wurden.
Beschreibung: Gibt die Differenz der Fehlerquote für die überwachte Gruppe und die Referenzgruppe zurück.
- Bei 0: Beide Gruppen haben gleiche Chancen.
Verwendet die Konfusionsmatrix zur Leistungsmessung: Ja
Rechnen Sie nach:
Die folgende Formel wird zur Berechnung der Falsch-Positiv-Rate (FPR) verwendet:
false positives
False positive rate = _________________________
total negatives
Die folgende Formel wird für die Berechnung der True-Positive-Rate (TPR) verwendet:
True positives
True positive rate = ______________________
All positives
Die folgende Formel wird für die Berechnung der durchschnittlichen Odds-Differenz verwendet:
(FPR monitored group - FPR reference group) + (TPR monitored group - TPR reference group)
Average odds difference = ___________________________________________________________________________________________
2
Durchschnittliche absolute Odds-Differenz
Die durchschnittliche absolute Odds-Differenz vergleicht den Durchschnitt der absoluten Differenz der Falsch-Positiv-Raten und der Wahr-Positiv-Raten zwischen den überwachten Gruppen und den Referenzgruppen.
Beschreibung: Gibt den Durchschnitt der absoluten Differenz der Falsch-Positiv-Rate und der Wahr-Positiv-Rate für die überwachte und die Referenzgruppe zurück.
- Bei 0: Beide Gruppen haben gleiche Chancen.
Verwendet die Konfusionsmatrix zur Leistungsmessung: Ja
Rechnen Sie nach:
Die folgende Formel wird zur Berechnung der Falsch-Positiv-Rate (FPR) verwendet:
false positives
False positive rate = ____________________________
all negatives
Die folgende Formel wird für die Berechnung der True-Positive-Rate (TPR) verwendet:
True positives
True positive rate = ________________________
All positives
Die folgende Formel wird für die Berechnung der durchschnittlichen absoluten Odds-Differenz verwendet:
|FPR monitored group - FPR reference group| + |TPR monitored group - TPR reference group|
Average absolute odds difference = ______________________________________________________________________________________________
2
Leistung mit Konfusionsmatrix messen
Die Konfusionsmatrix misst die Leistung und kategorisiert positive und negative Vorhersagen in vier Quadranten, die die Messung der tatsächlichen und vorhergesagten Werte darstellen, wie im folgenden Beispiel gezeigt:
| Tatsächliche/vorhergesehene | Negativ | Positiv |
|---|---|---|
| Negativ | TN | FP |
| Positiv | FN | GP |
Der wahre negative Quadrant (TN) repräsentiert Werte, die tatsächlich negativ sind und als negativ vorhergesagt wurden, und der wahre positive Quadrant (TP) repräsentiert Werte, die tatsächlich positiv sind und als positiv vorhergesagt wurden. Der falsch-positive Quadrant (FP) repräsentiert Werte, die tatsächlich negativ sind, aber als positiv vorhergesagt werden, und der falsch-negative Quadrant (FN) repräsentiert Werte, die tatsächlich positiv sind, aber als negativ vorhergesagt werden.
Übergeordnetes Thema: Konfiguration von Fairnessbewertungen