Konfiguration von Fairnessbewertungen
Sie können Fairness-Auswertungen konfigurieren, um festzustellen, ob Ihr Modell verzerrte Ergebnisse erzeugt. Verwenden Sie Fairness-Bewertungen, um festzustellen, wann Ihr Modell dazu neigt, einer Gruppe häufiger günstige Ergebnisse zu liefern als einer anderen.
Konfigurieren von Fairnessbewertungen für Modelle des maschinellen Lernens
Wenn Sie Nutzlastdaten protokollieren, wenn Sie Modellauswertungen vorbereiten, können Sie Fairnessauswertungen konfigurieren.
Sie können Fairnessbewertungen manuell konfigurieren oder ein angepasstes Notebook ausführen, um eine Konfigurationsdatei zu erstellen. Sie können die Konfigurationsdatei hochladen, um die Einstellungen für Ihre Bewertung festzulegen.
Wenn Sie Fairnessbewertungen manuell konfigurieren, können Sie die Referenzgruppe (Wert) angeben, von der Sie erwarten, dass sie günstige Ergebnisse darstellen. Sie können auch die entsprechenden Modellattribute (Features) zur Überwachung auf Verzerrungen (z. B. Alter oder Geschlecht) auswählen, die mit der Referenzgruppe verglichen werden. Abhängig von Ihren Trainingsdaten können Sie auch den minimalen und maximalen Stichprobenumfang für Auswertungen festlegen.
Wählen Sie günstige und ungünstige Ergebnisse
Bei der Konfiguration von Fairnessbewertungen müssen Sie günstige und ungünstige Ergebnisse angeben. Die Werte, die ein günstiges Ergebnis darstellen, werden aus der Spalte labelpredictedLabelpredictionprediction01
Features auswählen
Sie müssen die Merkmale auswählen, bei denen es sich um die Modellattribute handelt, die Sie auswerten möchten, um Verzerrungen zu erkennen. Sie können zum Beispiel Merkmale wie SexAge
Die Werte der Features werden als Referenz oder überwachte Gruppe angegeben. Die überwachte Gruppe stellt die Werte dar, die am stärksten für verzerrte Ergebnisse gefährdet sind. Für das Feature SexFemaleNon-binaryAge[18-25]Sex=MaleAge=[26,100]
Fairness-Schwelle festlegen
Sie können den Fairness-Schwellenwert festlegen, um einen akzeptablen Unterschied zwischen dem Prozentsatz der günstigen Ergebnisse für die überwachte Gruppe und dem Prozentsatz der günstigen Ergebnisse für die Referenzgruppe zu bestimmen. Wenn beispielsweise der Prozentsatz günstiger Ergebnisse für eine Gruppe in Ihrem Modell 70 % beträgt und der Fairnessschwellenwert auf 80 % gesetzt ist, erkennt die Fairnessüberwachung Verzerrungen in Ihrem Modell.
Stichprobegröße festlegen
Die Stichprobengröße wird verwendet, um die Anzahl der ausgewerteten Transaktionen schneller zu verarbeiten. Sie müssen einen Mindeststichprobenumfang festlegen, um die niedrigste Anzahl von Transaktionen anzugeben, die Sie auswerten möchten. Sie können auch einen maximalen Stichprobenumfang festlegen, um die maximale Anzahl von Transaktionen anzugeben, die Sie auswerten möchten.
Tests auf indirekte Verzerrung
Wenn Sie ein Feld auswählen, das kein Trainingsmerkmal ist, ein so genanntes hinzugefügtes Feld, wird die indirekte Verzerrung durch die Suche nach zugehörigen Werten in den Trainingsmerkmalen ermittelt. Zum Beispiel kann der Beruf "Student" eine jüngere Person implizieren, obwohl das Feld "Alter" von der Modellausbildung ausgeschlossen wurde. Einzelheiten zur Konfiguration von Fairness-Bewertungen zur Berücksichtigung indirekter Verzerrungen finden Sie unter Konfiguration des Fairness-Monitors für indirekte Verzerrungen.
Verzerrung mindern
Passives und aktives Debiasing werden für die Bewertung von Modellen des maschinellen Lernens verwendet. Die passive Verzerrungsbereinigung macht die Verzerrung sichtbar. Die aktive Verzerrungsbereinigung hingegen verhindert, dass die Verzerrung weiter propagiert wird, indem sie in Echtzeit für die aktuelle Anwendung entsprechende Änderungen am Modell vornimmt. Details zum Interpretieren von Ergebnissen und zum Mindern von Verzerrungen in einem Modell finden Sie unter Ergebnisse einer Fairnessbewertung überprüfen.
Konfigurieren von Fairnessbewertungen in watsonx.governance
Wenn Sie Prompt-Vorlagen auswerten, können Sie eine Zusammenfassung der Ergebnisse der Fairness-Bewertung für die Textklassifizierungsaufgaben einsehen.
Wählen Sie günstige und ungünstige Ergebnisse
Bei der Konfiguration von Fairnessbewertungen müssen Sie günstige und ungünstige Ergebnisse angeben. Die Werte, die ein günstiges Ergebnis darstellen, werden aus der Spalte labelpredictedLabelpredictionprediction01
Meta-Felder auswählen
Sie müssen Meta-Felder auswählen, damit watsonx.governance Felder identifizieren kann, die nicht als Merkmale in den von Ihnen bereitgestellten Testdaten angegeben sind.
Fairness-Schwellenwerte festlegen
Um Fairness-Auswertungen mit Ihren eigenen Einstellungen zu konfigurieren, können Sie eine minimale und maximale Stichprobengröße für jede Metrik festlegen. Der minimale bzw. maximale Stichprobenumfang gibt die minimale bzw. maximale Anzahl von Modelltransaktionen an, die Sie auswerten möchten.
Sie können auch Basisdaten konfigurieren und Schwellenwerte für jede Metrik festlegen. Schwellenwerte erzeugen Warnungen auf der Seite mit der Auswertungszusammenfassung, die angezeigt werden, wenn die Metrikwerte Ihre Schwellenwerte überschreiten. Die Werte müssen im Bereich von 0 bis 1 liegen. Die metrischen Werte müssen unter den Schwellenwerten liegen, um Verstöße zu vermeiden.
Stichprobegröße festlegen
Watsonx.governance verwendet Stichprobengrößen, um zu verstehen, wie die Anzahl der Transaktionen, die während der Auswertungen ausgewertet werden, zu verarbeiten ist. Sie müssen eine Mindeststichprobengröße festlegen, um die niedrigste Anzahl von Transaktionen anzugeben, die watsonx.governance auswerten soll. Sie können auch eine maximale Stichprobengröße festlegen, um die maximale Anzahl von Transaktionen anzugeben, die watsonx.governance auswerten soll.
Übergeordnetes Thema: Konfiguration von Fairnessbewertungen