Metrik zur Bewertung der unterschiedlichen Auswirkungen

Bereich

Copy link to section

Die Metrik für die unterschiedlichen Auswirkungen bewertet generative KI-Assets und Modelle für maschinelles Lernen.

• Arten von KI-Vermögenswerten :
  • Eingabeaufforderungsvorlagen
  • Modelle für maschinelles Lernen
• Aufgaben der generativen KI : Textklassifizierung
• Art des Problems beim maschinellen Lernen : Binäre Klassifizierung

Ergebnisse und Werte

Copy link to section

Der ungleiche Wirkungsmetrikwert gibt an, ob die Referenzgruppe günstigere Ergebnisse erzielt als die beobachtete Gruppe.

• Wertebereich : 0.0-1.0
• Bestmögliche Punktzahl : 0.0
• Kennzahlen:
  • Bei 0: Beide Gruppen haben die gleichen Chancen
  • Unter 0: Verzerrte Ergebnisse für die überwachte Gruppe
  • Über 0: Verzerrte Ergebnisse für die Referenzgruppe

Mathematische Berechnung

Copy link to section

Die folgende Formel wird zum Berechnen ungleicher Auswirkungen verwendet:

Der Wert num_positives gibt die Anzahl der Personen in der Gruppe an, die ein positives Ergebnis erhalten haben, und der Wert num_instances gibt die Gesamtzahl der Personen in der Gruppe an. Die Bezeichnung privileged=False gibt nicht privilegierte Gruppen an und die Bezeichnung privileged=True privilegierte Gruppen. Die positiven Ergebnisse werden als günstige Ergebnisse bezeichnet, die negativen Ergebnisse als ungünstige Ergebnisse. Die privilegierte Gruppe wird als Referenzgruppe bezeichnet und die nicht privilegierte Gruppe als überwachte Gruppe.

Die Berechnung ergibt einen Prozentwert, der angibt, wie oft die Rate des positiven Ergebnisses für die nicht privilegierte Gruppe, mit der Rate des positiven Ergebnisses für die privilegierte Gruppe übereinstimmt. Beispiel: Wenn ein Kreditrisikomodell die Vorhersage "Kein Risiko" für 80 % der nicht privilegierten Antragsteller ausgibt und für 100 % der privilegierten Antragsteller, beträgt der Wert für ungleiche Auswirkungen in diesem Modell 80 %.

Übergeordnetes Thema: Bewertungsmetriken