多様な影響評価指標
最終更新: 2025年2月11日
異質な影響の測定基準は、モニタリング対象グループの好ましい結果の割合と参照グループの好ましい結果の割合を比較します。
メトリックの詳細
Disparate impact（不均衡な影響）は、公平性の評価基準であり、 資産が偏った結果を生み出しているかどうかを判断するのに役立ちます。
有効範囲 (Scope)
異種混合影響度評価指標は、生成型AI 資産と機械学習モデルを評価します。
- AI 資産の種類:
- プロンプト・テンプレート
- 機械学習モデル
- 生成型AIのタスク ：テキスト分類
- 機械学習問題の種類 ：二値分類
スコアと価値
影響度スコアのばらつきは、参照グループがモニタリンググループよりも好ましい結果を受けているかどうかを示します。
- 値の範囲 ： 0.0-1.0
- 最高得点 ： 0.0
- 比率：
- 0時：両グループのオッズは同等
- 0未満：モニタリング対象グループの偏った結果
- 0以上：参照グループのバイアス結果
計算
差別的影響の計算には、以下の数式が使用されます。
num_positivesnum_instancesprivileged=Falseprivileged=True
この計算では、非特権グループが肯定的な結果を受け取る頻度が、特権グループが肯定的な結果を受け取る頻度と同じ頻度であることを示すパーセントが生成されます。 例えば、信用リスク・モデルで、非特権申請者の 80% と特権申請者の 100% に「リスクなし」の予測を割り当てた場合、そのモデルの差別的影響は 80% になります。
親トピック： 評価基準
トピックは役に立ちましたか?
0/1000