偽陽性率差評価基準

最終更新: 2025年2月21日

偽陽性率差評価基準

偽陽性率の差異メトリックは、お客様のモデルによって正しくないスコアが付けられた否定的な取引の割合を算出します。

メトリックの詳細

偽陽性率の差は、公平性の評価基準であり、お客様の資産が偏った結果を生み出しているかどうかを判断するのに役立ちます。

有効範囲 (Scope)

偽陽性率の差異メトリックは、生成型AI 資産と機械学習モデルを評価します。

AI 資産の種類:
- プロンプト・テンプレート
- 機械学習モデル
生成型AIのタスク ：テキスト分類
機械学習問題の種類 ：二値分類

スコアと価値

偽陽性率差異メトリックスコアは、モニタリング対象グループと参照グループの偽陽性率の比率を示します。

値の範囲 ： 0.0-1.0
最高得点 ： 0.0
比率：
- 0未満：モニタリンググループにおける偽陽性の減少
- 0時：両グループのオッズは同等
- 0以上：モニタリンググループにおける偽陽性の割合が高い

評価プロセス

偽陽性率の差を算出するために、モニタリング対象グループと参照グループについて、各グループの偽陽性数と真の陰性数を特定するためのコンフュージョン・マトリクスが生成されます。偽陽性値と真の陰性値は、各グループの偽陽性率を算出するために使用されます。基準グループの偽陽性率を監視グループの偽陽性率から差し引いて、偽陽性率の差を算出します。