機械学習モデルの公平性評価の設定

モデル評価の準備を行う際に、ペイロードデータを記録する場合、公平性評価を設定できます。

公平性評価を手動で構成することも、 カスタム・ノートブック を実行して構成ファイルを生成することもできます。 構成ファイルをアップロードして、評価の設定を指定できます。

公平性評価を手動で構成する場合、好ましい結果を表すと予想される参照グループ (値) を指定できます。 参照グループに対して比較されるバイアス (年齢や性別など) をモニターするために、対応するモデル属性 (特徴量) を選択することもできます。 トレーニングデータに応じて、評価用の最小サンプルサイズと最大サンプルサイズを指定することもできます。

watsonx.governance での公正評価の設定

プロンプト テンプレートを評価すると、テキスト分類タスクの公正評価結果のサマリーを確認できます。

サポートされている公平性指標

対応言語：英語のみ

機械学習モデルやジェネレーティブAI資産の公平性評価を有効にすると、評価対象のモデルの種類に応じた評価指標で評価結果のサマリーを表示できます。

機械学習モデルの公正評価の結果は、インサイトダッシュボードで確認できます。 詳しくは、公正結果を見直すをご覧ください。

以下の指標は、公平性の評価によって裏付けられている：

差別的影響

格差影響は、異なるグループの公平性スコアとして規定される。 差別的影響は、モニター対象グループの好ましい結果の割合を、参照グループの好ましい結果の割合と比較します。

• How works: モデルのデプロイの詳細を表示すると、表示されるモデルの概要の Fairness セクションでは、メトリクスとして記述されるさまざまなグループの公平性スコアが提供されます。 公平性スコアは、差別的影響式を使用して計算されます。

• パフォーマンス測定に混同行列を使用: いいえ

• 計算してみろ：

                    (num_positives(privileged=False) / num_instances(privileged=False))
Disparate impact =   ______________________________________________________________________
                    (num_positives(privileged=True) / num_instances(privileged=True))              

num_positives値はグループ内の肯定的な結果を受け取った個人の数を表し、num_instances値はグループ内の個人の総数を表します。 privileged=Falseラベルは非特権グループを指定し、privileged=Trueラベルは特権グループを指定します。 ポジティブな結果を好ましい結果、ネガティブな結果を好ましくない結果とする。 優遇されるグループを参照グループとして表し、優遇されないグループをモニター対象グループとして表します。

この計算では、非特権グループが肯定的な結果を受け取る頻度が、特権グループが肯定的な結果を受け取る頻度と同じ頻度であることを示すパーセントが生成されます。 例えば、信用リスク・モデルで、非特権申請者の 80% と特権申請者の 100% に「リスクなし」の予測を割り当てた場合、そのモデルの差別的影響は 80% になります。

• サポートされている公平性の詳細

  • 以下のフェアネス・メトリクスの詳細がサポートされています：
    • 各グループの好感度
    • すべての公平性グループに関する公平性の平均
    • モニター対象グループごとのデータの分布
    • ペイロード・データの分布

統計パリティーの差

統計的同等性の差は、監視対象群と参照群の良好な転帰の割合を比較したものである。

• 説明：モデル予測の公平性を表す公平性メトリック。 モニター群と基準群における良好な転帰の比率の差である

  • 0歳以下：監視対象グループの給付額が高い。
  • 0点時：両グループとも利益は等しい。
  • 0以上 参照グループの利益が高いことを意味する。

• パフォーマンス測定に混同行列を使用: はい

• 計算してみよう：

                                    num_positives(privileged=False)     num_positives(privileged=True) 
Statistical parity difference =  ________________________________ -  ________________________________
                                    num_instances(privileged=False)     num_instances(privileged=True)

影響スコア

インパクト・スコアは、監視対象グループが選ばれて好ましい結果を受ける割合と、参照グループが選ばれて好ましい結果を受ける割合を比較したものである。

• 計算してみよう：

以下の計算式は、各グループの選考率を算出するものである：

                                      number of individuals receiving favorable outcomes
            Selection rate  =   ________________________________________________________
                                       total number of individuals

以下の計算式でインパクトスコアを算出する：

                                      selection rate for monitored groups
           Impact score  =   ________________________________________________________
                                      selection rate for reference groups

• しきい値：

  • 下限：0.8
  • 上限：1.0

• どのように機能するか：スコアが高いほど、監視対象グループの選考率が高いことを示す

偽陰性率の差

偽陰性率の差は、モデルによって陰性と誤って採点された陽性取引の割合を示す。

• 説明：監視グループと参照グループの偽陰性率の差を返す

  • 0点時：両グループとも利益は等しい。

• パフォーマンス測定に混同行列を使用: はい

• 計算してみよう：

偽陰性率(FNR)の計算には以下の式を用いる：

                                        false negatives         
            False negative rate  =  __________________________
                                        all positives

偽陰性率差の計算には以下の式を用いる：

            False negative rate difference  =  FNR of monitored group - FNR of reference group

偽陽性率の差

偽陽性率の差は、モデルによって陽性と誤って採点された陰性トランザクションの割合を示す。

• 説明：監視グループと参照グループの偽陽性率の比率を返す。

  • 0時点：両グループのオッズは等しい。

• パフォーマンス測定に混同行列を使用: はい

• 計算してみよう：

偽陽性率(FPR)の計算には以下の式を使用する：

                                        false positives       
            False positive rate   =   ________________________
                                        total negatives

偽陽性率差の計算には以下の式を使用する：

            False positive rate difference  =   FPR of monitored group - FPR of reference group

偽のディスカバリー率の差

偽発見率の差は、偽陽性のトランザクションの量を、陽性の結果を持つ全トランザクションに対するパーセンテージで示す。 これは、すべての肯定的なトランザクションの間での誤検出の普及を記述します。

• 説明：監視群と参照群の偽発見率の差を返す。

  • 0時点：両グループのオッズは等しい。

• パフォーマンス測定に混同行列を使用: はい

• 計算してみよう：

偽発見率(FDR)の計算には以下の式が使われる：

                                                false positives        
            False discovery rate  =   _________________________________________
                                        true positives + false positives

偽発見率の差の計算には以下の式が使われる：

            False discovery rate difference  = FDR of monitored group - FDR of reference group

偽の除外率の差

偽の省略率の差は、否定的な結果を持つ全取引に占める偽の否定的取引の数の割合を示す。 これは、すべての負のトランザクションの間で偽陰性の普及を記述します。

• 説明：被監視グループと参照グループの誤省略率の差を返す

  • 0時点：両グループのオッズは等しい。

• パフォーマンス測定に混同行列を使用: はい

• 計算してみよう：

誤脱落率（FOR）の算出には、以下の式が使用される：

                                                false negatives        
            False omission rate   =   ________________________________________
                                        true negatives + false negatives

誤脱落率の差は以下の式で求められる：

            False omission rate difference  =   FOR of monitored group - FOR of reference group                                         

エラー率の差

エラー率差は、モデルによって誤って採点されたトランザクションの割合を計算する。

• 説明：監視グループと参照グループのエラー率の差を返す。

  • 0時点：両グループのオッズは等しい。

• パフォーマンス測定に混同行列を使用: はい

• 計算してみよう：

エラー率（ER）の計算には、以下の式が使用される：

                                false positives + false negatives        
            Error rate  =   ___________________________________________
                                all positives + all negatives

エラー率差の計算には以下の式を使用する：

            Error rate difference  = ER of monitored group - ER of reference group

平均オッズ差

平均オッズ差は、モデルによって不正確に採点された取引の割合を示す。

• 説明：監視グループと参照グループのエラー率の差を返す。

  • 0時点：両グループのオッズは等しい。

• パフォーマンス測定に混同行列を使用: はい

• 計算してみよう：

偽陽性率(FPR)の計算には以下の式を使用する：

                                        false positives       
            False positive rate   =   _________________________
                                        total negatives

真陽性率（TPR）の計算には以下の式を用いる：

                                        True positives      
            True positive rate   =   ______________________
                                        All positives

平均オッズ差の算出には、以下の式が用いられる：

                                        (FPR monitored group - FPR reference group) + (TPR monitored group - TPR reference group)       
            Average odds difference  =   ___________________________________________________________________________________________

                                                                                    2

平均絶対オッズ差

平均絶対オッズ差は、監視群と参照群の偽陽性率と真陽性率の差の絶対値の平均を比較したものである。

• 説明：監視グループと参照グループの偽陽性率と真陽性率の差の絶対値の平均を返す。

  • 0時点：両グループのオッズは等しい。

• パフォーマンス測定に混同行列を使用: はい

• 計算してみよう：

偽陽性率(FPR)の計算には以下の式を使用する：

                                            false positives       
            False positive rate   =   ____________________________
                                            all negatives

真陽性率（TPR）の計算には以下の式を用いる：

                                        True positives      
            True positive rate   =   ________________________
                                        All positives

平均絶対オッズ差の算出には以下の式を用いる：

                                                |FPR monitored group - FPR reference group| + |TPR monitored group - TPR reference group|      
            Average absolute odds difference  =   ______________________________________________________________________________________________

                                                                                            2