好ましい結果と好ましくない結果を選択する

公正な評価を設定する際には、有利な結果と不利な結果を指定しなければならない。 好ましい結果を表す値は、 トレーニング・データの label 列から導き出されます。 デフォルトでは、 predictedLabel 列は prediction 列として設定されます。 prediction 列の値をストリング・データ・タイプとして使用して、好ましい値と好ましくない値を指定する必要があります。例えば、トレーニング・データをアップロードする場合の 0 または 1 です。

フィーチャーの選択

バイアスを検出するために評価したいモデルの属性であるフィーチャーを選択する必要があります。 たとえば、SexやAgeのように、偏りを評価することができます。 公平性のデータ・タイプが、カテゴリカル、数値 (整数)、浮動小数点、または倍精度の特徴量だけがサポートされます。

特徴量の値は、参照グループまたはモニター・グループのいずれかとして指定されます。 モニター・グループは、偏りのある結果のリスクが最も高い値を表します。 例えば、 Sex 機能の場合、 Female とNon-binary をモニター・グループとして設定できます。 Ageなどの数値変数の場合、 [18-25] をモニター・グループとして設定できます。 これにより、フィーチャーの他のすべての値が参照グループ ( Sex=Male または Age=[26,100]など) と見なされます。

公平性のしきい値を設定する

公平性のしきい値を設定することで、監視対象グループの好結果のパーセンテージと参照グループの好結果のパーセンテージの許容できる差を指定することができます。 例えば、モデル内のグループの好ましい結果の割合が 70% で、公平性しきい値が 80% に設定されている場合、公平性モニターはモデル内のバイアスを検出します。

サンプル・サイズの設定

サンプルサイズは、評価されるトランザクションの数をどのように処理するかをスピードアップするために使用される。 評価したいトランザクションの最低数を示す最小サンプル・サイズを設定する必要があります。 また、評価したいトランザクションの最大数を示す最大サンプルサイズを設定することもできます。

間接バイアスのテスト

追加フィールドと呼ばれるトレーニングフィーチャではないフィールドを選択した場合、トレーニングフィーチャから関連する値を見つけることで間接的なバイアスが特定されます。 例えば、「学生」という職業は、「年齢」フィールドがモデル・トレーニングから除外されていても、若い個人を意味する場合があります。 間接的なバイアスを考慮するための公平性評価の設定の詳細については、間接的なバイアスを考慮するための公平性モニターの設定を参照してください。

バイアスの緩和

機械学習モデルの評価には、パッシブデビアスとアクティブデビアスが使用される。 受動的バイアス緩和ではバイアスを明らかにします。一方、アクティブなバイアス緩和では、リアルタイムでモデルを変更して、現行のアプリケーションにそのバイアスが渡らないようにします。 モデルにおける結果の解釈とバイアスの緩和について詳しくは、 公平性評価からの結果の確認を参照してください。

コンフュージョンマトリックスでパフォーマンスを測定

混同行列は、次の例に示すように、正と負の予測値を、実際の値と予測値の測定値を表す4つの象限に分類し、パフォーマンスを測定します：

トゥルーネガティブ（TN）の象限は、実際にネガティブでネガティブと予測された値を表し、トゥルーポジティブ（TP）の象限は、実際にポジティブでポジティブと予測された値を表す。 偽陽性（FP）象限は、実際には陰性であるが陽性と予測された値を表し、偽陰性（FN）象限は、実際には陽性であるが陰性と予測された値を表す。

親トピック: 公平性評価の設定