公平性評価の設定
モデルが偏った結果を生み出すかどうかを判断するために、公平性評価を設定することができます。 公平性評価を使用して、モデルがあるグループに対して他のグループよりも有利な結果をより頻繁に提供する傾向を示す場合を特定する。
機械学習モデルの公平性評価の設定
モデル評価の準備を行う際に、ペイロードデータを記録する場合、公平性評価を設定できます。
公平性評価を手動で構成することも、 カスタム・ノートブック を実行して構成ファイルを生成することもできます。 構成ファイルをアップロードして、評価の設定を指定できます。
公平性評価を手動で構成する場合、好ましい結果を表すと予想される参照グループ (値) を指定できます。 参照グループに対して比較されるバイアス (年齢や性別など) をモニターするために、対応するモデル属性 (特徴量) を選択することもできます。 トレーニングデータに応じて、評価用の最小サンプルサイズと最大サンプルサイズを指定することもできます。
好ましい結果と好ましくない結果を選択する
公正な評価を設定する際には、有利な結果と不利な結果を指定しなければならない。 好ましい結果を表す値は、 トレーニング・データの label 列から導き出されます。 デフォルトでは、 predictedLabel 列は prediction 列として設定されます。 prediction 列の値をストリング・データ・タイプとして使用して、好ましい値と好ましくない値を指定する必要があります。例えば、トレーニング・データをアップロードする場合の 0 または 1 です。
フィーチャーの選択
バイアスを検出するために評価したいモデルの属性であるフィーチャーを選択する必要があります。 たとえば、SexやAgeのように、偏りを評価することができます。 公平性のデータ・タイプが、カテゴリカル、数値 (整数)、浮動小数点、または倍精度の特徴量だけがサポートされます。
特徴量の値は、参照グループまたはモニター・グループのいずれかとして指定されます。 モニター・グループは、偏りのある結果のリスクが最も高い値を表します。 例えば、 Sex 機能の場合、 Female とNon-binary をモニター・グループとして設定できます。 Ageなどの数値変数の場合、 [18-25] をモニター・グループとして設定できます。 これにより、フィーチャーの他のすべての値が参照グループ ( Sex=Male または Age=[26,100]など) と見なされます。
公平性のしきい値を設定する
公平性のしきい値を設定することで、監視対象グループの好結果のパーセンテージと参照グループの好結果のパーセンテージの許容できる差を指定することができます。 例えば、モデル内のグループの好ましい結果の割合が 70% で、公平性しきい値が 80% に設定されている場合、公平性モニターはモデル内のバイアスを検出します。
サンプル・サイズの設定
サンプルサイズは、評価されるトランザクションの数をどのように処理するかをスピードアップするために使用される。 評価したいトランザクションの最低数を示す最小サンプル・サイズを設定する必要があります。 また、評価したいトランザクションの最大数を示す最大サンプルサイズを設定することもできます。
間接バイアスのテスト
追加フィールドと呼ばれるトレーニングフィーチャではないフィールドを選択した場合、トレーニングフィーチャから関連する値を見つけることで間接的なバイアスが特定されます。 例えば、「学生」という職業は、「年齢」フィールドがモデル・トレーニングから除外されていても、若い個人を意味する場合があります。 間接的なバイアスを考慮した公平性評価の設定についての詳細は、間接的なバイアスを考慮した公平性モニターの設定を参照してください。
バイアスの緩和
機械学習モデルの評価には、パッシブデビアスとアクティブデビアスが使用される。 受動的なバイアス緩和では、バイアスが明らかになりますが、アクティブなバイアス緩和では、現行のアプリケーションに対してリアルタイムでモデルを変更してそのバイアスが渡らないようにします。 モデルにおける結果の解釈とバイアスの緩和について詳しくは、 公平性評価からの結果の確認を参照してください。
watsonx.governance での公正評価の設定
プロンプト テンプレートを評価すると、テキスト分類タスクの公正評価結果のサマリーを確認できます。
好ましい結果と好ましくない結果を選択する
公正な評価を設定する際には、有利な結果と不利な結果を指定しなければならない。 有利な結果を示す値は、提供されたテストデータのlabel列から導き出されます。 デフォルトでは、predictedLabelカラムがpredictionカラムとして設定されています。 有利な値、不利な値は、prediction列の値を0や1のように文字列データ型で指定する必要があります（トレーニングデータをアップロードする場合）。
メタフィールドの選択
watsonx.governanceが、提供されたテスト データで機能として指定されていないフィールドを識別できるようにするには、メタ フィールドを選択する必要があります。
公平性のしきい値を設定する
公正性評価を独自の設定で構成するには、各指標の最小サンプルサイズと最大サンプルサイズを設定します。 最小サンプル数または最大サンプル数は、評価したいモデル・トランザクションの最小数または最大数を示す。
また、ベースラインデータを設定し、各メトリクスのしきい値を設定することもできます。 しきい値は、評価スコアがしきい値に違反したときに表示されるアラートを評価サマリーページに作成します。 値は0から1の範囲で設定しなければならない。 違反を避けるためには、メトリックスコアがしきい値より低くなければならない。
サンプル・サイズの設定
Watsonx.governanceは、評価中に評価されるトランザクション数の処理方法を理解するためにサンプルサイズを使用します。 watsonx.governanceに評価させたいトランザクションの最小数を示す最小サンプル・サイズを設定する必要があります。 また、watsonx.governanceに評価させたいトランザクションの最大数を示す最大サンプル・サイズを設定することもできます。
親トピック: 公平性評価の設定