公平性評価の設定
モデルが偏った結果を生み出すかどうかを判断するために、公平性評価を設定することができます。 公平性評価を使用して、モデルがあるグループに対して他のグループよりも有利な結果をより頻繁に提供する傾向を示す場合を特定する。
機械学習モデルの公平性評価の設定
モデル評価の準備を行う際に、ペイロードデータを記録する場合、公平性評価を設定できます。
公平性評価を手動で構成することも、 カスタム・ノートブック を実行して構成ファイルを生成することもできます。 構成ファイルをアップロードして、評価の設定を指定できます。
公平性評価を手動で構成する場合、好ましい結果を表すと予想される参照グループ (値) を指定できます。 参照グループに対して比較されるバイアス (年齢や性別など) をモニターするために、対応するモデル属性 (特徴量) を選択することもできます。 トレーニングデータに応じて、評価用の最小サンプルサイズと最大サンプルサイズを指定することもできます。
好ましい結果と好ましくない結果を選択する
公正な評価を設定する際には、有利な結果と不利な結果を指定しなければならない。 好ましい結果を表す値は、 トレーニング・データの labelpredictedLabelpredictionprediction01
フィーチャーの選択
バイアスを検出するために評価したいモデルの属性であるフィーチャーを選択する必要があります。 たとえば、SexAge
特徴量の値は、参照グループまたはモニター・グループのいずれかとして指定されます。 モニター・グループは、偏りのある結果のリスクが最も高い値を表します。 例えば、 SexFemaleNon-binaryAge[18-25]Sex=MaleAge=[26,100]
公平性のしきい値を設定する
公平性のしきい値を設定することで、監視対象グループの好結果のパーセンテージと参照グループの好結果のパーセンテージの許容できる差を指定することができます。 例えば、モデル内のグループの好ましい結果の割合が 70% で、公平性しきい値が 80% に設定されている場合、公平性モニターはモデル内のバイアスを検出します。
サンプル・サイズの設定
サンプルサイズは、評価されるトランザクションの数をどのように処理するかをスピードアップするために使用される。 評価したいトランザクションの最低数を示す最小サンプル・サイズを設定する必要があります。 また、評価したいトランザクションの最大数を示す最大サンプルサイズを設定することもできます。
間接バイアスのテスト
追加フィールドと呼ばれるトレーニングフィーチャではないフィールドを選択した場合、トレーニングフィーチャから関連する値を見つけることで間接的なバイアスが特定されます。 例えば、「学生」という職業は、「年齢」フィールドがモデル・トレーニングから除外されていても、若い個人を意味する場合があります。 間接的なバイアスを考慮した公平性評価の設定についての詳細は、間接的なバイアスを考慮した公平性モニターの設定を参照してください。
バイアスの緩和
機械学習モデルの評価には、パッシブデビアスとアクティブデビアスが使用される。 受動的なバイアス緩和では、バイアスが明らかになりますが、アクティブなバイアス緩和では、現行のアプリケーションに対してリアルタイムでモデルを変更してそのバイアスが渡らないようにします。 モデルにおける結果の解釈とバイアスの緩和について詳しくは、 公平性評価からの結果の確認を参照してください。
watsonx.governance での公正評価の設定
プロンプト テンプレートを評価すると、テキスト分類タスクの公正評価結果のサマリーを確認できます。
好ましい結果と好ましくない結果を選択する
公正な評価を設定する際には、有利な結果と不利な結果を指定しなければならない。 有利な結果を示す値は、提供されたテストデータのlabelpredictedLabelpredictionprediction01
メタフィールドの選択
watsonx.governanceが、提供されたテスト データで機能として指定されていないフィールドを識別できるようにするには、メタ フィールドを選択する必要があります。
公平性のしきい値を設定する
公正性評価を独自の設定で構成するには、各指標の最小サンプルサイズと最大サンプルサイズを設定します。 最小サンプル数または最大サンプル数は、評価したいモデル・トランザクションの最小数または最大数を示す。
また、ベースラインデータを設定し、各メトリクスのしきい値を設定することもできます。 しきい値は、評価スコアがしきい値に違反したときに表示されるアラートを評価サマリーページに作成します。 値は0から1の範囲で設定しなければならない。 違反を避けるためには、メトリックスコアがしきい値より低くなければならない。
サンプル・サイズの設定
Watsonx.governanceは、評価中に評価されるトランザクション数の処理方法を理解するためにサンプルサイズを使用します。 watsonx.governanceに評価させたいトランザクションの最小数を示す最小サンプル・サイズを設定する必要があります。 また、watsonx.governanceに評価させたいトランザクションの最大数を示す最大サンプル・サイズを設定することもできます。
親トピック: 公平性評価の設定