モデルのパフォーマンスに関する洞察を得るために、デプロイメント・スペースで watsonx.governance 評価を構成します。 評価を構成するときに、評価結果を分析し、スペース内のトランザクション・レコードを直接モデル化することができます。

watsonx.governance は、パフォーマンスの測定とモデル予測の理解に役立つように、モデル・デプロイメントを評価します。 モデル評価を構成すると、 watsonx.governance は、評価ごとに、検討可能なさまざまな洞察を提供するメトリックを生成します。 また、 watsonx.governance は、評価中に処理されたトランザクションをログに記録して、モデル予測の決定方法を理解できるようにします。 詳しくは、 Watson OpenScaleを参照してください。

watsonx.governance のインスタンスがプロビジョンされている場合は、オンライン・デプロイメントをシームレスに作成し、公平性、品質、ドリフト、および説明性についてデプロイメント結果をモニターすることができます。

標準的なシナリオは、以下の順序に従います。

1. デプロイメント・スペースを作成し、 watsonx.governance インスタンスをそのスペースに関連付けて、すべてのモニター機能を有効にします。 要件に応じて、スペースのタイプ (例えば、実動または実動前) を選択できます。
2. トレーニング済みの機械学習モデルと入力 (ペイロード) データをデプロイメント・スペースにプロモートし、モデルのオンライン・デプロイメントを作成します。
3. デプロイメントの「テスト」タブで、入力データを指定し、予測を取得します。
4. 「評価」タブで、デプロイメントの品質、公平性、説明性をモニターするように評価を構成します。 Watson OpenScale がモデル、トレーニング・データ、ペイロード・データ、および評価結果を保管するためのリポジトリーに接続できるように、必要なモデルの詳細をすべて指定します。
5. 公平性のモニターを構成して、モデルがバイアスのない結果を生成していることを確認します。 公平性をモニターするフィールドを選択し、参照グループと比較してモニター対象グループの予測を測定するしきい値を設定します。 例えば、モデルを評価して、性別に基づく偏りのない予測が提供されていることを確認できます。
6. 「フィードバック・データ」と呼ばれるラベル付きテスト・データに基づいてモデルによって生成された正しい結果の数に基づいてモデル・パフォーマンスを判別するために、品質のモニターを構成します。 メトリック値が許容範囲外である場合に追跡する品質しきい値を設定します。
7. デプロイメントが最新かつ一貫性のあるものになるように、ドリフトのモニターを構成します。 特徴量のドリフトがモデルに与える影響を判別するには、特徴量の重要度を使用します。 例えば、重要な特徴量の少量のドリフトは、あまり重要ではない特徴量の中で中程度の量のドリフトよりも、モデルに大きな影響を与える可能性があります。
8. デプロイメントの結果をモニターして説明可能性を確認し、モデルが予測を決定する原因となった要因を理解することができます。 ニーズに最も適した説明方法を選択してください。 例えば、詳細な説明のために SHAP (Shapley Additive EXplanations) メソッドを選択したり、より迅速な説明のために LIME (Local Interpretable Model-Agnostic 説明) メソッドを選択したりすることができます。
9. 最後に、モデル評価を検査して、いくつかの入力に小さな変更を加えると別の決定が行われる領域を見つけることができます。 シナリオをテストして、入力を変更することでモデルのパフォーマンスを改善できるかどうかを判別します。

以下のセクションでは、デプロイメント・スペースで watsonx.governance 評価を構成し、モデルの洞察を確認する方法について説明します。