モデル・リスクの管理

Watson OpenScaleによる分析の実行

モデル・リスク管理機能をセットアップしてアクティブ化すると、サンプルの評価を確認して比較することができます。 すべての品質指標、公平性指標、およびドリフト絶対値を含むモデル要約レポートをダウンロードできます。

1. 洞察ダッシュボードで、モデル・デプロイメントのタイルをクリックします。

2. アクションメニューから、以下のいずれかの分析オプションをクリックします。

   • すべての評価：進行中および完了したすべての評価をリストアップする
   • 比較する：どのモデルでも比較できるが、特に同じモデルのバージョンを比較すると、最高のパフォーマンスが得られる
   • レポートのPDFをダウンロードします：モデルサマリーレポートが作成され、すべての評価指標と、なぜそのように採点されたのかの説明が表示されます

Watson OpenScale で新しいモデルを実動環境にデプロイする

最適なモデルを実動環境にプッシュします。 実動レコードを実動前モデルからインポートして作成します。

1. モデル・デプロイメントの状況を確認します。
2. サンプル・ノートブックに戻り、セルを実行してモデルを実動環境に送信します。
3. 実動モデルのデプロイメントのタイルが表示されるはずです。 通常の実動環境では、十分なデータが収集され、メトリック計算がトリガーされる時間が経過するまで、最初は空のように表示されます。 ノートブックによってデータが追加され、モニターが実行されるため、結果をすぐに確認できます。

モデルの比較

モデル評価の詳細を表示すると、主要な指標を強調したマトリックスチャートでモデルを比較できます。 この機能を使用して、実動環境に送信すべき最良のモデルのバージョンや、改善が必要なモデルを調べることができます。

『アクション』メニューから、『比較』を選択して、モデルのモニターに使用するメトリックのスコアを比較するグラフを生成します。

今すぐ評価

Actionsメニューから、Evaluate nowを選択してテストデータを評価します。 実動前環境では、以下のいずれかの方法でテスト・データをインポートできます。

• ラベル付きテスト・データを含む CSV ファイルをアップロードします
• Cloud Object Storage または Db2 内のラベル付きテスト・データを含む CSV ファイルに接続します。

これらのインポート方法のいずれかを使用する場合、 Watson OpenScale がテスト・データをスコアリングするかどうかを制御できます。

データを採点したい場合は、特徴列とラベル列を持つラベル付きテストデータをインポートします。 テストデータが採点され、予測値と確率値が_original_prediction列と_original_probability列としてフィードバック・テーブルに格納される。

既にスコアリング済みのテスト・データをインポートする場合は、 「テスト・データのインポート」パネルのTest data includes model outputチェック・ボックスを選択します。 フィーチャー列とラベル列、およびスコアリングされた出力を含むテスト・データをインポートする必要があります。 テストデータは再スコアされない。 予測値と確率値は、_original_prediction列と_original_probability列としてフィードバック・テーブルに保管されます。

注:

アップロードするテスト・データには、Test data includes model outputオプションが選択されている場合にペイロード・ロギングおよびフィードバック・テーブルに追加される record_id/transaction_id列とrecord_timestamp列を含めることもできます。

評価を実行する前に、正しいスキーマを設定して、サブスクリプションが完全に有効になっていることを確認してください。

評価を実行すると、評価が正常に完了したかどうかを表示するステータスインジケータで進捗状況を確認できます。

実動前のサブスクリプションから実動サブスクリプションへの構成のコピー

時間を節約するために、実動前サブスクリプションから構成およびモデル・メタデータをコピーし、実動サブスクリプションにデータを追加することができます。 モデルは、ソース・モデルと一致している必要がありますが、実動スペースにデプロイされている必要があります。

親トピック: モデル・リスク管理とモデル・ガバナンス