Watson OpenScale で分析を実行する

モデル・リスク管理機能をセットアップしてアクティブ化すると、サンプルの評価を確認して比較することができます。 すべての品質指標、公平性指標、およびドリフト絶対値を含むモデル要約レポートをダウンロードできます。

1. 洞察ダッシュボードで、モデル・デプロイメントのタイルをクリックします。

2. アクションメニューから、以下のいずれかの分析オプションをクリックします。

   • すべての評価: 評価の以前のバージョンをすべてリストします。
   • 比較: 任意のモデルを比較します。特に同じモデルのバージョン間の比較を行い、性能が最適なものを探します。
   • レポート PDF のダウンロード: モデル要約レポートを生成します。このレポートには、すべての指標と、なぜそのように評価されたかを示す説明が含まれています。

Watson OpenScale で新しいモデルを実動環境にデプロイする

最適なモデルを実動環境にプッシュします。 実動レコードを実動前モデルからインポートして作成します。

1. モデル・デプロイメントの状況を確認します。
2. サンプル・ノートブックに戻り、セルを実行してモデルを実動環境に送信します。
3. 実動モデルのデプロイメントのタイルが表示されるはずです。 通常の実動環境では、十分なデータが収集され、メトリック計算がトリガーされる時間が経過するまで、最初は空のように表示されます。 ノートブックによってデータが追加され、モニターが実行されるため、結果をすぐに確認できます。

モデルの比較

モデル評価の詳細を表示すると、 Watson OpenScale を使用して、主要メトリックを強調表示するマトリックス・グラフとモデルを比較できます。 この機能を使用して、実動環境に送信すべき最良のモデルのバージョンや、改善が必要なモデルを調べることができます。

『アクション』メニューから、『比較』を選択して、モデルのモニターに使用するメトリックのスコアを比較するグラフを生成します。

今すぐ評価

アクションメニューから、「今すぐ評価」を選択して、公平性、品質、およびドリフトについてテスト・データを評価します。 実動前環境では、以下のいずれかの方法でテスト・データをインポートできます。

• ラベル付きテスト・データを含む CSV ファイルをアップロードします
• Cloud Object Storage または Db2 内のラベル付きテスト・データを含む CSV ファイルに接続します。

これらのインポート方法のいずれかを使用する場合、 Watson OpenScale がテスト・データをスコアリングするかどうかを制御できます。

Watson OpenScale でデータをスコアリングする場合は、フィーチャー列とラベル列を持つラベル付きテスト・データをインポートします。 Watson OpenScale はテスト・データをスコアリングし、予測値と確率値はフィードバック・テーブルに_original_prediction列と_original_probability列として保管されます。

既にスコアリング済みのテスト・データをインポートする場合は、 「テスト・データのインポート」パネルのTest data includes model outputチェック・ボックスを選択します。 フィーチャー列とラベル列、およびスコアリングされた出力を含むテスト・データをインポートする必要があります。 Watson OpenScale は、テスト・データを再スコアリングしません。 予測値と確率値は、_original_prediction列と_original_probability列としてフィードバック・テーブルに保管されます。

注:

アップロードするテスト・データには、Test data includes model outputオプションが選択されている場合にペイロード・ロギングおよびフィードバック・テーブルに追加される record_id/transaction_id列とrecord_timestamp列を含めることもできます。

評価を実行する前に、正しいスキーマを設定して、サブスクリプションが完全に有効になっていることを確認してください。

実動前サブスクリプションから実動サブスクリプションへの構成のコピー

時間を節約するために、実動前サブスクリプションから構成およびモデル・メタデータをコピーし、実動サブスクリプションにデータを追加することができます。 モデルは、ソース・モデルと一致している必要がありますが、実動スペースにデプロイされている必要があります。

親トピック: モデル・リスク管理とモデル・ガバナンス