IBM は、モデル・リスク管理ソリューションを、IBM Watson OpenScale を使用して提供しています。 IBM Watson OpenScale により、AI モデルのライフサイクルを通してモデルの結果のモニターおよび評価を行い、モデルの検証を実行できます。

Watson OpenScale で分析を実行する

モデル・リスク管理の機能をセットアップしてアクティブにしたら、Watson OpenScale でサンプルの評価の参照と比較を行えます。 モデル要約レポートというダウンロード可能なレポートには、すべての品質指標、公平性指標、ドリフト絶対値が含まれています。

1. 洞察ダッシュボードで、モデル・デプロイメントのタイルをクリックします。

2. 「アクション」ドロップダウン・ボックスで、次のいずれかの分析オプションをクリックします。

   1. 過去の評価 (Past evaluations): 過去のバージョンの評価をすべてリストします。
   2. 比較: 任意のモデルを比較します。特に同じモデルのバージョン間の比較を行い、性能が最適なものを探します。
   3. レポート PDF のダウンロード: モデル要約レポートを生成します。このレポートには、すべての指標と、なぜそのように評価されたかを示す説明が含まれています。

Watson OpenScale で新しいモデルを実動環境にデプロイする

最適なモデルを実動環境にプッシュします。 実動レコードを実動前モデルからインポートして作成します。 IBM OpenPages でモデルのデプロイメントが承認されたら、Watson OpenScale でそのモデルを実動環境に送信できます。

1. モデル・デプロイメントのステータスを確認します。
2. サンプル・ノートブックに戻り、セルを実行してモデルを実動環境に送信します。
3. 実動モデルのデプロイメントのタイルが表示されるはずです。 通常の実動環境では、十分なデータが収集され、時間が経過して指標の計算が起動されるまで、最初の表示は空のままです。 チュートリアルでは、ノートブックがデータを追加してモニターを実行するので、ただちに結果を参照できます。

モデルの比較

Watson OpenScale では、重要な指標を横並びに表示してモデルを比較できます。 この機能を使用して、実動環境に送信すべき最良のモデルのバージョンや、改善が必要なモデルを調べることができます。

「アクション」メニューから、現在 MRM 要約ダッシュボードに表示されているモデルと比較するモデルを選択します。

今すぐ評価

実動前環境では、CSV ファイル、データベース表、またはクラウド・オブジェクト・ストレージ・ファイルの形式でテスト・データをアップロードできます。 CSV オプションを使用するには、CSV ファイルをドロップ・ボックスにドラッグします。 Db2 またはクラウド・ストレージ・オプションを使用するには、資格情報を指定する必要があります。 データをアップロードした後、モデルに対して新規データを評価することで、即時に結果を確認できます。

評価を実行する前に、正しいスキーマを設定することで、サブスクリプションが完全に有効になっていることを確認してください。

データベース・オプションへの接続は一時的です。 後で評価を実行するには、接続情報を再入力する必要があります。

実動前のサブスクリプションから実動サブスクリプションへの構成のコピー

時間を節約するために、構成およびモデルのメタデータを実動前のサブスクリプションから実動サブスクリプションにコピーできます。 これを行うには、モデルはソース・モデルと一致している必要がありますが、実動スペースにデプロイされている必要があります。

次のステップ

公平性の分析を使用し、場合によっては別のアルゴリズムを使用してモデルを再定義します。