クイック・スタート: スペース内のデプロイメントの評価

資料の英語版に戻る

デプロイメント・スペース内のモデル・デプロイメントを評価して、モデルのパフォーマンスに関する洞察を得ることができます。評価を構成すると、評価結果を分析し、スペース内のトランザクション・レコードを直接モデル化することができます。

必須のサービス: watsonx.governance; watsonx.ai

基本的なワークフローには、以下のタスクが含まれます：

プロジェクトを開きます。プロジェクトは、データを処理するために他のユーザーと共同作業できる場所です。
機械学習モデルを作成して保存します。 AutoAI エクスペリメント、Jupyter ノートブック、 SPSS Modeler フロー、パイプラインなど、モデルを作成するためのさまざまなツールが用意されています。「データの分析とモデルの操作」を参照してください。
デプロイメント・スペースにモデルをデプロイしてテストします。
デプロイメント・スペースで評価を構成します。
モデルのパフォーマンスを評価します。

スペース内のデプロイメントを評価する方法について読む

watsonx.governance は、パフォーマンスの測定とモデル予測の理解に役立つように、モデル・デプロイメントを評価します。モデル評価を構成すると、 watsonx.governance は、評価ごとに、検討可能なさまざまな洞察を提供するメトリックを生成します。また、 watsonx.governance は、評価中に処理されたトランザクションをログに記録して、モデル予測の決定方法を理解できるようにします。

スペース内のデプロイメントの評価についての詳細

Watson OpenScaleでモデルを評価する他の方法について

スペース内のデプロイメントを評価する方法に関するビデオを見る

このチュートリアルのステップをプレビューするには、このビデオをご覧ください。ビデオに表示されるユーザー・インターフェースには若干の違いがある可能性があります。このビデオは、作成されたチュートリアルのコンパニオンとなることを目的としています。

このビデオは、この資料の概念とタスクを学習するための視覚的な方法を提供します。

スペース内のデプロイメントを評価するためのチュートリアルを試す

このチュートリアルでは、以下のタスクを実行します：

タスク 1: サンプルに基づくプロジェクトの作成
タスク 2: モデルのデプロイ
タスク 3: デプロイメント・スペースでの評価の構成
タスク 4: モデルの評価
タスク 5: 品質についてモデル・モニターを監視する
作業 6: 公平性についてモデル・モニターを監視する
作業 7: ドリフトのモデル・モニターを監視する
作業 8: 説明可能性についてモデル・モニターを監視する

このチュートリアルを完了するためのヒント

このチュートリアルを正常に完了するためのヒントを以下に示します。

ビデオ・ピクチャー・イン・ピクチャーの使用

ヒント: ビデオを開始します。チュートリアルをスクロールすると、ビデオはピクチャー・イン・ピクチャー・モードに移動します。ピクチャー・イン・ピクチャーを最適に使用するために、ビデオの目次を閉じます。ピクチャー・イン・ピクチャー・モードを使用すると、このチュートリアルのタスクを実行する際にビデオに従うことができます。追跡する各タスクのタイム・スタンプをクリックします。

以下のアニメーション・イメージは、ビデオ・ピクチャー・イン・ピクチャーおよび目次機能の使用方法を示しています。

ピクチャー・イン・ピクチャーおよび章の使用方法

コミュニティーでのヘルプの利用

このチュートリアルでヘルプが必要な場合は、 watsonx コミュニティー・ディスカッション・フォーラムで質問したり、回答を見つけたりすることができます。

ブラウザー・ウィンドウのセットアップ

このチュートリアルを最適に実行するには、1 つのブラウザー・ウィンドウで Cloud Pak for Data を開き、このチュートリアル・ページを別のブラウザー・ウィンドウで開いたままにして、2 つのアプリケーションを簡単に切り替えることができます。 2 つのブラウザー・ウィンドウを横並びに配置して、見やすくすることを検討してください。

横並びのチュートリアルと UI

ヒント: ユーザー・インターフェースでこのチュートリアルを実行しているときにガイド・ツアーが表示された場合は、 「後で実行することもあります」をクリックします。

タスク 1: サンプルに基づいてプロジェクトを作成する

チュートリアル・ビデオのプレビューこのタスクをプレビューするには、 00:06から始まるビデオをご覧ください。

モデルの作成に使用される資産を保管するためのプロジェクトが必要です。例えば、トレーニング・データ、 AutoAI 経験または Jupyter ノートブック、および保存されたモデルなどです。サンプルに基づいてプロジェクトを作成するには、以下の手順を実行します。

リソース・ハブの「ML モデル・サンプル・プロジェクトの評価 (Evaluate an ML model sample project)」にアクセスします。
「プロジェクトの作成」をクリックします。
プロジェクトを Cloud Object Storage インスタンスに関連付けるように求められたら、リストから Cloud Object Storage インスタンスを選択してください。
「作成」 をクリックします。
プロジェクトのインポートが完了するまで待ってから、 「新規プロジェクトの表示」 をクリックして、プロジェクトと資産が正常に作成されたことを確認します。
「アセット」 タブをクリックして、サンプル・プロジェクト内のアセットを表示します。
「Mortgage Approval Prediction Model」を表示します。このモデルは、住宅ローン申請者が、信用履歴、総負債、所得、ローン金額、雇用履歴などのいくつかの要因に基づいて承認される必要があるかどうかを予測します。
プロジェクトの資産タブに戻ります。

進行状況を確認してください

以下の画像は、サンプル・プロジェクトを示しています。これで、チュートリアルを開始する準備ができました。

タスク 2: モデルのデプロイ

モデルをデプロイする前に、モデルを新しいデプロイメント・スペースにプロモートする必要があります。デプロイメント・スペースは、入力データや環境などのサポート・リソースを編成したり、予測やソリューションを生成するためのモデルや機能をデプロイしたり、デプロイメントの詳細を表示または編集したりするのに役立ちます。次のタスクは、評価データとモデルをデプロイメント・スペースにプロモートしてから、オンライン・デプロイメントを作成することです。

タスク 2a: 評価データのダウンロード

チュートリアル・ビデオのプレビューこのタスクをプレビューするには、 00:34で始まるビデオをご覧ください。

モデルが必要に応じて機能していることを検証するには、モデルのトレーニングから除外されたラベル付きデータのセットが必要です。サンプル・プロジェクトには、評価データ (GoldenBank_HoldoutData.csv) が含まれています。これをアップロードすると、後でデプロイメント・スペースで評価を実行できます。データ・セットをダウンロードするには、以下の手順を実行します。

GoldenBank_HoldoutData.csv データ資産の 「オーバーフロー」 メニューをクリックし、 「ダウンロード」を選択します。

タスク 2b: デプロイメント・スペースへのモデルのプロモート

チュートリアル・ビデオのプレビューこのタスクをプレビューするには、 00:42から始まるビデオをご覧ください。

モデルをデプロイする前に、モデルをデプロイメント・スペースにプロモートする必要があります。モデルをデプロイメント・スペースにプロモートするには、以下の手順を実行します。

「資産」 タブで、 「住宅ローン承認モデル」 モデルの 「オーバーフロー」 メニューをクリックし、 「スペースにプロモート」を選択します。
既存のデプロイメント・スペースを選択してください。デプロイメント・スペースがない場合は、以下のようにします。
1. 「新規デプロイメント・スペースの作成」をクリックします。
2. 名前として、次のように入力します。
```
Golden Bank Preproduction Space
```   1. Select a storage service.
```
3. 機械学習サービスを選択してください。
4. 「デプロイメント・ステージ」で 「開発」 を選択します。
5. 「作成」 をクリックします。
6. スペースの準備ができたら通知を閉じます。
「プロモート後にスペース内のモデルに移動」 オプションを選択します。
プロモートをクリックします。

注: プロモート後にスペース内のモデルに移動するオプションを選択しなかった場合は、ナビゲーション・メニューを使用して 「デプロイメント」 にナビゲートし、デプロイメント・スペースとモデルを選択できます。

進行状況を確認してください

以下の図は、デプロイメント・スペース内のモデルを示しています。

タスク 2c: モデル・デプロイメントの作成

チュートリアル・ビデオのプレビューこのタスクをプレビューするには、 01:02から始まるビデオをご覧ください。

モデルがデプロイメント・スペースに配置されたので、以下の手順に従ってモデル・デプロイメントを作成します。

モデルを開いた状態で、 「新規デプロイメント」をクリックします。
1. デプロイメント・タイプとして オンライン を選択してください。
2. デプロイメント名として、次のように入力します。
```
Mortgage Approval Model Deployment
```
3. 「作成」 をクリックします。
デプロイメントが完了したら、デプロイメント名をクリックして、デプロイメントの詳細ページを表示します。
スコアリング・エンドポイントを確認します。このエンドポイントは、アプリケーションでこのモデルにプログラマチックにアクセスするために使用できます。

進行状況を確認してください

以下の図は、デプロイメント・スペース内のモデル・デプロイメントを示しています。

タスク 3: デプロイメント・スペースでの評価の構成

チュートリアル・ビデオのプレビューこのタスクをプレビューするには、 01:19から始まるビデオをご覧ください。

このデプロイメント・スペースで評価を構成するには、以下の手順を実行します。

タスク 3a: モデルの詳細の構成

してください。以下のステップに従って、モデルの詳細を構成します。

デプロイメントで、 「評価」 タブをクリックします。
「 OpenScale 評価設定の構成」をクリックします。
「モデル入力」の横にある 「編集」 アイコンをクリックします。

モデル入力データの指定

トレーニング・データには、二項分類モデルに適した数値データとカテゴリー・データが含まれています。

「データ・タイプ」で、 「数値/カテゴリー」を選択します。
「アルゴリズム・タイプ」で、 「二項分類」を選択します。
*「トレーニング・データの詳細を手動で構成する」を選択します。
「保存して続行」をクリックします。

訓練データへの接続

トレーニング・データは Db2 Warehouse on Cloud インスタンスに保管されます。

「トレーニング・データ」の横にある 「編集」 アイコンをクリックします。
ストレージ・タイプとして 「データベースまたはクラウド・ストレージ」 を選択します。
ロケーションとして「 Db2 」を選択します。
接続情報を指定します。
- ホスト名または IP アドレス: db2w-ruggyab.us-south.db2w.cloud.ibm.com
- SSL ポート: 50001
- データベース: BLUDB
- ユーザー名:CPDEMO
- Password: DataFabric@2022IBM
「接続」 をクリックします。
スキーマの 「AI_MORTGAGE」 を選択します。
表に対して 「MORTGAGE_APPROVAL_TABLE」 を選択します。
次へをクリックします。

ラベルと特徴量列を選択します

MORTGAGE age_approval 列は、申請者が承認されているかどうかを示し、機能の列には、承認の決定に寄与する情報が含まれています。

MORTGAGE_APPROVALを検索し、 「次へ」をクリックします。
以下の特徴量列を選択します。
- GENDER
- Education
- EMPLOYMENT_STATUS
- マルITAL_STATUS
- INCOME
- APPLIEDONLINE (オンライン・アプリケーション)
- RESIDENCE
- YRS_AT_CURRENT_ADDRESS
- YRS_WITH_CURRENT_雇用主
- OF_CARDS の数
- クレジット・カード債務
- LOANS
- LOAN_AMOUNT (ロード・マウント)
- CREDIT_SCORE
- クライアントの商用化
次へをクリックします。

モデル出力の検査

Watson OpenScale は、モデルによって処理されたトランザクションを追跡して保管します。 Watson OpenScaleを準備するには、モデル・デプロイメントに評価要求を送信します。

「スコアリング方式」では、 「JSON ペイロード」を選択します。

サンプルの要求と応答を以下の JSON データに置き換えます。

[
   {
      "request": {
            "fields": [
               "INCOME",
               "YRS_AT_CURRENT_ADDRESS",
               "YRS_WITH_CURRENT_EMPLOYER",
               "NUMBER_OF_CARDS",
               "CREDITCARD_DEBT",
               "LOAN_AMOUNT",
               "CREDIT_SCORE",
               "PROPERTY_VALUE",
               "AREA_AVG_PRICE",
               "LOANS",
               "GENDER",
               "EDUCATION",
               "EMPLOYMENT_STATUS",
               "MARITAL_STATUS",
               "APPLIEDONLINE",
               "RESIDENCE",
               "COMMERCIAL_CLIENT",
               "COMM_FRAUD_INV"
            ],
            "values": [
               [
                  49124,
                  11,
                  12,
                  2,
                  1075,
                  7246,
                  534,
                  550580,
                  null,
                  1,
                  "Male",
                  "Master",
                  "Employed",
                  "Married",
                  "YES",
                  "Private Renting",
                  "FALSE",
                  "FALSE"
               ]
            ]
      },
      "response": {
            "fields": [
               "prediction",
               "probability"
            ],
            "values": [
               [
                  0,
                  [
                        0.9999447513812154,
                        0.00005524861878453039
                  ]
               ]
            ]
      }
   }
]

「今すぐ送信」をクリックします。
「スコアリング要求が成功しました (Scoring request successful)」 というメッセージが表示されたら、 「次へ」をクリックします。

モデル出力の詳細を指定

モデル出力データから、デプロイされたモデルによって生成された予測列と、予測におけるモデルの確信度を含む確率列を選択する必要があります。

「予測」 列と 「確率」 列の該当するチェック・ボックスを選択します。
保存をクリックします。

進行状況を確認してください

以下の図は、完成したモデルの詳細を示しています。これで、説明性を構成する準備ができました。

タスク 3b: 説明性の構成

チュートリアル・ビデオのプレビューこのタスクをプレビューするには、 02:58から始まるビデオをご覧ください。

次に、以下の手順に従って説明性を構成します。

説明方法の選択

Shapley Additive (SHAP) は、考えられるすべての入力の組み合わせを使用して、各入力が平均予測値または確信度スコアとの間でどのように予測を移動するかを検出します。ローカルで解釈可能なモデルに依存しない説明 (LIME) は、各特徴量の重要性を発見するために疎線型モデルを作成します。 SHAP の方がより徹底的で、LIME の方が高速です。

「一般設定」をクリックします。
「説明」メソッドの横にある 「編集」 アイコンをクリックします。
「SHAP グローバル説明」 オプションをオンに切り替えます。
「ローカル説明方式」では、 「LIME (拡張)」を選択します。
次へをクリックします。

制御可能な特徴量を選択します

分析の実行時に制御可能にする特徴量を指定して、モデルの結果を決定する上で最も重要な特徴量を示すことができます。

制御可能な特徴量のリストを確認し、 「保存」をクリックします。

グローバル説明可能性の構成

SHAP は、各特徴量がモデルの結果に与える影響を定量化します。 SHAP は、グローバル説明に適した要約プロットを作成しますが、単一の予測説明を生成することもできます。

「説明性」の下で、 「SHAP」をクリックします。
「共通設定」の横にある 「編集」 アイコンをクリックします。
1. 共通設定のデフォルトを受け入れます。
2. 保存をクリックします。
「グローバル説明」の横にある 「編集」 アイコンをクリックします。
1. グローバル説明のデフォルトにアクセスします。
2. 保存をクリックします。

進行状況を確認してください

以下のイメージは、完了した説明可能性構成を示しています。これで、公平性を構成する準備ができました。

タスク 3c: 公平性の構成

チュートリアル・ビデオのプレビューこのタスクをプレビューするには、 04:06から始まるビデオをご覧ください。

次に、以下の手順に従って公平性を構成します。

構成タイプを選択してください

公平性を手動で構成することも、提供されている Jupyter ノートブックを使用して生成された構成ファイルをアップロードすることもできます。

「公平性」をクリックします。
「構成」の横にある 「編集」 アイコンをクリックします。
「構成タイプ」で 「手動構成」 を選択します。
次へをクリックします。

好ましい結果の選択

このモデル・デプロイメントでは、好ましい結果は、申請者が住宅ローンについて承認された場合、好ましくない結果は申請者が承認されなかった場合です。

テーブルで、 1 値として 「お気に入り」 を選択します。これは、申請者が住宅ローンの承認を受けていることを表します。
テーブルで、 0 値として 「同意しない」 を選択します。これは、申請者が住宅ローンの承認を受けていないことを表します。
次へをクリックします。

サンプル・サイズ

モデルの評価に使用するデータ・セットに基づいて、サンプル・サイズを調整します。

「最小サンプルサイズ」 を 100に変更します。
次へをクリックします。

メトリック

公平性モニタリングは、複数の公平性指標を追跡します。異なる影響とは、参照グループの好ましい結果の割合に対する、モニター対象グループの好ましい結果の割合の比率のことです。

すべてのデータから生成されたモニター対象メトリックを確認して、モニター対象特徴量に適用します。次に、フィードバック・データから生成されたメトリックを確認して、モニター対象特徴量に適用します。
デフォルトのメトリックを受け入れて、 「次へ」をクリックします。
下限しきい値と上限しきい値のデフォルト値を受け入れて、 「次へ」をクリックします。

モニタリング対象のフィールドを選択

あるグループに対して別のグループよりも好ましい結果を提供するために、デプロイされたモデルの傾向をモニターする必要があります。この場合、モデルの性別バイアスをモニターします。

「GENDER」 フィールドを選択します。
次へをクリックします。
値が表にリストされている場合:
1. 女性のチェック: モニター対象
2. 「男性: 参照」にチェック・マークを付けます。
値が表にリストされていない場合:
1. 「カスタム値の追加」 フィールドに Femaleと入力します。
2. 「値の追加」をクリックします。
3. 表の 「男性」 の横にある 「モニター対象」 を選択します。
4. 「カスタム値の追加」 フィールドに Femaleと入力します。
5. 「値の追加」をクリックします。
6. 表の 「男性」 の横にある 「参照」 を選択します。
次へをクリックします。
モニター対象グループのデフォルトのしきい値を受け入れて、 「保存」をクリックします。

進行状況を確認してください

以下の画像は、完了した公平性構成を示しています。これで、品質を構成する準備ができました。

タスク 3d: 品質の構成

チュートリアル・ビデオのプレビューこのタスクをプレビューするには、 05:17から始まるビデオをご覧ください。

次に、以下の手順に従って品質を構成します。モデル性能モニタリングは、どの程度モデルが正確な結果を予測するかを評価します。

「品質」をクリックします。
「品質しきい値」の横にある 「編集」 アイコンをクリックします。
「ROC 曲線下面積」 の値を 0.7に変更します。
次へをクリックします。
「最小サンプル・サイズ」 を 100に変更します。
保存をクリックします。

進行状況を確認してください

以下のイメージは、完成した品質構成を示しています。これで、ドリフトを構成する準備ができました。

タスク 3e: ドリフトの構成

チュートリアル・ビデオのプレビューこのタスクをプレビューするには、 05:42から始まるビデオをご覧ください。

最後に、以下のステップに従ってドリフトを構成します。ドリフト・モニターは、デプロイメントが最新で一貫して動作しているかどうかを検査します。

「ドリフト」 v2をクリックします。
「ドリフト・アーカイブの計算」の横にある 「編集」 アイコンをクリックします。
「コンピュート」オプションで、 「 Watson OpenScaleを選択します。このオプションは、特徴量のデータ分布を判別するためにトレーニング・データの分析を実行するように Watson OpenScale に指示します。
次へをクリックします。
上限しきい値のデフォルト値を受け入れて、 「次へ」をクリックします。
サンプル・サイズのデフォルト値を受け入れて、 「保存」をクリックします。
「X」 をクリックしてウィンドウを閉じ、 Watson OpenScale がモニターをフェッチするのを待ちます。

進行状況を確認してください

以下のイメージは、デプロイメント・スペース内の完了した構成を示しています。これで、モデル・デプロイメントをモニターする準備ができました。

タスク 4: モデルの評価

チュートリアル・ビデオのプレビューこのタスクをプレビューするには、 06:22から始まるビデオをご覧ください。

ホールドアウト・データを使用してモデルを評価するには、以下の手順を実行します。

アクション メニューから、 今すぐ評価を選択してください。
インポート・オプションのリストから、 CSV ファイルからを選択してください。
プロジェクトからダウンロードした Golden Bank_HoldoutData.csv データ・ファイルをサイド・パネルにドラッグします。
「アップロードして評価」 をクリックし、評価が完了するまで待ちます。
評価が完了すると、実行されたテストの数、成功したテストの数、および失敗したテストの数が表示されます。スクロールして、 「公平性」、 「品質」、 「ドリフト」、および 「グローバル説明」の結果を確認します。

進行状況を確認してください

以下の図は、デプロイされたモデルの評価結果を示しています。これで、モデルを評価したので、モデルの品質を監視する準備ができました。

タスク 5: 品質のモデル・モニターの監視

チュートリアル・ビデオのプレビューこのタスクをプレビューするには、 06:36から始まるビデオをご覧ください。

Watson OpenScale 品質モニターは、モデルの品質を評価するための一連のメトリックを生成します。これらの品質メトリックを使用して、モデルの予測結果の精度を判別できます。ホールドアウト・データを使用する評価が完了したら、以下の手順に従ってモデルの品質または正確度を確認します。

「品質」 セクションで、 「構成」 アイコンをクリックします。ここでは、このモニターに対して構成されている品質しきい値が 70% であること、および使用されている品質の測定値が ROC 曲線の下の領域であることが分かります。
「X」 をクリックしてウィンドウを閉じ、モデルの評価画面に戻ります。
「品質」 セクションで、 「詳細」 アイコンをクリックして、モデル品質の詳細結果を表示します。ここには、いくつかの品質メトリック計算と、正しいモデル決定と誤検出および検出漏れを示す混同行列が表示されます。 ROC 曲線の下の計算領域は 0.9 以上であり、これは 0.7 しきい値を超えているため、モデルは品質要件を満たしています。
「要約に戻る」 をクリックして、モデルの詳細画面に戻ります。

進行状況を確認してください

以下の画像は、 Watson OpenScaleの品質の詳細を示しています。モデルの品質を確認したので、モデルの公平性を確認できます。

タスク 6: 公平性についてのモデル・モニターの監視

チュートリアル・ビデオのプレビューこのタスクをプレビューするには、 07:20から始まるビデオをご覧ください。

Watson OpenScale 公平性モニターは、モデルの公平性を評価するための一連の指標を生成します。公平性メトリックを使用して、モデルがバイアスのある結果を生成するかどうかを判別できます。モデルの公平性を確認するには、以下の手順を実行します。

「公平性」 セクションで、 「構成」 アイコンをクリックします。ここでは、性別に関係なく応募者が公平に扱われていることを確認するために、モデルがレビューされていることがわかります。女性は、公平性が測定されているモニター対象グループとして識別され、公平性のしきい値は少なくとも 80% になります。公平性モニターは、公平性を判別するために異なる影響方式を使用します。差別的影響は、モニター対象グループの好ましい結果の割合を、参照グループの好ましい結果の割合と比較します。
「X」 をクリックしてウィンドウを閉じ、モデルの評価画面に戻ります。
「公平性」 セクションで、 「詳細」 アイコンをクリックして、モデルの公平性の詳細結果を表示します。ここでは、自動的に承認される男性および女性の応募者の割合と、100% を超える公平性スコアが表示されます。そのため、モデルのパフォーマンスは、必要な公平性しきい値の 80% をはるかに超えています。
識別されたデータ・セットをメモします。公平性指標が最も正確であることを確実にするために、 Watson OpenScale は摂動を使用して、保護された属性と関連するモデル入力のみが変更され、他の特徴量は変更されていない結果を判別します。摂動により、特徴量の値が参照グループからモニター対象グループに (またはその逆に) 変更されます。これらの追加のガードレールは、「平衡型」データ・セットが使用されている場合に公平性を計算するために使用されますが、ペイロードまたはモデルのトレーニング・データのみを使用して公平性の結果を表示することもできます。モデルは公正に動作しているため、このメトリックの詳細を追加する必要はありません。
「要約に戻る」 をクリックして、モデルの詳細画面に戻ります。

進行状況を確認してください

以下の画像は、 Watson OpenScaleでの公平性の詳細を示しています。これで、モデルの公平性が確認されたので、モデルの説明可能性を確認できます。

タスク 7: ドリフトのモデル・モニターの監視

チュートリアル・ビデオのプレビューこのタスクをプレビューするには、 08:25から始まるビデオをご覧ください。

Watson OpenScale ドリフト・モニターは、時間の経過に伴うデータの変化を測定して、モデルの一貫性のある結果を確保します。ドリフト評価を使用して、モデル出力の変化、予測の精度、および入力データの分布を特定します。モデルのドリフトを監視するには、以下の手順を実行します。

「ドリフト」 セクションで、 「構成」 アイコンをクリックします。ここにドリフトしきい値が表示されます。出力ドリフトは、モデルの確信度分布の変化を測定します。モデル品質ドリフトは、推定実行時間の正確度をトレーニングの正確度と比較することで、正確度の低下を測定します。特徴量ドリフトは、重要な特徴量の値分布の変化を測定します。構成には、選択されたフィーチャーの数と最も重要なフィーチャーも表示されます。
「X」 をクリックしてウィンドウを閉じ、モデルの評価画面に戻ります。
「ドリフト」 セクションで、 「詳細」 アイコンをクリックして、モデル・ドリフトの詳細結果を表示します。時系列グラフを使用して、各評価指標スコアの経時変化の履歴を表示できます。値を小さくする方が良いため、この場合、結果は構成で設定されている上限しきい値を超えます。次に、スコアの出力と特徴量のドリフトの計算方法に関する詳細を表示します。また、各特徴量の詳細を表示して、 Watson OpenScale が生成するスコアにそれらの特徴量がどのように寄与するかを理解することもできます。
「要約に戻る」 をクリックして、モデルの詳細画面に戻ります。

進行状況を確認してください

以下の画像は、 Watson OpenScaleのドリフトの詳細を示しています。モデルのドリフトを確認したので、モデルの説明可能性を確認できます。

タスク 8: 説明可能性についてモデル・モニターを監視する

チュートリアル・ビデオのプレビューこのタスクをプレビューするには、 09:10から始まるビデオをご覧ください。

また、モデルがどのように決定されたかを理解することも重要です。この理解は、ローン承認に関係する人に意思決定を説明し、その意思決定が有効であることをモデル所有者に保証するために必要です。これらの決定を理解するには、以下のステップに従って、モデルの説明可能性を確認します。

「トランザクション」 タブをクリックします。
グラフで時間フレームを選択すると、その期間中のトランザクションのリストが表示されます。
任意のトランザクションについて、 アクション 列の下の説明をクリックしてください。ここに、この決定の詳細な説明が表示されます。モデルへの最も重要な入力と、最終結果に対する各入力の重要度が表示されます。青い棒はモデルの決定をサポートする傾向のある入力を表し、赤い棒は別の決定につながった可能性のある入力を示します。例えば、申請者が承認されるのに十分な収入を持っているが、それらの申請者の信用履歴と高い負債が一緒になって、申請を拒否するモデルが作成されているとします。この説明を検討して、モデルの決定の基礎について満足するようにしてください。
オプション: モデルの決定方法をさらに詳しく調べる場合は、 「検査」 タブをクリックします。 「検査」 機能を使用して、少数の入力に対する小さな変更によって異なる決定が行われる可能性がある感度の領域を判別するために意思決定を分析します。また、実際の入力の一部を代替値でオーバーライドして、それらが結果に影響するかどうかを確認することで感度をテストできます。 「分析の実行」 をクリックして、別の結果を提出するために必要な最小限の変更が Watson OpenScale によって明らかにされるようにします。 「制御可能な特徴量のみを分析」 を選択して、制御可能な特徴量のみに変更を制限します。

進行状況を確認してください

以下の画像は、 Watson OpenScaleでのトランザクションの説明性を示しています。モデルが正確で、すべての応募者を公平に扱っていると判断しました。これで、モデルをそのライフサイクルの次のフェーズに進めることができます。

次のステップ

以下の追加チュートリアルをお試しください。

その他のリソース

その他のビデオを見る
watsonxの概要
リソース・ハブでサンプル・データ・セット、プロジェクト、モデル、プロンプト、およびノートブックを検索して、実地体験を得ることができます。

データの分析およびモデルの作成を開始するためにプロジェクトに追加できるノートブック。

プロジェクトノートブック、データ・セット、プロンプト、およびその他の資産を含むものをインポートできます。

データ・セット。これをプロジェクトに追加して、モデルの洗練、分析、およびビルドを行うことができます。

プロンプト。プロンプト・ラボで基盤モデルのプロンプトを出すために使用できます。

プロンプト・ラボで使用できる基盤モデル。

親トピック: クイック・スタート・チュートリアル