クイックスタート機械学習モデルを評価する

このタスクをプレビューするには、00:06から始まるビデオを見てください。

このチュートリアルでは、機械学習モデルを含むサンプル・プロジェクトと、モニターを設定するためのノートブックを使用します。 以下の手順に従って、サンプルに基づいたプロジェクトを作成してください。

1. リソースハブの Evaluate an ML model sample project にアクセスします。

2. プロジェクトを作成をクリックします。

3. プロジェクトを Cloud Object Storage インスタンスに関連付けるように求められたら、リストから Cloud Object Storage インスタンスを選択してください。

4. 「作成」 をクリックします。

5. プロジェクトのインポートが完了するまで待ち、View new projectをクリックして、プロジェクトとアセットが正常に作成されたことを確認します。

6. アセットタブをクリックして、サンプルプロジェクトのアセットを表示します。

モデルを配置する前に、モデルを新しい配置スペースにプロモートする必要があります。 デプロイメントスペースでは、入力データや環境などのサポートリソースを整理したり、モデルや関数をデプロイして予測やソリューションを生成したり、デプロイの詳細を表示または編集したりすることができます。

サンプル・プロジェクトに含まれるノートブックを実行してください：

• モデルとデプロイメントを取得します。
• Watson OpenScale を設定します。
• 機械学習サービスのサービスプロバイダとサブスクリプションを作成します。
• 品質モニターを設定する。
• 公平性モニターを構成します。
• 説明性を構成します。

サンプル・プロジェクトに含まれているノートブックを実行するには、以下のステップを実行します。 このノートブックでは、お使いのモデルのモニターを設定し、ユーザーインターフェースからも設定できます。 ただし、ノートブックを使用してセットアップするほうが、手っ取り早く、ミスも少ないです。 各セルのコードを説明するノートのコメントに目を通してください。

1. ナビゲーションメニュー から、プロジェクト > すべてのプロジェクトを表示を選択します。

2. MLモデルを評価するプロジェクトを開きます。

3. 資産タブをクリックし、ノートブックに移動します。
   

4. monitor-wml-model-with-watson-openscaleノートブックを開きます。

5. ノートブックが読み取り専用モードになっているので、編集アイコンをクリックして、ノートブックを編集モードにします。

6. リソース・ハブからプロジェクトをインポートすると、このノートブックの最初のセルにプロジェクトのアクセストークンが表示されます。 このノートブックにプロジェクト・アクセストークンを含む最初のセルがない場合、トークンを生成するには、その他メニューからプロジェクト・トークンを挿入を選択します。 このアクションは、プロジェクト・トークンを含むノートブックの最初のセルとして新しいセルを挿入します。

7. Provide your IBM Cloud API key セクションでは、API キーを使用して Watson Machine Learning API に認証情報を渡す必要があります。 保存された API キーがまだない場合は、以下の手順に従って API キーを作成します。

   1. IBM Cloud コンソール API キーのページにアクセスします。

   2. 「IBM Cloud API キーの作成」をクリックします。 既存のAPIキーがある場合、ボタンは作成と表示されます。

   3. 名前および説明を入力します。

   4. 「作成」 をクリックします。

   5. API キーをコピーします 。

   6. 将来使用するために API キーをダウンロードします。

   7. ノートブックに戻り、APIキーをibmcloud_api_key フィールドに貼り付けます。

8. の中で 3. Model and Deployment セクションで、space_name、model_name、deployment_name変数に割り当てられた値を確認します。

9. Cell > Run All をクリックして、ノートブックのすべてのセルを実行します。 あるいは、各セルの横にある実行アイコンをクリックして、ノートブックをセルごとに実行し、各セルとその出力を調べます。

10. ノートは1～3分で完成する。 In [*]」というアスタリスクが、例えば「In [1]」のように数字に変わることで、セルごとに進行状況をモニターできる。

11. ノートブックの実行中にエラーが発生した場合は、以下のトラブルシューティングをお試しください：

    • Kernel > Restart & Clear Output をクリックしてカーネルを再起動し、ノートブックを再度実行します。

    • 既存の Watson OpenScale デプロイメントをすべて削除し、新しいサービスインスタンスをプロビジョニングします。

    • 指定されたアーティファクト名を先頭または末尾にスペースを入れずに正確にコ ピーして貼り付け、配置スペースと配置名を作成したことを確認します。

このタスクをプレビューするには、03:35から始まるビデオを見てください。

以下の手順に従ってホールドアウト・データをダウンロードし、そのデータを使って Watson OpenScale でモデルを評価します：

1. ナビゲーション・トレイルでMLモデルを評価するプロジェクトをクリックします。

   

2. 資産タブで、データ > データ資産をクリックする。

3. GoldenBank_HoldoutData.csv データ資産の Overflow メニュー をクリックし、Download を選択します。 モデルが要求通りに動作していることを検証するには、モデルのトレーニングから取り出したラベル付きデータセットが必要である。 この CSV ファイルには、そのホールドアウト・データが含まれています。

4. Watson OpenScale を起動します。

   1. ナビゲーションメニュー から、サービス >サービスインスタンスを選択します。

   2. Watson OpenScale インスタンスをクリックして、サービス・インスタンス・ページを開きます。 プロンプトが表示されたら、Cloud Pak for Data のサインアップに使用したのと同じ認証情報を使用してログインします。

      注:インスタンスの名前は、`watsonx.governance-xx` のように異なるかもしれません。

   3. Watson OpenScale サービス・インスタンス・ページで、Launch Watson OpenScale.
      をクリックします

5. 洞察ダッシュボードで、 Mortgage Approval Model Deployment タイルをクリックしてください。

6. アクション メニューから、 今すぐ評価を選択してください。

7. インポート・オプションのリストから、 CSV ファイルからを選択してください。

8. プロジェクトからダウンロードした Golden Bank_HoldoutData.csv データ・ファイルをサイド・パネルにドラッグします。

9. アップロードして評価するをクリックし、評価が完了するまで待ちます。

このタスクをプレビューするには、04:40から始まるビデオをご覧ください。

Watson OpenScale 品質モニターは、モデルの品質を評価するための一連のメトリクスを生成します。 これらの品質メトリックを使用して、モデルの予測結果の精度を判別できます。 ホールドアウトデータを使用した評価が完了したら、以下の手順に従ってモデルの品質または精度を観察する：

1. 品質セクションで、設定アイコンをクリックします。 ここでは、このモニターに設定されている品質しきい値は70％であり、ROC曲線下の面積が品質測定に使用されていることがわかる。

2. Go to model summaryをクリックして、モデルの詳細画面に戻ります。

3. 品質セクションで、詳細アイコンをクリックすると、モデルの品質の詳細結果が表示されます。 ここでは、多くの品質指標の計算と、正しいモデルの判断と偽陽性・偽陰性を示す混同行列を見ることができる。 計算されたROC曲線下面積は0.9以上であり、0.7のしきい値を超えているので、モデルは品質要件を満たしている。

4. ナビゲーショントレイルの住宅ローン承認モデルの展開をクリックして、モデルの詳細画面に戻ります。

このタスクをプレビューするには、05:41から始まるビデオを見てください。

Watson OpenScale フェアネス・モニターは、モデルのフェアネスを評価するための一連のメトリクスを生成します。 公平性メトリックを使用して、モデルがバイアスのある結果を生成するかどうかを判別できます。 以下の手順に従って、モデルの公平性を観察してください：

1. 公平性セクションで、設定アイコンをクリックします。 ここでは、性別に関係なく応募者が公平に扱われていることを確認するために、モデルがレビューされていることがわかります。 女性は、公平性が測定されているモニター対象グループとして識別され、公平性のしきい値は少なくとも 80% になります。 公平性モニターは、公平性を判別するために異なる影響方式を使用します。 差別的影響は、モニター対象グループの好ましい結果の割合を、参照グループの好ましい結果の割合と比較します。

2. Go to model summaryをクリックして、モデルの詳細画面に戻ります。

3. 公平性セクションで、詳細アイコンをクリックすると、モデルの公平性の詳細結果が表示されます。 ここでは、自動的に承認される男女の申請者の割合と、100％を超える公平性スコアが示されている。

4. 特定されたデータセットに注意。 公平性の測定基準が最も正確であることを保証するために、Watson OpenScale は摂動を使用し、保護された属性と関連するモデル入力のみが変更され、他の機能は変更されない結果を決定します。 摂動により、特徴量の値が参照グループからモニター対象グループに (またはその逆に) 変更されます。 これらの追加のガードレールは、「平衡型」データ・セットが使用されている場合に公平性を計算するために使用されますが、ペイロードまたはモデルのトレーニング・データのみを使用して公平性の結果を表示することもできます。 モデルは公正に動作しているため、このメトリックの詳細を追加する必要はありません。

   

5. Mortgage Approval Model Deployment ナビゲーショントレイルをクリックして、モデルの詳細画面に戻ります。

このタスクをプレビューするには、07:25から始まるビデオを見てください。

Watson OpenScale ドリフトモニターは、データの経時変化を測定し、モデルの一貫した結果を保証します。 ドリフト評価を使用して、モデルの出力、予測の精度、入力データの分布の変化を確認します。 以下の手順に従って、モデルのドリフトを観察してください：

1. Driftセクションで、Configureアイコンをクリックします。 ここにドリフトのしきい値がある。 出力ドリフトは、モデルの信頼度分布の変化を測定する。 モデルの品質ドリフトは、推定された実行時精度とトレーニング精度を比較することで、精度の低下を測定する。 特徴ドリフトは、重要な特徴の値分布の変化を測定する。 設定には、選択された機能の数と最も重要な機能も表示されます。

2. Go to model summaryをクリックして、モデルの詳細画面に戻ります。

3. ドリフトセクションで、詳細アイコンをクリックすると、モデルのドリフト詳細結果が表示されます。 時系列チャートで、各メトリックスコアの経年変化の履歴を見ることができます。 数値は低い方が良いので、この場合、結果はコンフィギュレーションで設定されている上限しきい値を超えている。 次に、スコア出力と特徴ドリフトの計算方法の詳細を表示します。 また、各機能の詳細を表示して、Watson OpenScale が生成するスコアにどのように貢献しているかを理解することもできます。

4. Mortgage Approval Model Deployment ナビゲーショントレイルをクリックして、モデルの詳細画面に戻ります。

このタスクをプレビューするには、08:46から始まるビデオを見てください。

また、モデルがどのようにしてその決定に至ったかを理解することも重要である。 この理解は、ローン承認に関わる人々に決定を説明するためにも、モデル・オーナーに決定が有効であることを保証するためにも必要である。 これらの決定を理解するために、以下の手順に従ってモデルの説明可能性を観察する：

1. 左のナビゲーションパネルで、トランザクションの説明アイコンをクリックします。

2. 住宅ローン承認モデルの展開を選択すると、トランザクションの一覧が表示されます。

3. 任意のトランザクションについて、 アクション 列の下の 説明 をクリックしてください。 ここに、この決定の詳細な説明が表示されます。 モデルへの最も重要な入力と、最終結果に対する各入力の重要度が表示されます。 青い棒はモデルの決定を支持する傾向のあるインプットを表し、赤い棒は別の決定につながったかもしれないインプットを表す。 たとえば、ある申込者は十分な収入があって審査に通るかもしれないが、クレジットヒストリーが乏しく、負債が多いために審査に通らないというケースだ。 この説明を検討して、モデルの決定の基礎について満足するようにしてください。

4. (オプション) モデルがどのように決定したかをさらに掘り下げたい場合は、Inspectタブをクリックします。 インスペクト 機能を使用して決定を分析し、いくつかの入力を少し変更しただけで異なる決定になるような感度の領域を見つけます。