MLOps と Trustworthy AI チュートリアル: モデルのテストと検証

このチュートリアルでは、データ・ファブリック試用版の MLOps および Trustworthy AI ユース・ケースを使用して、デプロイされたモデルを評価およびモニターします。 目的は、 Watson OpenScale を使用して、どの応募者が住宅ローンの資格を満たすかを予測するデプロイ済みモデルのモニターを評価および構成することです。 モデルが正確であること、およびすべての応募者を公平に扱うことを確認する必要があります。

このチュートリアルのストーリーは、ゴールデン・バンクがオンライン・アプリケーションに低金利のモーゲージ更新を提供することでビジネスを拡大しようとしているというものです。オンライン・アプリケーションは、銀行の顧客範囲を拡大し、銀行のアプリケーション処理コストを削減します。 ゴールデン・バンクのデータ・サイエンティストは、予期しないリスクを回避し、すべての応募者を公平に扱う住宅ローン承認モデルを作成する必要があります。 Jupyter ノートブックを実行して、機械学習モデルのモニターをセットアップします。これにより、効果的かつ意図したとおりに動作することを確信して、モニターを実動使用にデプロイすることができます。 これは、データの信頼性、モデルの信頼性、AI の運用に必要なプロセスの信頼性を確実に提供する Cloud Pak for Data サービスを通じて実現されます。

以下のステップに従って、 Watson OpenScale を使用して実動前環境で機械学習モデルをモニターおよびテストする方法を学習します。ここでは、モデルの公平性を評価し、モデルのパフォーマンスの説明を生成し、またモデルに実動デプロイメントの承認済みのマークを付けます。

このチュートリアルでは、以下を行います。

  1. ノートブックを実行して、モニターをセットアップします。
  2. モデルの評価
  3. モデル・モニターの品質を監視します。
  4. 公平性についてモデル・モニターを監視します。
  5. 説明可能性についてモデル・モニターを監視します。
  6. モデルを実動前にプロモートし、モデルを承認する

このチュートリアルでヘルプが必要な場合は、 Cloud Pak for Data コミュニティー・ディスカッション・フォーラムで質問するか、または回答を見つけてください。

ヒント: このチュートリアルを完了するのに最適な方法として、1 つのブラウザー・タブで Cloud Pak for Data as a Service を開き、このチュートリアル・ページを別のブラウザー・タブで開いたままにして、2 つのアプリケーションを簡単に切り替えることができます。

チュートリアルをプレビューする

ビデオを見る このチュートリアルのステップをプレビューするには、このビデオをご覧ください。

このビデオでは、本書に記載されている手順に従う代わりの方法として、視覚方式を提供します。

前提条件

Cloud Pak for Data as a Service に登録し、Multicloud Data Integration ユース・ケースに必要なサービスをプロビジョンする必要があります。

Cloud Pak for Data as a Service には、以下のいずれかの方法で登録できます:

機械学習モデルを作成とデプロイする

ビデオを見る このタスクをプレビューするには、 00:47から始まるビデオをご覧ください。

このチュートリアルで使用する機械学習モデルを作成、プロモート、およびデプロイするには、 モデルのビルドとデプロイ チュートリアルを完了します。

必要なサービスのプロビジョン

以下のステップに従って、必要なサービスを検証またはプロビジョンします。

  1. Cloud Pak for Data ナビゲーション・メニューから、 「サービス」>「サービス・インスタンス」を選択してください。
  2. 製品 ドロップダウン・ボックスを使用して、既存の Watson OpenScale サービス・インスタンスがあるかどうかを判別します。
  3. Watson OpenScale サービス・インスタンスを作成する必要がある場合は、 サービスの追加をクリックしてください。
  4. Watson OpenScaleを選択してください。
  5. 「ライト」プランを選択します。
  6. 「作成」をクリックします。
  7. これらのステップを繰り返して、以下の追加サービスを確認またはプロビジョニングします:
    • Watson Studio
    • Watson Machine Learning
    • Watson Knowledge Catalog
    • Cloud Object Storage

ステップ 1: ノートブックを実行してモニターをセットアップする

ビデオを見る このタスクをプレビューするには、 01:14から始まるビデオをご覧ください。

サンプル・プロジェクトに含まれているノートブックを実行するには、以下のステップを実行します。 このノートブックは、ユーザー・インターフェースを使用して構成することもできる、モデルのモニターをセットアップします。 ただし、ノートブックを使用してセットアップするほうが、手っ取り早く、ミスも少ないです。

  1. Cloud Pak for Data ナビゲーション・メニューから、 「プロジェクト」>「すべてのプロジェクトの表示」を選択してください。
  2. MLOps と Trustworthy AI プロジェクトを開きます。
  3. 資産 タブで、 「ソース・コード」> 「ノートブック」をクリックしてください。
  4. 2-monitor-wml-model-with-watson-openscale ノートブックを開きます。
  5. ノートブックが読み取り専用モードであるため、 鉛筆 アイコンをクリックして、ノートブックを編集モードにします。
  6. ノートブックの上部にある指示に従って、プロジェクト・トークンをインポートします。
    1. その他 メニューから、 プロジェクト・トークンの挿入を選択してください。 これにより、プロジェクト・トークンを含む新しいセルがノートブックの上部に挿入されます。
  7. IBM Cloud API キーの挿入 セクションで、 ibmcloud_api_key フィールドに API キーを貼り付けます。
  8. ノートブックのすべてのセルを実行するには、 「セル」> 「すべて実行」をクリックしてください。 あるいは、各セルとその出力を探索する場合は、セルごとにノートブックを実行することもできます。
  9. ノートブックが完了するまでに 1 分から 3 分かかります。 各セルの進行状況をモニターするには、アスタリスク「In [*]」を数値に変更することをご注意ください。例えば、「In [1]」。
  10. ノートブックの実行中にエラーが発生した場合は、 Kernel > Restart & Clear Output をクリックしてカーネルを再始動してから、ノートブックを再実行します。

ステップ 2: モデルを評価する

ビデオを見る このタスクをプレビューするには、 02:58から始まるビデオをご覧ください。

以下のステップに従ってホールドアウト・データをダウンロードし、そのデータを使用して Watson OpenScaleでモデルを評価します。

  1. パンくずリストで MLOps とTrustworthy AI プロジェクトをクリックしてください。
  2. 資産 タブで、 「データ」>「データ資産」をクリックしtください。
  3. GoldenBank_HoldoutData.csv データ資産の オーバーフロー メニューから、 ダウンロードを選択してください。 モデルが必要に応じて機能していることを検証するには、モデルのトレーニングから除外された一連のラベル付きデータが必要になります。 この CSV ファイルには、そのホールドアウト・データが含まれています。
  4. Watson OpenScaleを起動するには、 Cloud Pak for Data ナビゲーション・メニューから 「サービス」>「サービス・インスタンス」を選択してください。
  5. 製品 ドロップダウン・ボックスを使用して、既存の Watson OpenScale サービス・インスタンスを閲覧します。
  6. Watson OpenScale インスタンスを開きます。 プロンプトが出されたら、 Cloud Pak for Dataへの登録に使用した資格情報と同じ資格情報を使用してログインします。
  7. Watson OpenScale サービス・インスタンス・ページで、 アプリケーションの起動をクリックしてください。
  8. 洞察ダッシュボードで、 Mortgage Approval Model Deployment タイルをクリックしてください。
  9. アクション メニューから、 今すぐ評価を選択してください。
  10. インポート・オプションのリストから、 CSV ファイルからを選択してください。
  11. プロジェクトからダウンロードした Golden Bank_HoldoutData.csv データ・ファイルをサイド・パネルにドラッグします。
  12. アップロードして評価をクリックしてください。

ステップ 3: モデル・モニターの品質を監視する

ビデオを見る このタスクをプレビューするには、 04:00から始まるビデオをご覧ください。

ホールドアウト・データを使用した評価が完了したら、以下のステップに従ってモデルの品質または正確度を監視します。

  1. 左側のナビゲーション・パネルで、 洞察ダッシュボード アイコンをクリックしてください。
  2. Mortgage Approval Model Deployment タイルを見つけます。 0 個の問題があり、品質テストと公平性テストの両方に合格していることに注意してください。これは、モデルがそのモデルに必要なしきい値を満たしていることを意味します。
  3. 詳細をさらに表示するには、 Mortgage Approval Model Deployment タイルをクリックしてください。
  4. 品質 セクションで、 構成 構成 アイコンをクリックしてください。ここでは、このモニターに対して構成されている品質しきい値が 70% であり、使用されている品質の測定値が ROC 曲線の下の領域であることが分かります。
  5. モデルの詳細画面に戻るには、 モデルのまとめに移動をクリックしてください。
  6. モデル品質の詳細結果を表示するには、 品質 セクションで、右矢印 右矢印 アイコンをクリックしてください。ここには、いくつかの品質メトリックの計算と、正しいモデルの決定、フォールス・ポジティブ、およびフォールス・ネガティブを示すコンフュージョン・マトリックスが表示されます。ROC 曲線の下で計算されたエリアが 0.9 以上で、0.7 しきい値を大きく上回っているため、モデルは品質要件を満たしています。
  7. モデルの詳細画面に戻るには、 Mortgage Approval Model Deployment パンくずリストをクリックしてください。

ステップ 4: 公平性についてモデル・モニターを監視する

ビデオを見る このタスクをプレビューするには、 05:19から始まるビデオをご覧ください。

モデルの公平性を監視するには、以下の手順を実行します。

  1. 公平性 セクションで、 構成 構成 アイコンをクリックしてください。 ここでは、性別に関係なく応募者が公平に扱われていることを確認するために、モデルがレビューされていることがわかります。女性は、公平性が測定されているモニター対象グループとして識別され、公平性のしきい値は少なくとも 80% になります。公平性モニターは、公平性を判別するために異なる影響方式を使用します。
  2. モデルの詳細画面に戻るには、 モデルのまとめに移動をクリックしてください。
  3. モデルの公平性の詳細結果を表示するには、 公平性 セクションで、右矢印 右矢印 アイコンをクリックしてください。 ここには、自動的に承認される男性と女性の応募者の割合と、100% を超える公平性スコアが表示されます。そのため、モデルは、必要な 80% の公平性しきい値をはるかに超えて実行されています。
  4. 画面の最上部に示されているデータ・セットに注意してください。公平性指標ができるだけ正確になるように、実際のモデル予測に加えて、 Watson OpenScale は摂動を使用して、保護属性と関連モデル入力のみが変更され、その他の特徴量が同じままである結果を判別します。これらの追加のガードレールは、「平衡型」データ・セットが使用されている場合に公平性を計算するために使用されますが、ペイロードまたはモデルのトレーニング・データのみを使用して公平性の結果を表示することもできます。モデルは公正に動作しているため、このメトリックの詳細を追加する必要はありません。
  5. モデルの詳細画面に戻るには、 Mortgage Approval Model Deployment パンくずリストをクリックしてください。

ステップ 5: 説明可能性についてモデル・モニターを監視する

ビデオを見る このタスクをプレビューするには、 07:00から始まるビデオをご覧ください。

また、モデルがどのように決定されたかを理解することも重要です。 これは、ローン承認の関係者に意思決定を説明するため、およびモデル所有者が意思決定が有効であることを確認するために必要です。 これらの決定を理解するには、以下のステップに従ってモデルの説明性を監視します。

  1. 左側のナビゲーション・パネルで、 トランザクションの説明 アイコンをクリックしてください。
  2. そのデプロイ済みモデルのトランザクションのリストを表示するには、 Mortgage Approval Model Deployment を選択してください。
  3. 任意のトランザクションについて、 アクション 列の下の 説明 をクリックしてください。 ここに、この決定の詳細な説明が表示されます。モデルへの最も重要な入力と、最終結果に対する各入力の重要度が表示されます。青色のバーは、モデルの意思決定をサポートする傾向があった入力を表し、紫色のバーは、別の意思決定につながる可能性がある入力を表します。例えば、申請者は、承認されなければならないほど十分な収入を持つことができますが、それらの信用履歴と債務の高さの合計により、モデルは申請を拒否します。この説明を検討して、モデルの決定の基礎について満足するようにしてください。
  4. (オプション) モデルの決定方法をさらに詳しく調べる場合は、 検査 タブをクリックしてください。 ここでは、決定を分析して、いくつかの入力に対する小さな変更によって別の決定が行われる感度の領域を見つけることができます。また、いくつかの実際の入力を代替入力でオーバーライドして、それらが結果に影響するかどうかを確認することで、感度を自分でテストすることができます。

ステップ 6: モデルを実動前にプロモートし、モデルを承認する

ビデオを見る このタスクをプレビューするには、 08:38から始まるビデオをご覧ください。

以下のステップに従って、モデル・インベントリー内のモデル・エントリーのステータスを変更し、モデルを承認します。

  1. Cloud Pak for Data ナビゲーション・メニューから、 「カタログ」>「モデル・インベントリー」を選択してください。
  2. Mortgage Approval Model Entryの場合は、 詳細の表示をクリックしてください。
  3. 資産 タブをクリックしてください。 モデル・トラッキングの下に、モデルが 検証 ステージになっていることが表示されます。
  4. モデル・エントリーの状況の横にある 鉛筆 アイコンをクリックし、 実動前へのプロモートを選択して、 更新をクリックしてください。
  5. Watson OpenScale 洞察ダッシュボードに戻ります。
  6. Mortgage Approval Model Deployment タイルクリックしてください。
  7. アクション メニューから、 実動の承認を選択してから、 承認をクリックしてください。 これにより、指定された実動スペースにモデルをデプロイできるようになったことが AI 運用チームに伝わります。

詳細情報

親トピック: データ・ファブリックのチュートリアル