0 / 0
資料の 英語版 に戻る
AI ガバナンス・チュートリアル: モデルのテストおよび検証

AI ガバナンス・チュートリアル: モデルのテストおよび検証

このチュートリアルでは、AI ガバナンスのユース・ケースを使用して、 モデルの作成およびデプロイのチュートリアル で作成およびデプロイされたモデルを評価およびモニターします。 目標は、 Watson OpenScale を使用して、住宅ローンの対象となる申込者を予測するデプロイ済みモデルのモニターを構成および評価することです。 モデルが正確であり、すべての応募者を公平に扱っていることを確認する必要があります。

このチュートリアルのストーリーは、ゴールデン・バンクがオンライン・アプリケーションに低金利のモーゲージ更新を提供することでビジネスを拡大しようとしているというものです。オンライン・アプリケーションは、銀行の顧客範囲を拡大し、銀行のアプリケーション処理コストを削減します。 ゴールデン・バンクのデータ・サイエンティストは、予期しないリスクを回避し、すべての応募者を公平に扱う住宅ローン承認モデルを作成する必要があります。 Jupyter ノートブックを実行して機械学習モデルのモニターをセットアップし、意図したとおりに効果的に動作することを確信して実動使用にデプロイできるようにします。 このタスクは、 Cloud Pak for Data サービスを介して実行されます。これらのサービスが連携して、データの信頼性、モデルの信頼性、および AI を確実に運用するために必要なプロセスの信頼性を提供します。

以下のアニメーション・イメージは、チュートリアルの終わりまでに達成する内容のクイック・プレビューを提供します。 イメージをクリックすると、より大きなイメージが表示されます。

アニメーション化されたイメージ

チュートリアルをプレビューする

このチュートリアルでは、以下のタスクを実行します:

ビデオを見る このチュートリアルのステップをプレビューするには、このビデオをご覧ください。

このビデオは、本書の概念とタスクを学習するためのビジュアル・メソッドを提供します。




  • ビデオ・ピクチャー・イン・ピクチャーの使用

    ヒント: ビデオを開始してから、チュートリアルをスクロールすると、ビデオはピクチャー・イン・ピクチャー・モードに移行します。 ピクチャー・イン・ピクチャーで最良のエクスペリエンスを得るには、ビデオの目次を閉じます。 ピクチャー・イン・ピクチャー・モードを使用して、このチュートリアルのタスクを完了する際にビデオをフォローすることができます。 後続の各タスクのタイム・スタンプをクリックします。

    以下のアニメーション・イメージは、ビデオ・ピクチャー・イン・ピクチャーおよび目次機能の使用方法を示しています。

    ピクト・イン・ピクチャーおよび章の使用法

    コミュニティーでのヘルプの利用

    このチュートリアルでヘルプが必要な場合は、 Cloud Pak for Data コミュニティー・ディスカッション・フォーラムで質問したり、回答を見つけたりすることができます。

    ブラウザー・ウィンドウのセットアップ

    このチュートリアルを最適に実行するには、1 つのブラウザー・ウィンドウで Cloud Pak for Data を開き、このチュートリアル・ページを別のブラウザー・ウィンドウで開いたままにして、2 つのアプリケーションを簡単に切り替えることができます。 2 つのブラウザー・ウィンドウを横並びに配置して、見やすくすることを検討してください。

    横並びのチュートリアルと UI

    ヒント: ユーザー・インターフェースでこのチュートリアルを実行しているときにガイド・ツアーが表示された場合は、 「後で行うこともあります」をクリックします。

    上に戻る

  • モデルのビルドとデプロイ のチュートリアルを完了します。

    プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 00:47から始まるビデオをご覧ください。

    モデルのビルドとデプロイ のチュートリアルを完了して、このチュートリアルで使用する機械学習モデルを作成、プロモート、およびデプロイします。

    サービスのプロビジョン

    プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 01:14から始まるビデオをご覧ください。

    重要: Watson OpenScale は、ダラスとフランクフルトのリージョンでのみ使用可能です。 「モデルのビルドとデプロイ」チュートリアルを完了したら、ダラス・リージョンを使用する必要があります。 必要に応じて、続行する前にダラス地域に切り替えてください。

    モデルの構築とデプロイのチュートリアルを完了するために必要なサービスに加えて、 Watson OpenScale サービスもプロビジョンされている必要があります。 必要なサービスを検証またはプロビジョンするには、以下の手順を実行します。

    1. Cloud Pak for Dataで、ダラス・リージョンにいることを確認します。 そうでない場合は、地域ドロップダウンをクリックして、 「ダラス」を選択します。
      リージョンの変更

    2. Cloud Pak for Data のナビゲーション・メニュー ナビゲーション・メニューから、 「サービス」>「サービス・インスタンス」を選択します。

    3. サービスのリストを表示して、 watsonx.governance サービス・インスタンスが存在するかどうかを判別します。

    4. watsonx.governance サービス・インスタンスを作成する必要がある場合は、 「サービスの追加」をクリックします。

    5. watsonx.governanceを選択します。

      1. 地域として 「ダラス」を選択します。

      2. 「ライト」 プランを選択します。

      3. 「作成」 をクリックします。

    6. モデルのビルドおよびデプロイのチュートリアルには、以下の追加サービスが必要でした。

      • Watson Studio
      • Watson Machine Learning
      • IBM Knowledge Catalog
      • Cloud Object Storage

    チェックポイント・アイコン 進行状況を確認してください

    以下のイメージは、プロビジョンされたサービス・インスタンスを示しています。 これで、このチュートリアルを開始する準備ができました。

    プロビジョンされたサービス


    上に戻る

  • プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 01:55から始まるビデオをご覧ください。


    サンプル・プロジェクトに含まれている 2 番目のノートブックを実行して、以下を行います。

    • モデルとデプロイメントを取り出します。
    • Watson OpenScaleを構成します。
    • 機械学習サービスのサービス・プロバイダーとサブスクリプションを作成します。
    • 品質モニターを構成します。
    • 公平性モニターを構成します。
    • 説明性を構成します。

    サンプル・プロジェクトに含まれているノートブックを実行するには、以下のステップを実行します。 このノートブックは、モデルのモニターをセットアップします。これは、ユーザー・インターフェースを使用して構成することもできます。 ただし、ノートブックを使用してセットアップするほうが、手っ取り早く、ミスも少ないです。 しばらく時間をかけて、各セルのコードを説明するノートブックのコメントを読みます。

    1. Cloud Pak for Data のナビゲーション・メニュー ナビゲーション・メニューから、 「プロジェクト」>「すべてのプロジェクトを表示」を選択します。

    2. 「AI ガバナンス」 プロジェクトを開きます。

      注: このユース・ケースに含まれているチュートリアルを示すガイド・ツアーが表示される場合があります。 ガイド・ツアーのリンクから、これらのチュートリアルの説明が開きます。
    3. 「アセット」 タブをクリックして、 「ノートブック」にナビゲートします。
      左ナビゲーション

    4. 2-monitor-wml-model-with-watson-openscale ノートブックを開きます。

    5. ノートブックは読み取り専用モードであるため、 「編集」 編集アイコン アイコンをクリックしてノートブックを編集モードにします。

    6. リソース・ハブからプロジェクトをインポートした場合、このノートブックの最初のセルには、プロジェクト・アクセス・トークンが含まれています。 このノートブックにプロジェクト・アクセス・トークンを持つ最初のセルが含まれていない場合、トークンを生成するには、 「詳細」 メニューから 「プロジェクト・トークンの挿入」を選択します。 このアクションにより、プロジェクト・トークンを含むノートブックの最初のセルとして新しいセルが挿入されます。

    7. 「 IBM Cloud API キーの挿入」 セクションで、 ibmcloud_api_key フィールドに API キーを貼り付けます。

    8. ノートブックのすべてのセルを実行するには、 「セル」>「すべて実行」 をクリックします。 あるいは、各セルとその出力を探索する場合は、セルごとにノートブック・セルを実行できます。

    9. ノートブックが完了するまでに 1 分から 3 分かかります。 進行状況セルをモニターするには、アスタリスク「In [*]」を数値 (例えば、「In [1]」) に変更することにより、進行状況セルを表示します。

    10. ノートブックの実行中にエラーが発生した場合は、以下のトラブルシューティングのヒントを試してください。

      • 「カーネル」>「再始動」&「出力のクリア」 をクリックしてカーネルを再始動してから、ノートブックを再実行します。

      • 既存の Watson OpenScale デプロイメントを削除し、新規サービス・インスタンスを プロビジョン します。

      • 「モデルのビルドおよびデプロイのチュートリアル」 でモデル・ユース・ケース、デプロイメント・スペース、およびデプロイメント名を作成したことを確認します。そのためには、指定した成果物の名前を、先行スペースも末尾スペースも付けずに正確にコピー・アンド・ペーストします。

    チェックポイント・アイコン 進行状況を確認してください

    以下のイメージは、実行が完了したときのノートブックを示しています。 ノートブックによってモデルのモニターがセットアップされるため、 Watson OpenScaleでデプロイメントを表示できるようになりました。

    完了したノートブックの実行


    上に戻る


  • プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 03:40から始まるビデオをご覧ください。

    以下の手順に従ってホールドアウト・データをダウンロードし、そのデータを使用して Watson OpenScaleでモデルを評価します。

    1. ナビゲーション・トレールで 「AI ガバナンス」 プロジェクトをクリックします。
      ナビゲーション・トレール

    2. 「アセット」 タブで、 「データ」>「データ・アセット」をクリックします。

    3. GoldenBank_HoldoutData.csv データ資産の オーバーフロー・メニュー 「オーバーフロー」 メニューをクリックし、 「ダウンロード」を選択します。 モデルが必要に応じて機能していることを検証するには、モデルのトレーニングから除外された一連のラベル付きデータが必要です。 この CSV ファイルには、そのホールドアウト・データが含まれています。

    4. Watson OpenScale を起動します。 ナビゲーション・メニュー ナビゲーション・メニューから、 「サービス」>「サービス・インスタンス」を選択します。

    5. Watson OpenScale インスタンスを開きます。 プロンプトが出されたら、 Cloud Pak for Dataの登録に使用したのと同じ資格情報を使用してログインします。

    6. Watson OpenScale サービス・インスタンス・ページで、 アプリケーションの起動をクリックしてください。

    7. 洞察ダッシュボードで、 Mortgage Approval Model Deployment タイルをクリックしてください。

    8. アクション メニューから、 今すぐ評価を選択してください。

    9. インポート・オプションのリストから、 CSV ファイルからを選択してください。

    10. プロジェクトからダウンロードした Golden Bank_HoldoutData.csv データ・ファイルをサイド・パネルにドラッグします。

    11. アップロードして評価をクリックしてください。

    チェックポイント・アイコン 進行状況を確認してください

    以下の図は、 Watson OpenScaleでのデプロイされたモデルの評価結果を示しています。 これで、モデルを評価したので、モデルの品質を監視する準備ができました。

    評価モデル


    上に戻る


  • プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 04:44から始まるビデオをご覧ください。

    Watson OpenScale 品質モニターは、モデルの品質を評価するための一連のメトリックを生成します。 これらの品質メトリックを使用して、モデルの予測結果の精度を判別できます。 ホールドアウト・データを使用する評価が完了したら、以下の手順に従ってモデルの品質または正確度を確認します。

    1. 左側のナビゲーション・パネルで、 「洞察ダッシュボード (Insights dashboard)」 洞察ダッシュボード アイコンをクリックします。

    2. Mortgage Approval Model Deployment タイルを見つけます。 デプロイメントには問題がなく、 「品質」 テストと 「公平性」 テストの両方が合格したこと、つまりモデルが必要なしきい値を満たしていることに注意してください。

    3. 「Mortgage Approval Model Deployment」 タイルをクリックすると、詳細が表示されます。

    4. 「品質」 セクションで、 「構成」 構成 アイコンをクリックします。 ここでは、このモニターに対して構成されている品質しきい値が 70% であること、および使用されている品質の測定値が ROC 曲線の下の領域であることが分かります。

    5. 「モデル要約に移動」 をクリックして、モデルの詳細画面に戻ります。

    6. 「品質」 セクションで、右矢印 右矢印 アイコンをクリックして、モデル品質の詳細結果を表示します。 ここには、いくつかの品質メトリック計算と、正しいモデル決定と誤検出および検出漏れを示す混同行列が表示されます。 ROC 曲線の下の計算領域は 0.9 以上であり、これは 0.7 しきい値を超えているため、モデルは品質要件を満たしています。

    7. ナビゲーション・トレールで 「住宅ローン承認モデルのデプロイメント」 をクリックして、モデルの詳細画面に戻ります。

    チェックポイント・アイコン 進行状況を確認してください

    以下の画像は、 Watson OpenScaleの品質の詳細を示しています。 モデルの品質を確認したので、モデルの公平性を確認できます。

    品質


    上に戻る


  • プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 06:01から始まるビデオをご覧ください。

    Watson OpenScale 公平性モニターは、モデルの公平性を評価するための一連の指標を生成します。 公平性メトリックを使用して、モデルがバイアスのある結果を生成するかどうかを判別できます。 モデルの公平性を確認するには、以下の手順を実行します。

    1. 「公平性」 セクションで、 「構成」 構成 アイコンをクリックします。 ここでは、性別に関係なく応募者が公平に扱われていることを確認するために、モデルがレビューされていることがわかります。女性は、公平性が測定されているモニター対象グループとして識別され、公平性のしきい値は少なくとも 80% になります。公平性モニターは、公平性を判別するために異なる影響方式を使用します。 差別的影響は、モニター対象グループの好ましい結果の割合を、参照グループの好ましい結果の割合と比較します。

    2. 「モデル要約に移動」 をクリックして、モデルの詳細画面に戻ります。

    3. 「公平性」 セクションで、右矢印 右矢印 アイコンをクリックして、モデルの公平性の詳細結果を表示します。 ここには、自動的に承認される男性と女性の応募者の割合と、100% を超える公平性スコアが表示されます。そのため、モデルのパフォーマンスは、必要な 80% の公平性しきい値をはるかに超えています。

    4. 示されているデータ・セットをメモしてください。 公平性指標が最も正確であることを確実にするために、 Watson OpenScale は摂動を使用して、保護された属性と関連するモデル入力のみが変更され、他の特徴量は変更されていない結果を判別します。摂動により、特徴量の値が参照グループからモニター対象グループに (またはその逆に) 変更されます。 これらの追加のガードレールは、「平衡型」データ・セットが使用されている場合に公平性を計算するために使用されますが、ペイロードまたはモデルのトレーニング・データのみを使用して公平性の結果を表示することもできます。モデルは公正に動作しているため、このメトリックの詳細を追加する必要はありません。

      公平性データ・セット

    5. 「Mortgage Approval Model Deployment」 ナビゲーション・トレールをクリックして、モデルの詳細画面に戻ります。

    チェックポイント・アイコン 進行状況を確認してください

    以下の画像は、 Watson OpenScaleでの公平性の詳細を示しています。 これで、モデルの公平性が確認されたので、モデルの説明可能性を確認できます。

    フェアネス


    上に戻る


  • プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 07:42から始まるビデオをご覧ください。

    また、モデルがどのように決定されたかを理解することも重要です。 この理解は、ローン承認に関係する人に意思決定を説明し、その意思決定が有効であることをモデル所有者に保証するために必要です。 これらの決定を理解するには、以下のステップに従って、モデルの説明可能性を確認します。

    1. 左側のナビゲーション・パネルで、 「トランザクションの説明」 「トランザクションの説明」アイコン アイコンをクリックします。

    2. トランザクションのリストを表示するには、 「住宅ローン承認モデルのデプロイメント」 を選択します。

    3. 任意のトランザクションについて、 アクション 列の下の 説明 をクリックしてください。 ここに、この決定の詳細な説明が表示されます。モデルへの最も重要な入力と、最終結果に対する各入力の重要度が表示されます。 青い棒はモデルの決定をサポートする傾向のある入力を表し、赤い棒は別の決定につながった可能性のある入力を示します。 例えば、申請者が承認されるのに十分な収入を持っているが、それらの申請者の信用履歴と高い負債が一緒になって、申請を拒否するモデルが作成されているとします。この説明を検討して、モデルの決定の基礎について満足するようにしてください。

    4. (オプション) モデルがどのように決定したかについてさらに詳しく知りたい場合は、 「検査」 タブをクリックします。 「検査」 機能を使用して、少数の入力に対する小さな変更によって異なる決定が行われる可能性がある感度の領域を判別するために意思決定を分析します。また、実際の入力の一部を代替値でオーバーライドして、それらが結果に影響するかどうかを確認することで感度をテストできます。

    チェックポイント・アイコン 進行状況を確認してください

    以下の画像は、 Watson OpenScaleでのトランザクションの説明性を示しています。 モデルが正確であり、すべての応募者を公平に扱うと判断しました。 これで、モデルをそのライフサイクルの次のフェーズに進めることができます。

    説明性


    上に戻る


  • プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 09:21から始まるビデオをご覧ください。

    以下のステップに従って、モデル・インベントリー内のモデル・ユース・ケースのステータスを変更し、モデルを承認します。

    1. Cloud Pak for Dataに戻り、ナビゲーション・メニュー ナビゲーション・メニューから、 「カタログ」>「モデル・インベントリー」を選択します。

    2. 「Mortgage Approval Model Use Case」で、 「詳細の表示」をクリックします。

    3. 資産 タブをクリックしてください。 モデル・トラッキングの下に、モデルが 検証 ステージになっていることが表示されます。

    4. 「モデル・ユース・ケース状況」の横にある 「編集」 編集アイコン アイコンをクリックし、 「実動前にプロモート済み」を選択して、 「更新」をクリックします。

    5. Watson OpenScale 洞察ダッシュボードに戻ります。

    6. Mortgage Approval Model Deployment タイルクリックしてください。

    7. アクション メニューから、 実動の承認を選択してから、 承認をクリックしてください。 このアクションは、AI 運用チームに、指定された実動スペースにモデルをデプロイできるようになったことを伝えます。

    8. Cloud Pak for Data のナビゲーション・メニュー ナビゲーション・メニューから、 「カタログ」>「モデル・インベントリー」を選択します。

    9. 「Mortgage Approval Model Use Case」で、 「詳細の表示」をクリックします。

    10. 資産 タブをクリックしてください。 「モデル・トラッキング」の下に、モデル・ユース・ケースが 「検証」 ステージで評価済みおよび承認済みとして表示されるようになりました。

    11. Mortgage Approval Model Deployment を表示して、 Watson OpenScaleによってキャプチャーされたファセット・シートを確認します。

    12. モデル・デプロイメント・ファセットを閉じます。

    チェックポイント・アイコン 進行状況を確認してください

    次の図は、検証フェーズでモデルを使用するモデル・ユース・ケースを示しています。 これで、モデルは実動状態になりました。

    検証フェーズでのモデル・ユース・ケース

    モデルの共有

    プレビュー・チュートリアル・ビデオ このタスクをプレビューするには、 10:39から始まるビデオをご覧ください。

    PDF、HTML、および DOCX 形式のファクト・シートまたはモデル・ユース・ケースからレポートを生成して、モデル・インベントリーで追跡されているモデルに関する詳細を共有または印刷することができます。

    1. モデル・ユース・ケースの 「資産」 タブで、 「レポートのエクスポート」をクリックします。

    2. 「フォーマット・オプション」で、フォーマットを選択します。

    3. 「レポート・テンプレート」で、テンプレートを選択します。

      • 完全レポート: 基本レポートのすべてのデータと、モデル・ユース・ケースのモデルおよびデプロイメントに関する詳細が含まれます。

      • 基本レポート: 「概要」タブと「資産」タブに表示されるファクトのセットが含まれます。

    4. 「エクスポート」をクリックします。 レポートが新しいウィンドウに表示されます。

    チェックポイント・アイコン 進行状況を確認してください

    次の画像は、 Mortgage Approval Model Use Caseの完全なレポートを示しています。 これで、このレポートを同僚と共有できるようになりました。

    モデルのユース・ケース・レポート


    上に戻る

ゴールデン・バンクのデータ・サイエンティストとして、予期しないリスクを回避し、すべての応募者を公平に扱う住宅ローン承認モデルを作成しました。 Jupyter ノートブックを実行して、モデルが意図したとおりに効果的に動作するという確信を持って、実動使用にデプロイした機械学習モデルのモニターをセットアップしました。

クリーンアップ (オプション)

AI ガバナンス・ユース・ケースのチュートリアルを再利用する場合は、以下の成果物を削除します。

成果物 削除方法
ゴールデン・バンクの生産前スペースにおける住宅ローン承認モデルの展開 デプロイメントの削除
ゴールデン・バンク・プレプロダクション・スペース デプロイメント・スペースの削除
住宅ローン承認モデルのユース・ケース モデル・ユース・ケースの削除
住宅ローン承認カタログ カタログの削除
AI ガバナンス・サンプル・プロジェクト プロジェクトの削除

次のステップ

もっと見る

ビデオを見る IBM OpenPages を使用して、ライフサイクル操作を通じてモデルを管理する方法をご覧ください。

このビデオは、本書の概念とタスクを学習するためのビジュアル・メソッドを提供します。

親トピック: ユース・ケースのチュートリアル

生成 AI の検索と回答
これらの回答は、製品資料の内容に基づいて、 watsonx.ai のラージ言語モデルによって生成されます。 詳細