機械学習モデル評価のための自動セットアップオプションは、機械学習環境、データベース、サンプルモデルをセットアップしてくれます。 ガイドツアーの手順に従って、サンプルモデルの評価方法をご覧ください。 セットアップが完了すると、独自のモデルをダッシュボードに追加できます。
サンプル・モデル
自動セットアップでは、モデル評価の主要な特徴を実証するために、ドイツのクレジットリスクのサンプルデータセットを使用します。
サンプル・データの概要
German Credit Risk サンプル・データは、サンプル・モデルのトレーニングに使用された銀行顧客のレコードのコレクションを提供します。 これには、各ローン申請者の 20 個の属性が含まれています。 自動セットアップの一部としてプロビジョンされるサンプル・モデルは、新規顧客の信用リスクのレベルを予測するようにトレーニングされます。 予測の対象となる 2 つの属性 (性別と年齢) についてバイアスをテストして、顧客の性別と年齢に関して結果が一貫していることを確認できます。
結果を評価するために、結果はグループに分割されます。 参照グループは、肯定的な結果をもたらす可能性が最も高いと考えられるグループです。 この場合、参照グループは 25 歳以上の男性顧客です。 モニター対象グループとは、結果がモニター対象グループの結果と大きく異なることがないようにするために検討するグループです。 この場合、モニター対象グループは 19 歳から 25 歳までの女性と顧客です。
自動セットアップの実行
以下のステップに従って、自動セットアップを実行します。
- Watson OpenScale を起動します。
- 自動セットアップ オプションを選択してください。
このプロセスは、完了までに約 10 分かかります。 セットアップ中に以下の 3 つのデプロイメントが構成されます：
| モデル | バインディング | 説明 |
|---|---|---|
| GermanCreditRiskModelPreProd | 実動前、承認済み | このデプロイメントは、内部環境で評価されている現在の承認済みモデルを表します。 |
| GermanCreditRiskModelChallenger | 実動前 | チャレンジャー・モデルは、パフォーマンスおよびその他の属性を、承認された実動前モデル・デプロイメントと比較するためにデプロイされます。 |
| GermanCreditRiskModel | 実動 | 承認された実動前モデルとチャレンジャー・モデルの間で、より有利な結果を提供するモデルが実動用に選択され、実動スペースからデプロイされます。 |
セットアップが完了したら、ガイドツアーに従ってモデル評価の特徴を学びます。
ガイド・ツアーのハイライト
ガイド・ツアーでは、以下の機能について説明します：
- ユーザー・インターフェース (UI) の概要: UI の 4 つの主な領域には、「洞察」、「説明」、「構成」、および「サポート」があります。
- German credit risk モデルの結果のモニターおよび表示: 事前定義されたモニターを使用して、公平性、品質、およびドリフトについてモデルを評価します。 モデル評価にユーザー定義モニターを使用することもできます。
- 公平性モニターの検討: 公平性モニターを使用して、モデルからバイアスのある結果を探します。 公平性の問題が検出されると、構成可能なしきい値に基づいてアラートがトリガーされます。
- データ・セットの探索: バランスの取れたデータ・セット、ペイロード・データ・セット、トレーニング・データ・セット、およびバイアス緩和済みデータ・セットを切り替えて、それらがモデルの公平性スコアにどのように影響するかを確認します。
- トランザクションの概要: グループ・バイアスおよび個々のバイアスについて、ペイロード・データ・セットからトランザクションを確認します。
- モデルの結果の説明: モデルの信頼性を構築するためにモデルの予測につながった特徴量を理解します。 さらに、より好ましいモデル結果を得るために特徴量値を変更する方法について説明します。
- ドリフト・モニターの探索: ドリフト・モニターを使用して、モデル内のデータの処理が正解率の低下の原因となっているかどうかを判別します。
- トランザクションの検討: トランザクション・リストを確認して、正解率の低下を調査します。
特定のページを閲覧する
特定のページの自動セットアップ・ガイド・ツアーを使用するには、以下のステップを実行します。
- ガイド付きツアーをフォローするページを開きます。
- サポート タブを開き、 このページのツアーを選択してください。
ツアーのリセット
自動セットアップ・ツアーをリセットするには、 「サポート」 タブを開き、 「自動セットアップのリセット」を選択します。
詳細情報
親トピック モデル評価のセットアップオプション