このタスクをプレビューするには、00:06から始まるビデオを見てください。

モデルを構築するためのアセットを保存するプロジェクトが必要です。 例えば、学習データ、AutoAI実験またはJupyterノートブック、保存されたモデルなどである。 以下の手順に従って、サンプルに基づいたプロジェクトを作成してください：

1. Resource hub のEvaluate an ML model sample projectにアクセスします。

2. プロジェクトを作成をクリックします。

3. プロジェクトを Cloud Object Storage インスタンスに関連付けるように求められたら、リストから Cloud Object Storage インスタンスを選択してください。

4. 「作成」 をクリックします。

5. プロジェクトのインポートが完了するまで待ち、View new projectをクリックして、プロジェクトとアセットが正常に作成されたことを確認します。

6. アセットタブをクリックして、サンプルプロジェクトのアセットを表示します。

7. 住宅ローン承認予測モデルをご覧ください。 このモデルは、信用履歴、負債総額、収入、融資額、職歴などいくつかの要素に基づいて、住宅ローン申請者が承認されるべきかどうかを予測する。

8. プロジェクトの 資産 タブに戻ります。

モデルを配置する前に、モデルを新しい配置スペースにプロモートする必要があります。 デプロイメントスペースでは、入力データや環境などのサポートリソースを整理したり、モデルや関数をデプロイして予測やソリューションを生成したり、デプロイの詳細を表示または編集したりすることができます。 次のタスクは、評価データとモデルをデプロイメント空間に昇格させ、オンラインデプロイメントを作成することである。

このタスクをプレビューするには、01:19から始まるビデオを見てください。

この配置スペースで評価を構成するには、次の手順に従います：

このタスクをプレビューするには、06:22から始まるビデオをご覧ください。

以下の手順に従って、ホールドアウトデータを使用してモデルを評価する：

1. アクション メニューから、 今すぐ評価を選択してください。

2. インポート・オプションのリストから、 CSV ファイルからを選択してください。

3. プロジェクトからダウンロードした Golden Bank_HoldoutData.csv データ・ファイルをサイド・パネルにドラッグします。

4. アップロードして評価するをクリックし、評価が完了するまで待ちます。

5. 評価が完了すると、実行されたテストの数、合格したテスト、失敗したテストが表示されます。 スクロールすると、公平さ、質、漂流、グローバルな説明の結果を見ることができる。

このタスクをプレビューするには、06:36から始まるビデオをご覧ください。

Watson OpenScale 品質モニターは、モデルの品質を評価するための一連のメトリクスを生成します。 これらの品質メトリックを使用して、モデルの予測結果の精度を判別できます。 ホールドアウトデータを使用した評価が完了したら、以下の手順に従ってモデルの品質または精度を観察する：

1. 品質セクションで、設定アイコン「」をクリックする。 ここでは、このモニターに設定されている品質しきい値は70％であり、ROC曲線下の面積が品質測定に使用されていることがわかる。

2. Xをクリックしてウィンドウを閉じ、モデルの評価画面に戻ります。

3. 品質セクションで、詳細アイコン「」をクリックすると、モデル品質の詳細結果が表示されます。 ここでは、多くの品質指標の計算と、正しいモデルの判断と偽陽性・偽陰性を示す混同行列を見ることができる。 計算されたROC曲線下面積は0.9以上であり、0.7のしきい値を超えているので、モデルは品質要件を満たしている。

4. Back to summaryをクリックすると、モデルの詳細画面に戻ります。

このタスクをプレビューするには、07:20から始まるビデオをご覧ください。

Watson OpenScale フェアネス・モニターは、モデルのフェアネスを評価するための一連のメトリクスを生成します。 公平性メトリックを使用して、モデルがバイアスのある結果を生成するかどうかを判別できます。 以下の手順に従って、モデルの公平性を観察してください：

1. 公平性セクションで、設定アイコン「」をクリックする。 ここでは、性別に関係なく応募者が公平に扱われていることを確認するために、モデルがレビューされていることがわかります。 女性は、公平性が測定されているモニター対象グループとして識別され、公平性のしきい値は少なくとも 80% になります。 公平性モニターは、公平性を判別するために異なる影響方式を使用します。 差別的影響は、モニター対象グループの好ましい結果の割合を、参照グループの好ましい結果の割合と比較します。

2. Xをクリックしてウィンドウを閉じ、モデルの評価画面に戻ります。

3. 公平性セクションで、詳細アイコン「」をクリックすると、モデルの公平性の詳細結果が表示される。 ここでは、自動的に承認される男女の申請者の割合と、100％を超える公平性スコアが示されている。

4. 特定されたデータセットに注意。 公平性の測定基準が最も正確であることを保証するために、Watson OpenScale は摂動を使用し、保護された属性と関連するモデル入力のみが変更され、他の機能は変更されない結果を決定します。 摂動により、特徴量の値が参照グループからモニター対象グループに (またはその逆に) 変更されます。 これらの追加のガードレールは、「平衡型」データ・セットが使用されている場合に公平性を計算するために使用されますが、ペイロードまたはモデルのトレーニング・データのみを使用して公平性の結果を表示することもできます。 モデルは公正に動作しているため、このメトリックの詳細を追加する必要はありません。

   

5. Back to summaryをクリックすると、モデルの詳細画面に戻ります。

このタスクをプレビューするには、08:25から始まるビデオをご覧ください。

Watson OpenScale ドリフトモニターは、データの経時変化を測定し、モデルの一貫した結果を保証します。 ドリフト評価を使用して、モデルの出力、予測の精度、入力データの分布の変化を確認します。 以下の手順に従って、モデルのドリフトを観察してください：

1. ドリフトセクションで、設定アイコン「」をクリックする。 ここにドリフトのしきい値がある。 出力ドリフトは、モデルの信頼度分布の変化を測定する。 モデルの品質ドリフトは、推定された実行時精度とトレーニング精度を比較することで、精度の低下を測定する。 特徴ドリフトは、重要な特徴の値分布の変化を測定する。 設定には、選択された機能の数と最も重要な機能も表示されます。

2. Xをクリックしてウィンドウを閉じ、モデルの評価画面に戻ります。

3. ドリフトセクションで、詳細アイコン「」をクリックすると、モデルのドリフト詳細結果が表示されます。 時系列チャートで、各メトリックスコアの経年変化の履歴を見ることができます。 数値は低い方が良いので、この場合、結果はコンフィギュレーションで設定されている上限しきい値を超えている。 次に、スコア出力と特徴ドリフトの計算方法の詳細を表示します。 また、各機能の詳細を表示して、Watson OpenScale が生成するスコアにどのように貢献しているかを理解することもできます。

4. Back to summaryをクリックすると、モデルの詳細画面に戻ります。

このタスクをプレビューするには、09:10から始まるビデオをご覧ください。

また、モデルがどのようにしてその決定に至ったかを理解することも重要である。 この理解は、ローン承認に関わる人々に決定を説明するためにも、モデル・オーナーに決定が有効であることを保証するためにも必要である。 これらの決定を理解するために、以下の手順に従ってモデルの説明可能性を観察する：

1. 取引タブをクリックします。

2. グラフ上で時間枠を選択すると、その期間の取引リストが表示される。

3. 任意のトランザクションについて、 アクション 列の下の 説明 をクリックしてください。 ここに、この決定の詳細な説明が表示されます。 モデルへの最も重要な入力と、最終結果に対する各入力の重要度が表示されます。 青い棒はモデルの決定を支持する傾向のあるインプットを表し、赤い棒は別の決定につながったかもしれないインプットを表す。 たとえば、ある申込者は十分な収入があって審査に通るかもしれないが、クレジットヒストリーが乏しく、負債が多いために審査に通らないというケースだ。 この説明を検討して、モデルの決定の基礎について満足するようにしてください。

4. オプション：モデルがどのように決定したかをさらに掘り下げたい場合は、Inspectタブをクリックします。 インスペクト 機能を使用して決定を分析し、いくつかの入力を少し変更しただけで異なる決定になるような感度の領域を見つけます。 分析を実行するをクリックすると、Watson OpenScale が異なる結果を得るために必要な最小限の変更を明らかにします。 Analyze features onlyを選択すると、制御可能な機能のみに変更を限定することができます。