モデル・インベントリーを AI Factsheets とともに使用して、AI ガバナンス戦略の一環として組織の機械学習モデルを編成します。 追跡するモデルごとにユース・ケースを作成し、カタログの「在庫」ページで詳細を確認できます。 フィルターを使用して、ビューを詳細化にします。 例えば、承認済み状態のモデル・ユース・ケースのみを表示します。
モデル・インベントリーを表示するには、ナビゲーション・ペインの「カタログ」セクションから「モデル・インベントリー」を選択します。
モデル・ユース・ケースの処理
モデル・インベントリーから、以下を行うことができます：
- モデル・ユース・ケースの作成
- モデルのユース・ケースの詳細を表示
- モデル・ユース・ケースの状況の変更
- モデル・ユース・ケースの削除
- モデルのユース・ケースを見つけるための検索またはフィルタリング
- アラートを表示する
- モデルのファセット・シートを表示する
- デプロイメントのファセット・シートを表示する
- トラッキングの詳細
モデル・ユース・ケースの作成
モデルのライフサイクルを追跡するためのモデル・ユース・ケースを作成します。
- ナビゲーション・ペインで、「カタログ」セクションをクリックし、「モデル・インベントリー」をクリックします。
- 「新規モデルのユース・ケース (New model use case)」 をクリックし、名前と説明を入力します。
- モデル・ユース・ケースを含むカタログを選択します。
- ユース・ケースを作成した後、モデルの目的、ビジネス用語、サポート資料などの追加の詳細を指定できます。
モデル・ユース・ケースの詳細の表示
モデル・インベントリーには、ガバナンスをサポートするモデル・ライフサイクル、目的、およびファクトに関する詳細を提供するモデル・ユース・ケースが含まれています。 モデルのユース・ケースごとに、以下を表示できます。
- モデル・ユース・ケース名。
- モデル・ユース・ケースの状況。 例えば、モデルが開発待ち、レビュー中、または実動中の場合があります。
- モデル・ユース・ケースに関連付けられたビジネス用語。
- モデル・ユース・ケースで使用可能なタグ。
各モデルに含まれる内容について詳しくは、 モデルとデプロイメントのファセットの表示を参照してください。
モデル・ユース・ケースのステータスの変更
モデルのユース・ケースのステータスを変更して、モデルのライフサイクルの変更を反映させることができます。 例えば、モデルが適切にテストされたことを確認した後に、モデルのステータスを 「検証用にデプロイ済み」 から 「検証済み」 に変更できます。
モデル・ユース・ケースの状況を変更するには、以下の手順を実行します。
- モデル・インベントリーでモデル・ユース・ケースを開きます。
- 資産 タブに切り替えます。
- 編集アイコン
をクリックします。 - 新しい状況を選択し、 「更新」 をクリックして保存します。
モデル・ユース・ケースが新しい状況カテゴリーに表示されます。
モデル・ユース・ケースの削除
インベントリーからモデル・ユース・ケースを削除するには、モデル・ユース・ケース・タイルのアクション・アイテムから 「削除」 をクリックします。 モデル・ユース・ケースがインベントリーから削除され、プロジェクトまたはスペース内のモデルとのすべての関連付けが削除されます。
モデルを見つけるための検索またはフィルタリング
- 検索バーを使用して、名前、タグ、分類、またはビジネス用語でモデル・ユース・ケースを検索します。
- モデル・インベントリー・ビューのフィルターを使用して、リストを詳細化します。 アラート (ドリフト、公平性、品質の変化など)、ビジネス用語、カタログ、分類、タグ、およびステータスでフィルターに掛けることができます。
アラートの表示
モデルを評価するときに、しきい値を設定して、しきい値に達したときにアラートをトリガーすることができます。 例えば、モニター・グループのバイアス検出が 10% 変化した場合にトリガーされるアラートを設定できます。 モデル・ユース・ケースからモデルのアラートを表示できます。
いずれかのモデル・デプロイメントにアラートがある場合、アラートはモデル・ユース・ケースのバッジとしてモデル・インベントリーに表示されます。 モデル・インベントリー・ページのモデル・ユース・ケースのアクション・メニュー項目から 「アラートのプレビュー」 を選択して、アラートの詳細を確認します。
モデルのファクトシートの表示
インベントリー内のモデル・ユース・ケースのモデル・トラッキング・ページで、 「資産」 タブをクリックして、関連付けられたファセット・シートを表示します。 プロジェクト、スペース、またはカタログでモデルの詳細を表示するときに、ファセット・シートを表示することもできます。 詳しくは、 モデル・ファクトシートの表示を参照してください。
モデルが登録されると、モデルに関するファクトがキャプチャーされ、モデル・ライフサイクルの各ポイント (モデルが更新または変更されるたびを含む) で自動的に保持されます。 例えば、モデルが以下の場合にイベントがキャプチャーされます：
- 作成
- タグや説明文の修正を含む、何らかの方法で更新されました
- スペースにプロモートされた
- カタログに公開された
- デプロイメントでテスト済み
- OpenScale での評価済みライフサイクル
ファクト・シートを更新するためにユーザーが介入する必要はありません。
さらに、モデルに関する事実は、 IBM AIガバナンスの事実クライアントライブラリ（ AIGovFactsClient）ノートブックで開始されます。 その時点から、ライフサイクル・メタデータとメトリックは自動的に保持されます。
デプロイメントのファセット・シートの表示
インベントリー内のモデル・ユース・ケースのモデル詳細ページで、 「資産」 タブをクリックして、関連付けられたファセット・シートを表示します。 スペース内のデプロイメントの詳細を表示するときに、ファセット・シートを表示することもできます。 詳しくは、 モデル・ファクトシートの表示を参照してください。
トラッキングの詳細
トラッキングが有効になっている場合、ファクトの記録は、モデルまたは関連資産に対するアクションによってトリガーされます。 同様に、モデルのユース・ケースでモデルが表示される AI ライフサイクル制御の変更により、開発から運用への進行状況が示されます。 例えば、モデルがプロジェクトに保存されると、モデルは「ピラーの開発」に表示されます。 モデルがスペースにプロモートされると、ユース・ケースが更新され、テスト・ピラーにモデルが表示されます (以下同様)。
| モデルの場所 | 開発 | テスト | 検証 | 運用 |
|---|---|---|---|---|
| プロジェクト | ✓ | |||
| スペース | ✓ | |||
| AIGovernance: 実動前のタグが付いたスペース | ✓ | |||
| AIGovernance: Production でタグ付けされたスペース | ✓ | |||
| Watson OpenScale 実動前 | ✓ | |||
| Watson OpenScale 実動 | ✓ |
これらの注記は、 Watson Machine Learning がモデル・ユース・ケースのどこに表示されるかをライフサイクル・コンポーネント間の対話で制御する方法について説明しています。
モデルがスペースにプロモートされると、そのモデルがテスト・ピラーに表示されます。 そのモデルのデプロイメントが Watson OpenScale で評価され、実動前としてタグ付けされている場合、モデルは「テスト」ではなく「検証」に表示されます。 モデル・デプロイメントが実動前ではなく実動としてタグ付けされている場合は、Operate のピラーに移動します。
スペース・タグ
AIGovernance: Pre-productionまたはAIGovernance: Productionを割り当てると、モデルはそれぞれ Validate または Operate のピラーに表示されます。注: この変更は、モデルの追跡後にタグがスペースに追加された場合に、モデル・メタデータの変更 (モデル名、説明、タグの更新など) が行われるアクションによってトリガーされます。スペースにタグ
AIGovernance: Pre-productionがあるスペースにモデルがプロモートされると、そのモデルは「検証」ピラーに表示されます。 そのモデルのデプロイメントが Watson OpenScale で評価され、実動前としてタグ付けされている場合、モデルは「検証」ピラーに表示されます。 モデル・デプロイメントが実動前ではなく実動としてタグ付けされている場合は、Operate のピラーに移動します。モデルが、スペースにタグ
AIGovernance: Productionがあるスペースにプロモートされると、そのモデルは Operate のピラーに表示されます。 このモデルのデプロイメントが Watson OpenScale で評価され、実動としてタグ付けされる場合、そのデプロイメントはまだ Operate のピラー内にあります。 ただし、実動前としてタグ付けされている場合は、「検証」の柱に表示されます。モデル・デプロイメントが Watson OpenScaleで評価されない場合は、
Pending Evaluationタグが付けられます。 モデル・デプロイメントが評価されると、Evaluatedタグが付きます。 Watson OpenScaleで評価後にモデル・デプロイメントが承認されると、Approvedタグが付きます。
もっと見る
- モデルの登録 または モデルのユース・ケースとファセットの表示について学習します。
- IBM AI Governance Facts Client ライブラリーを使用して、モデル・インベントリーをプログラマチックに操作する方法について説明します。
- 親トピック: モデル資産のインベントリーの管理。