AI Factsheets を使用すると、 Watson Studio の外部でトレーニングしたモデルのモデル・ユース・ケースをモデル・インベントリーに追加して、モデルのライフサイクルの詳細を追跡できます。
AI Factsheets によって提供されるガバナンス・サポートを使用して、以下の方法で外部モデルのライフサイクル管理を管理します。
- 既存の外部モデルにデプロイメントを追加します。
- モデル・ユース・ケースのライフサイクル・トラッキング・ビューで、モデルを環境から別の環境に移動します。
- Python クライアント API および REST API を使用して、ある環境から別の環境にデプロイメントを移動します。
- Python API および REST API を使用して外部モデルをカタログに保存するときに、追加のモデル・メタデータおよびトレーニング・データ情報を提供します。
外部モデルの追跡を準備する
外部モデルは、 Watson OpenScale サービスで評価がサポートされている任意のタイプにすることができます。 詳しくは、サポートされる機械学習エンジン、フレームワーク、およびモデルを参照してください。 さらに、ノートブックで開発されたモデルは外部モデルと見なされるため、 AI Factsheets を使用して、 Cloud Pak for Data以外のプラットフォームで開発、デプロイ、およびモニターするモデルを管理できます。
これらのポイントは、外部モデルのファクトを保持するプロセスの概要です。
- 管理者権限を持つユーザーIBM Knowledge Catalogまず最初にPlatform assets catalog外部モデルを登録するには、モデル インベントリで外部モデルの追跡を有効にします。
- プラットフォーム・アクセス・カタログの管理者は、 Watson OpenScaleから追加された外部モデル資産の所有者権限をユーザーに付与できます。
- モデル・ノートブックで API を使用して、外部モデル資産をカタログに保存できます。
- 外部モデル資産をモデル・インベントリー内のモデル・ユース・ケースに関連付けて、ファクトの保持を開始します。 モデル・メタデータとともに、新規フィールド
External model identifierおよびExternal deployment identifierは、モデルおよびデプロイメントが外部システム (例えば、 AWS または Azure) でどのように識別されるかを記述します。 - OpenScale でサード・パーティー・プロバイダー・モデルのデプロイメントを評価して、外部モデル資産を定義できます。 宛先カタログは、以下の規則に従って設定されます。
- 外部モデルは、対応する開発時モデルが Platform assets catalog に既に存在する場合、またはどのカタログにも開発時モデルが作成されていない場合に、 Platform assets catalog に作成されます。
- Python クライアントを使用して、対応する開発時モデルがカタログ ( Platform assets catalog以外) 内に作成される場合、モデルはそのカタログ内に作成されます。
詳しくは、以下を参照してください。
モデル・ユース・ケースへの外部モデル資産の関連付け
自動外部モデル・トラッキングにより、 Watson OpenScale で評価された外部モデルが、開発時モデルが存在するカタログに追加されます。 モデルがカタログに登録された後、そのモデルをモデル・インベントリーに登録できます。 以下の方法で、モデル・インベントリー内のモデル・ユース・ケースに外部モデル資産を関連付けることができます。
- API を使用して、ノートブックからプログラマチックに外部モデル資産を任意のカタログに保存します。 その後、外部モデル資産をモデル・ユース・ケースに関連付けることができます。
- Watson OpenScale 評価で作成した外部モデルをモデル・ユース・ケースに関連付けます。
API を使用した外部モデル資産の作成
- ノートブックでモデルを作成します。
- モデルを保存します。 例えば、 S3 バケットに保存することができます。
- API を使用して、カタログ内に外部モデル資産 (外部モデルの表現) を作成します。 モデル・インベントリーと対話する API コマンドについて詳しくは、 IBM_AIGOV_FACTS_CLIENT の資料を参照してください。
モデル・インベントリーで外部モデル資産を登録する
- モデルを追跡するカタログの 「資産」 タブを開きます。
- 追跡する外部モデル資産を選択します。
- カタログの 「資産」 タブに戻り、 「このモデルを追跡する」をクリックします。
- 既存のモデル・ユース・ケースを選択するか、新しいモデル・ユース・ケースを作成します。
- モデル・ユース・ケースの詳細を使用してユース・ケースを完了し、詳細をインベントリーに保存します。
Watson OpenScale からの外部モデルの登録
Watson OpenScaleで外部モデルを検証する場合は、外部モデルをユースケースに関連付けて、ライフサイクル・ファクトを追跡できます。
- OpenScale ダッシュボードに外部モデルを追加します。
- API を使用してモデル・ユース・ケースを既に定義している場合、システムはユース・ケースの関連付けを認識します。
- デプロイメントを作成してモニターすると、関連付けられたユース・ケースにファクトが登録されます。 これらのファクトは、モデルの機械学習プロバイダーをどのように分類したかに応じて、Validate または Operate ステージに表示されます。
モデル・ユース・ケースへのデータの取り込み
外部モデル資産のファクトが保存されると、以下のように、ライフサイクル内のフェーズを表すピラーに関連付けられます：
- 外部モデル資産がデプロイメントなしでノートブックから作成された場合は、「ピラーの開発 (Develop pillar)」に表示されます。
- 外部モデル資産がデプロイメントのノートブックから作成された場合は、テスト・ピラーに表示されます。
- 外部モデル・デプロイメントが OpenScale で評価されると、モデルの Machine Learning プロバイダーをどのように分類したかに応じて、「検証」ステージまたは「操作」ステージに表示されます。
例: Amazon SageMaker モデルのトラッキング
Amazon SageMaker, で作成されたこのサンプルモデルは、トラッキング用に登録され、Test、Validate、Operate の各フェーズを通過します。
外部モデルのファクトの表示
外部モデルのファクトの表示は、 Watson Machine Learning モデルのファクトの表示とは若干異なります。 以下の規則が適用されます：
- 外部モデル資産を含むカタログの 「資産」 タブをクリックして、ファクトを表示します。
- モデルとデプロイメントで異なるファクト・シートを持つ Watson Machine Learning モデルのユース・ケースとは異なり、外部モデルのファクト・シートは、同じページでモデルとデプロイメントの情報を結合します。
- 同じ名前の複数の資産を 1 つのカタログに作成できます。 それらを区別するために、タグ 開発、 実動前 、および 生産 は、それらの状態を反映するために自動的に割り当てられます。
もっと見る
親トピック: モデル資産のインベントリーの管理。