watsonx.governance または AI Factsheets サービスを使用して、ノートブックまたは Cloud Pak for Dataの外部で作成されたモデルのガバナンスを有効にします。 モデル評価の結果とモデルの詳細をファセット・シートで追跡します。
watsonx.aiRuntime を使ってトレーニングされたモデルを管理するだけでなく、Amazon Web ServicesやMicrosoft Azure などのサードパーティツールを使って作成されたモデルを管理することもできます。 サポートされるプロバイダーのリストについては、 サポートされる機械学習プロバイダーを参照してください。 さらに、ノートブックで開発されたモデルは外部モデルと見なされるため、 AI Factsheets を使用して、 Cloud Pak for Data以外のプラットフォームで開発、デプロイ、およびモニターするモデルを管理できます。
watsonx.governance で提供されるモデル評価を使用して、外部プロバイダーからインポートしたモデルのパフォーマンス・メトリックを測定します。 AI ユース・ケースの一部として、モデルのファクトと評価メトリックをファクト・シートに取り込みます。 追跡対象データをガバナンスおよびコンプライアンス戦略の一部として使用します。
開始前に
開始する前に、自分または管理者ロールを持つユーザーが以下を実行していることを確認してください。
- インベントリー内の外部モデルの追跡を有効にします。
- インベントリーの所有者を割り当てます。
詳しくは、 インベントリーの管理を参照してください。
外部モデルの追跡を準備する
これらのポイントは、外部モデルのファクトを保持するプロセスの概要です。
- 追跡対象の外部モデルは、メイン・ナビゲーション・メニューの 「AI ユース・ケース」 の下にリストされます。
- モデル・ノートブックで API を使用して、外部モデル資産をインベントリーに保存できます。
- インベントリー内の AI ユース・ケースに外部モデル資産を関連付けて、ファクトの保存を開始します。 モデル・メタデータとともに、新規フィールド
External model identifier
およびExternal deployment identifier
は、モデルおよびデプロイメントが外部システム (例えば、 AWS または Azure) でどのように識別されるかを記述します。 - また、外部モデルが watsonx.governanceで評価されたときに、外部モデルを自動的にインベントリーに追加することもできます。 宛先在庫は、以下のルールに従って設定されます。
- 外部モデルが Platform assets catalog に作成されるのは、対応する開発時モデルが Platform assets catalog に存在する場合、またはどのインベントリーにも作成される開発時モデルが存在しない場合です。
- 対応する開発時モデルが Python クライアントを使用してインベントリー内に作成される場合、モデルはそのインベントリー内に作成されます。
AI ユース・ケースへの外部モデル資産の関連付け
自動外部モデル・トラッキングは、 watsonx.governance で評価される外部モデルを、開発時モデルが存在するインベントリーに追加します。 モデルがインベントリーに入れられた後、以下の方法で外部モデル資産をユース・ケースに関連付けることができます。
- API を使用して、ノートブックからプログラマチックに外部モデル資産を任意のインベントリーに保存します。 その後、外部モデル資産を AI ユース・ケースに関連付けることができます。
- Watson OpenScale 評価で作成された外部モデルを AI ユース・ケースに関連付けます。
API を使用した外部モデル資産の作成
- ノートブックでモデルを作成します。
- モデルを保存します。 例えば、 S3 バケットに保存することができます。
- この API を使用して、インベントリー内に外部モデル資産 (外部モデルの表現) を作成します。 インベントリーと相互作用する API コマンドの詳細については、IBM_AIGOV_FACTS_CLIENT ドキュメントを参照してください。
インベントリーへの外部モデル資産の登録
- モデルを追跡する在庫の 「資産」 タブを開きます。
- 追跡する外部モデル資産を選択します。
- インベントリーの 「資産」 タブに戻り、 「AI ユース・ケースに追加」をクリックします。
- 既存の AI ユース・ケースを選択するか、新規作成します。
- プロンプトに従って、詳細をインベントリーに保存します。
Watson OpenScale からの外部モデルの登録
Watson OpenScaleで外部モデルを検証する場合は、外部モデルを AI ユース・ケースに関連付けて、ライフサイクル・ファクトを追跡できます。
- OpenScale ダッシュボードに外部モデルを追加します。
- API を使用して AI ユース・ケースを既に定義している場合、システムはそのユース・ケースの関連付けを認識します。
- デプロイメントを作成してモニターすると、関連付けられたユース・ケースにファクトが登録されます。 これらのファクトは、モデルの機械学習プロバイダーをどのように分類したかに応じて、Validate または Operate ステージに表示されます。
AI ユース・ケースへのデータの取り込み
外部モデル資産のファクトが保存されると、以下のように、ライフサイクル内のフェーズを表すピラーに関連付けられます:
- 外部モデル資産がデプロイメントなしでノートブックから作成された場合は、「ピラーの開発 (Develop pillar)」に表示されます。
- 外部モデル資産がデプロイメントのノートブックから作成された場合は、「検証」ピラーに表示されます。
- 外部モデル・デプロイメントが OpenScale で評価されると、モデルの Machine Learning プロバイダーをどのように分類したかに応じて、「検証」ステージまたは「操作」ステージに表示されます。
外部モデルのファクトの表示
外部モデルのファクトの表示は、watsonx.aiランタイムモデルのファクトの表示とは若干異なります。 以下の規則が適用されます:
- 外部モデル資産を含む在庫の 「資産」 タブをクリックして、ファクトを表示します。
- watsonx.aiRuntime モデルのユースケースは、モデルとデプロイメントで異なるファクトシートを持っていますが、外部モデルのファクトシートは、モデルとデプロイメントの情報を同じページにまとめています。
- 同じ名前の複数の資産を 1 つのインベントリーに作成できます。 それらを区別するために、タグ 開発、 実動前 、および 生産 は、それらの状態を反映するために自動的に割り当てられます。
親トピック: AI ユース・ケースでのアセットの管理