ガバナンス・チームの構築

ガバナンス・チームに必要な専門知識を検討します。 標準的なガバナンス計画には、以下の役割が含まれる場合があります。 場合によっては、同じ個人が複数の役割を果たすことがあります。 また、ロールが人のチームを表す場合もあります。

• モデル所有者: 所有者は、ビジネス・ニーズに対するソリューションを追跡するための AI ユース・ケースを作成します。 所有者はモデルまたはプロンプト・テンプレートを要求し、承認プロセスを管理し、AI ライフサイクルを通じてソリューションを追跡します。
• モデル開発者またはデータ・サイエンティスト: 開発者は、データ・セットまたは大規模言語モデル (LLM) 内のデータを処理し、機械学習モデルまたは LLM プロンプト・テンプレートを作成します。
• モデル・バリデーター: バリデーターはソリューションをテストして、AI ユース・ケースに記述されている目標を満たしているかどうかを判別します。
• リスクおよびコンプライアンス・マネージャー: リスク・マネージャーは、AI ユース・ケースのポリシーおよびコンプライアンスしきい値を決定します。 例えば、リスク・マネージャーは、公平性についてソリューションをテストするために適用するルールを決定したり、憎悪に満ちた暴言のために出力をスクリーニングするために適用するルールを決定したりすることができます。
• MLOps エンジニア: MLOps エンジニアは、ソリューションを完全にデプロイする準備ができていると判断した場合に、ソリューションを実動前 (テスト) 環境から実稼働環境に移動します。
• アプリ開発者: デプロイメントをフォローし、アプリ開発者がデプロイメントに対して評価を実行して、リスクとコンプライアンスの所有者によって設定されたメトリックしきい値に対してソリューションがどのように実行されるかをモニターします。 パフォーマンスが指定されたしきい値を下回った場合、アプリ開発者は他の利害関係者と協力して問題に対処し、モデルまたはプロンプトテンプレートを更新する。

ガバナンス構造のセットアップ

役割を識別してチームを組み立てたら、ガバナンス構造を計画します。

1. AI ユース・ケースを保管するためのインベントリーを作成します。 インベントリーとは、管理対象資産に関連付けられている AI ユース・ケースおよびファクト・シートを保管および表示する場所です。 ガバナンス要件に応じて、すべてのユース・ケースを単一のインベントリーに保管するか、ガバナンス作業のために複数のインベントリーを作成します。
2. コラボレーションのためのプロジェクトを作成します。 IBMツールを使用している場合は、watsonx.aiStudio プロジェクトを作成します。 プロジェクトは、AI ソリューションのトレーニングまたはテストに必要なデータと、管理対象のモデルまたはプロンプト・テンプレートを保持できます。 アクセス制御を使用して、承認されたコラボレーターへのアクセスを制限します。
3. 実動前デプロイメント・スペースを作成します。 スペースを使用して、テスト・データを使用してモデルまたはプロンプト・テンプレートをテストします。 プロジェクトと同様に、スペースはアクセス制御機能を提供するため、必要なコラボレーターを含めることができます。
4. テストおよび検証の評価を構成します。 モデルまたはプロンプト・テンプレートの詳細を指定し、ソリューションのパフォーマンスをテストするための一連の評価を構成します。 例えば、公平性、品質、ドリフトなどのディメンションについて機械学習モデルをテストし、perplexity (出力の精度) や毒性 (出力に有害な音声や暴言が含まれているかどうか) などのメトリックに対してプロンプト・テンプレートをテストすることができます。 既知の (ラベル付けされた) データをテストすることにより、ソリューションを実稼働環境に移行する前にパフォーマンスを評価できます。
5. 実動スペースを構成します。 モデルまたはプロンプト・テンプレートを実稼働環境にデプロイする準備ができたら、ソリューションとすべての依存関係を実稼働スペースに移動します。 実動スペースには通常、より厳密なアクセス制御リストがあります。
6. デプロイされたモデルの評価を構成します。 モデルの詳細を指定し、ソリューションの評価を構成します。 テスト・データではなくライブ・データに対してテストできるようになりました。 しきい値を超えた場合にアラートが出され、デプロイされたソリューションに問題がある可能性があることが示されるように、ソリューションをモニターすることが重要です。

ガバナンスのためのコラボレーションの管理

Watsonx.governance は、承認されたすべてのチーム・メンバーがビジネスの問題解決の目標に貢献できるようにするためのコラボレーション・プラットフォーム上に構築されています。

コラボレーションを計画するには、ガバナンスに使用するインベントリー、プロジェクト、およびスペースへのアクセスを管理する方法を検討してください。

アクセス制御機能とともに役割を使用して、チームが目標を達成するための適切なアクセス権限を持つようにします。

コミュニケーション計画の策定

AI ユース・ケースの定義およびライフサイクルを通じたアセットの移動に関するワークフローの一部は、効果的なコミュニケーションに依存しています。 チームがどのようにコミュニケーションを取るかを決定し、詳細を設定します。 例：

• 意思決定に E メールを使用するか、Slack などのメッセージング・ツールを使用するか。
• 資産がワークフロー内を移動する際に、資産にコメントを追加する正式なプロセスはありますか?

コミュニケーション計画を作成し、チームと共有します。

シンプルなガバナンス・ソリューションの実装

ガバナンス戦略をロールアウトする際には、単純な実装から始めて、より包括的なソリューションを段階的に構築する方法を検討してください。 最も単純な実装には、要求から実動に移行する資産を含む、インベントリー内の AI ユース・ケースが必要です。

AI ガバナンスを最も簡単に実装するために、資産を追跡するための AI ユース・ケースを作成します。 インベントリにおけるAIのユースケースは、ファクトシートのセットで構成され、モデルのライフサイクルに関する系統、履歴、その他の関連情報を含んでいる。 データ・サイエンティスト、データ・エンジニア、およびその他のユーザーをコラボレーターとして追加します。

以下の図は、AI ユース・ケース所有者が資産を要求および追跡する方法を示しています。

• ビジネス・ユーザーは、インベントリー内に AI ユース・ケースを作成して、機械学習モデルまたは LLM プロンプト・テンプレートを要求します。
• データ・サイエンティストは、トレーニングされた資産を AI ユース・ケースに関連付けて、ライフサイクル・アクティビティーを追跡します。

AI ファセット・シートは、以下の方法でモデルまたはプロンプト・テンプレートに関する情報を集計します。

• 追跡対象資産に関連付けられているすべてのアクション (デプロイメントおよび評価を含む) が自動的に保存されます。
• 入力データ資産に対するすべての変更は自動的に保存されます。
• データ・サイエンティストは、タグ、サポート資料、およびその他の情報を追加できます。
• データ・サイエンティストは、チャレンジャー・モデルを AI ユース・ケースに関連付けて、モデルのパフォーマンスを比較できます。

バリデーターとその他の利害関係者は、AI のファセットをレビューして、コンプライアンスを確保し、開発から実動までの資産の進捗を認証します。 また、詳細を印刷、共有、またはアーカイブするために、ファセット・シートからレポートを生成することもできます。

より複雑なソリューションの計画

AI ガバナンスの実装はいつでも拡張できます。 ガバナンスを拡張するには、以下のオプションを検討してください。

• MLOps エンジニアは、モデル・トラッキングを拡張して、サード・パーティーの機械学習モデルを使用して作成された外部モデルを組み込むことができます。
• MLOps エンジニアは、詳細情報を追跡するために、カスタム・プロパティーをファクトシートに追加できます。
• コンプライアンス・アナリストは、組織の調整済みレポートを生成するために、デフォルトのレポート・テンプレートをカスタマイズできます。
• 統合するAI Factsheetsガバナンス コンソールを使用して、ガバナンス アクティビティのエンタープライズ ビューをサポートし、ガバナンス プロセスをサポートするワークフローを開発します。