責任があり、透明性があり、説明可能な AI ワークフローを推進するために、企業には、AI モデルを追跡、モニター、および再トレーニングするための統合システムが必要です。 Watsonx.governance は、企業が実動で機械学習および生成 AI モデルをモニター、保守、自動化、および管理できるようにするためのプロセスとテクノロジーを提供します。
チャレンジ
Watsonx.governance は、企業の以下の課題を解決するのに役立ちます。
- 機械学習モデルと生成 AI 資産のガバナンスとコンプライアンスの確保
- 組織は、コンプライアンスを確保し、すべての利害関係者に可視性を提供するために、機械学習モデルと生成 AI 資産の詳細な履歴を評価、追跡、および文書化する必要があります。
- リスクの管理と責任ある AI の確保
- 組織は、モデルが有効かつ正確であること、およびバイアスを導入したり、意図した目標から逸脱したりしていないことを確認するために、実動のモデルをモニターする必要があります。
- 機械学習モデルのモニターおよび再トレーニング
- 組織は、実動フィードバックに基づいて、機械学習モデルのモニターとリトレーニングを自動化する必要があります。
例: ゴールデン・バンクの課題
ゴールデンバンクがwatsonx.governanceを使用してAI資産を管理し、マーケティングプロモーションを分析して投資商品の販売を促進するプロセスを導入するまでのストーリーを追う。 チームは以下を行う必要があります。
- 機械学習モデルと生成 AI 資産をライフサイクル全体を通して追跡し、資産に関する事実を収集して共有し、ガバナンスとコンプライアンスの目標を達成できるようにします。
- デプロイされたモデルの公平性、正確度、説明可能性、およびドリフトをモニターします。
- 基礎モデルがどの程度効果的に応答を生成するかを測定するために、それらの要約および質問への回答のプロンプト・テンプレートを評価します。
- パイプラインを作成して、リトレーニング・プロセスを簡素化します。
プロセス
企業に watsonx.governance を実装するために、組織は以下のプロセスに従うことができます。
Watsonx.ai および watsonx.governance は、組織が AI 資産を管理するために必要なツールとプロセスを提供します。
1. 機械学習モデルとプロンプト・テンプレートの追跡
チームは、要求から実動まで機械学習モデルおよびプロンプト・テンプレートを追跡し、それらが組織の規制および要件に準拠しているかどうかを評価することができます。
| 使用可能なもの | 実行できる操作 | 使用時に最適 |
|---|---|---|
| ファクト・シート | AI ユース・ケースを作成して、要求から実動まで AI 資産を追跡および管理します。 すべての登録済み資産のライフサイクル状況を表示し、モデル・ユース・ケースに登録されているモデル、デプロイメント、またはプロンプト・テンプレートの詳細なファクト・シートにドリルダウンします。 AI ユース・ケースに関連付けられている追跡対象の各資産の公平性の詳細を確認します。 ドリフトの詳細。 |
データ・サイエンス・チームから新しいモデルまたはプロンプト・テンプレートを要求する必要があります。 モデルまたはプロンプト・テンプレートが準拠しており、期待どおりに機能していることを確認する必要があります。 トラッキング・データに基づいてモデルまたはプロンプト・テンプレートを更新する必要があるかどうかを判別する必要があります。 詳細を共有または保持するために、追跡対象資産に対してレポートを実行します。 |
例: ゴールデン・バンクのモデル・トラッキング
ゴールデン・バンクのビジネス・アナリストは予測モデルを要求した。 その後、データ・サイエンティストまたは ML エンジニアがモデルを作成してトレーニングし、 ModelOps エンジニアがモデルをデプロイして評価する際に、AI ライフサイクルのすべての段階でモデルを追跡できます。 ファセット・シートは、モデル履歴に関する詳細を文書化し、そのパフォーマンスを示すメトリックを生成します。
2. 機械学習モデルとプロンプト・テンプレートの評価
プロジェクトまたはデプロイメント・スペース内の機械学習モデルおよびプロンプト・テンプレートを評価して、それらのパフォーマンスを測定することができます。 機械学習モデルの場合、モデルの品質、公平性、および正確度を評価します。 基礎モデルについては、foundation modelのタスクを評価し、モデルがどのように応答を生成するかを理解する。
| 使用可能なもの | 実行できる操作 | 使用時に最適 |
|---|---|---|
| プロジェクト | プロジェクトをコラボレーション・ワークスペースとして使用して、機械学習モデルの構築、ファウンデーション・モデルのプロンプト、機械学習モデルとプロンプト・テンプレートの保存、および機械学習モデルとプロンプト・テンプレートの評価を行います。 デフォルトでは、 watsonxに登録すると、サンドボックス・プロジェクトが自動的に作成されます。 | 機械学習モデルとプロンプト・テンプレートでコラボレーションしたいと考えています。 |
| スペース・ユーザー・インターフェース | スペース UI を使用して、機械学習モデル、プロンプト・テンプレート、およびその他の資産をプロジェクトからスペースにデプロイして評価します。 | 機械学習モデルとプロンプト・テンプレートをデプロイして評価し、コラボレーション・ワークスペースにデプロイメント情報を表示する必要があります。 |
例: ゴールデン・バンクの迅速な評価
ゴールデン・バンクのデータ・サイエンティストとプロンプト・エンジニアリング・チームが協力して、テスト・データを使用して、プロンプトの生成とクエスチョン・アンサリング・プロンプトのテンプレートを評価しています。 彼らは、foundation modelのパフォーマンスを測定し、モデルがどのように反応を生成するかを理解したいと考えている。 評価はAI Factsheetsで追跡されるため、チーム全体が開発段階から生産段階に至るまで、ライフサイクル全体を監視することができる。
3. デプロイされた機械学習モデルおよびプロンプト・テンプレートのモニター
モデルをデプロイした後、それらが説明可能かつ透過的であることを確認するために、それらを管理およびモニターすることが重要です。 データ・サイエンティストは、予測に暗黙的または明示的なバイアスがあるかどうかを判別できるように、モデルがどのように特定の予測に到達するかを説明できる必要があります。 ドリフト評価を構成して、時間の経過に伴うデータの変化を測定し、モデルの一貫性のある結果を確保することができます。 ドリフト評価を使用して、モデル出力の変化、予測の精度、および入力データの分布を特定します。
| 使用可能なもの | 実行できる操作 | 使用時に最適 |
|---|---|---|
| Watson OpenScale | 複数の特徴量にわたるモデルの公平性の問題をモニターします。 時間の経過に伴うモデルのパフォーマンスとデータの整合性をモニターします。 重み付けされた要因を使用して、モデルがどのように特定の予測に到達したかを説明します。 組織全体のモデル・ガバナンスとライフサイクルを維持して報告します。 |
保護されている特徴量や、予測の公平性に寄与する可能性のある特徴量があります。 モデルのパフォーマンスとデータの整合性を経時的にトレースする必要があります。 モデルが特定の予測を行う理由を知りたいと考えています。 |
例: ゴールデン・バンクのモデル・モニタリング
ゴールデンバンクのデータサイエンティストは、Watson OpenScaleを使用して、展開された予測モデルの正確性、公平性、説明可能性を監視しています。 ノートブックを実行してモデルのモニターをセットアップし、 Watson OpenScale ユーザー・インターフェースを使用して構成を微調整します。 Watson OpenScale 品質モニターおよび公平性モニターからのメトリックを使用して、データ・サイエンティストは、モデルが結果をどの程度適切に予測し、バイアスのある結果を生成するかを判断します。 また、モデルがどのように意思決定に至るかについての洞察も得られるので、データ分析者に意思決定を説明することができる。
watsonx.governance のチュートリアル
| チュートリアル | 説明 | チュートリアルの専門知識 |
|---|---|---|
| プロンプト・テンプレートの評価と追跡 | プロンプトテンプレートを評価し、foundation modelのパフォーマンスを測定し、プロンプトテンプレートのライフサイクルを追跡する。 | 評価ツールと AI ユース・ケースを使用して、プロンプト・テンプレートを追跡します。 |
| 機械学習モデルの評価 | モデルをデプロイし、デプロイされたモデルのモニターを構成し、モデルを評価します。 | ノートブックを実行してモデルを構成し、 Watson OpenScale を使用して評価します。 |
| スペースでの展開を評価する | モデルをデプロイし、デプロイされたモデルのモニターを設定し、デプロイメントスペースでモデルを評価する。 |
ネクスト・ステップ
- watsonx.ai を使用した機械学習および生成 AI モデルの構築
- watsonx.data Presto により、すべてのデータに対して、AI ワークロードをどこでも拡張できます
詳細情報
- IBM watsonx の概要
- watsonx.aiStudioの概要
- watsonx.aiランタイムの概要
- Watson OpenScale の概要
- 動画
- セルフサービス・サイトでさまざまなユース・ケースを試すことができます。 watsonxで構築されたライブ・アプリケーションを体験するためのユース・ケースを選択します。 開発者は、プロジェクトを加速するために、サンプル・アプリケーション・コードとともに、プロンプトの選択および構成ガイダンスにアクセスします。
親トピック: ユース・ケース