責任を持ち、透明性があり、説明可能な AI ワークフローを推進するために、企業は AI モデルを追跡、モニター、およびリトレーニングするための統合システムを必要としています。 Cloud Pak for Data as a Service は、企業が実稼働環境で機械学習および AI モデルをモニター、保守、自動化、および管理できるようにするためのプロセスとテクノロジーを提供します。
このビデオを視聴して、AI ガバナンス・ソリューションを実装するためのユース・ケースを確認してください。
このビデオは、本書の概念とタスクを学習するためのビジュアル・メソッドを提供します。
チャレンジ
AI ガバナンスのユース・ケースを実装することで、企業の以下の課題を解決できます。
- モデルのガバナンスとコンプライアンスの確保
- 組織は、コンプライアンスを確保し、すべての利害関係者に可視性を提供するために、モデルの詳細な履歴を追跡して文書化する必要があります。
- リスクの管理と責任ある AI の確保
- 組織は、モデルが有効かつ正確であること、およびバイアスを導入したり、意図した目標から逸脱したりしていないことを確認するために、実動のモデルをモニターする必要があります。
- モデル・ライフサイクルの運用化
- 組織は、モデルを効率的にリトレーニングして実稼働環境にデプロイするために、反復可能なプロセスを実装する必要があります。
例: ゴールデン・バンクの課題
ゴールデン・バンクのストーリーに従って AI ガバナンス・プロセスを実装し、新しいオンライン・アプリケーション・プロセスがコンプライアンスに準拠し、説明可能であることを確認します。 ゴールデン・バンクのビジネス・アナリストは、コンプライアンスを確保するためにモデル情報を検討し、開発から実動までのモデルの進捗を認証し、共有またはアーカイブするためのレポートを生成する必要があります。
プロセス
企業の AI ガバナンスを実装するために、組織は以下のプロセスに従うことができます。
Cloud Pak for Data as a Serviceのwatsonx.aiStudio、watsonx.aiRuntime、Watson OpenScale、およびIBM Knowledge Catalogサービスは、組織が AI ガバナンス・ソリューションを実装するために必要なツールとプロセスを提供します。
1. モデルの追跡
チームは、機械学習モデルを要求から実動まで追跡し、モデルが組織の規制および要件に準拠しているかどうかを評価できます。
| 使用できるもの | できること | 最適な使用のタイミング |
|---|---|---|
| ファクト・シート | IBM Knowledge Catalog のカタログ内のモデル・インベントリで、新しいモデルのユースケースを作成します。 ' 登録されているすべてのアセットのライフサイクル・ステータスを表示し、モデル・ユースケースに登録されているモデルまたはデプロイメントの詳細なファクトシートにドリルダウンします。 ' 一般的なモデルの詳細、トレーニング情報、メトリクス、入出力スキーマを表示します。 ' 一般的なデプロイの詳細、評価の詳細、品質メトリクス、公平性の詳細、ドリフトの詳細を表示します。 |
データ・サイエンス・チームに新しいモデルを要求する必要があります。 モデルが準拠しており、期待どおりに実行されていることを確認します。 トラッキング・データに基づいてモデルを更新する必要があるかどうかを判別します。 詳細を共有または保持するために、モデルに対してレポートを実行します。 |
例: ゴールデン・バンクのモデル追跡
ゴールデン・バンクのビジネス・アナリストは、「住宅ローン承認モデル」を要求しています。 その後、データ・サイエンティストがモデルを構築してトレーニングし、 ModelOps エンジニアがモデルをデプロイして評価する際に、AI ライフサイクルのすべてのステージを通してモデルを追跡できます。 ファセット・シートは、モデル履歴に関する詳細を文書化し、そのパフォーマンスを示すメトリックを生成します。
2. デプロイされたモデルのモニター
モデルをデプロイした後は、モデルが説明可能で透明性があるようにするために、それらのモデルを管理およびモニターすることが重要です。 データ・サイエンティストは、モデルがどのように特定の予測に到達するかを説明して、予測に暗黙的または明示的なバイアスがあるかどうかを判別できるようにする必要があります。 また、モデルのライフサイクルを通して、モデルのパフォーマンスやデータ整合性の問題を監視することがベスト・プラクティスです。
| 使用できるもの | できること | 最適な使用のタイミング |
|---|---|---|
| Watson OpenScale | 複数の特徴量にわたるモデルの公平性の問題をモニターします。 時間の経過に伴うモデルのパフォーマンスとデータの整合性をモニターします。 重み付けされた要因を使用して、モデルがどのように特定の予測に到達したかを説明します。 組織全体のモデルのガバナンスとライフサイクルを維持し、レポートします。 |
保護されている特徴量、または予測の公平性に寄与する可能性がある特徴量があります。 時間の経過に伴うモデルのパフォーマンスとデータの整合性をトレースする必要があります。 モデルが特定の予測を行う理由を把握する必要があります。 |
例: ゴールデン・バンクのモデル・モニタリング
ゴールデン・バンクのデータ・サイエンティストは、 Watson OpenScale を使用して、デプロイされた「住宅ローン承認モデル」をモニターし、それが正確であり、すべてのゴールデン・バンクの住宅ローン申請者を公平に扱うことを確認します。 モデルのモニターをセットアップするためにノートブックを実行し、 Watson OpenScale ユーザー・インターフェースを使用して構成を微調整します。 データ・サイエンティストは、 Watson OpenScale 品質モニターおよび公平性モニターからの指標を使用して、モデルがどの程度効果を予測しているか、およびバイアスのある結果を生成しているかどうかを判別します。 また、ローン申請者に意思決定を説明できるように、モデルがどのように意思決定に対応するかについての洞察も得られます。
3. AI ライフサイクルの自動化
チームは、オーケストレーション・パイプラインを使用して、MLOps と AI のライフサイクルを自動化し、簡素化することができます。
| 使用できるもの | できること | 最適な使用のタイミング |
|---|---|---|
| オーケストレーション・パイプライン | パイプラインを使用して、データ取り込みからモデルのトレーニング、テスト、およびデプロイメントに至るまで、機械学習パイプラインを自動化する反復可能でスケジュールされたフローを作成します。 | MLOps フロー内の一部またはすべてのステップを自動化する必要があります。 |
例: ゴールデン・バンクの自動 ML ライフサイクル
ゴールデン・バンクのデータ・サイエンティストは、パイプラインを使用して AI ガバナンスのライフサイクルとプロセス全体を自動化し、モデルのリトレーニング・プロセスを簡素化できます。
AI ガバナンスのチュートリアル
| チュートリアル | 説明 | チュートリアルの専門知識 |
|---|---|---|
| モデルの作成およびデプロイのチュートリアル | モデルをトレーニングし、デプロイメント・スペースにプロモートし、モデルをデプロイします。 | ノートブックを実行します。 |
| モデルのテストと検証のチュートリアル | 正確度、公平性、および説明可能性についてモデルを評価します。 | ノートブックを実行し、ユーザー・インターフェースで結果を表示します。 |
もっと見る
親トピック: ユース・ケース