IBM watsonx.aiRuntime を使用して、ペイロードのロギング、フィードバックのロギング、機械学習モデルを評価する際のパフォーマンス精度、ランタイム・バイアス検出、ドリフト検出、説明可能性、自動デビアス機能の測定を行うことができます。
機械学習モデルの評価には、以下のIBM watsonx.aiRuntime フレームワークがサポートされています：
表 1. フレームワークのサポート詳細
| フレームワーク | 問題のタイプ | データ・タイプ |
|---|---|---|
| AutoAI1 | 分類 (二項および多項) | 構造化 (データ、テキスト) |
| AutoAI | 回帰 | 構造化または非構造化2 (テキストのみ) |
| Apache Spark MLlib | 機密区分 | 構造化または非構造化2 (テキストのみ) |
| Apache Spark MLLib | 回帰 | 構造化または非構造化2 (テキストのみ) |
| Keras と TensorFlow3&4 | 機密区分 | 非構造化2 (画像、テキスト) |
| Keras と TensorFlow3&4 | 回帰 | 非構造化2 (画像、テキスト) |
| Python 関数 | 機密区分 | 構造化 (データ、テキスト) |
| Python 関数 | 回帰 | 構造化 (データ、テキスト) |
| scikit-learn5 | 機密区分 | 構造化 (データ、テキスト) |
| scikit-learn | 回帰 | 構造化 (データ、テキスト) |
| XGBoost6 | 機密区分 | 構造化 (データ、テキスト) |
| XGBoost | 回帰 | 構造化 (データ、テキスト) |
1AutoAI について詳しくは、AutoAI実装の詳細を参照してください。 訓練データが Cloud Object Storage にあるモデルの場合、ブール・タイプの公平性属性はサポートされません。 しかし、学習データがDb22にある場合、モデル評価はブール型の公正属性をサポートする。 AutoAIオプションを使用する場合、モデル予測がバイナリ・データ型の場合、モデル評価はサポートされません。 このようなモデルは、予測のデータ・タイプがストリング・データ・タイプになるように変更する必要があります。
2非構造化 (画像またはテキスト) データ・タイプでは、公平性指標およびドリフト指標はサポートされません。
3Keras のサポートには、公平性のサポートは含まれていません。
4説明性は、モデル/フレームワークが予測確率を出力する場合にサポートされます。
5ドリフト検出モデルを生成するには、ノートブックで scikit-learn バージョン 1.3.2 を使用する必要があります。
6 XGBoost バイナリー・モデルおよび複数クラス・モデルの場合は、バイナリー・モデルの場合は数値の形式で予測確率を返し、複数クラス・モデルの場合はクラスごとの確率のリストを返すようにモデルを更新する必要があります。 Support for the XGBoost framework has the following limitations for classification problems: For binary classification, the binary:logistic logistic regression function with an output as a probability of True is supported for model evaluations. 多クラス分類の場合、各データ点が各クラスに属する確率の予測結果を含む'multi:softprob関数がモデル評価のためにサポートされています。
AutoAI モデルと訓練データ
AutoAI は、データを自動的に準備し、アルゴリズムまたは推定法を適用し、データとユース・ケースに最適なモデル・パイプラインを作成します。 評価用のモデルを分析するには、トレーニングデータにアクセスする必要がある。
AutoAIモデルの評価では、通常のモデルのようにトレーニングデータの場所が検出されないため、トレーニングデータの場所にアクセスするために必要な詳細を明示的に提供する必要があります：
- モニターを手動で構成するオンライン・パスの場合は、トレーニング・データにアクセスできるデータベースの詳細を指定する必要があります。
- 訓練データ分布をアップロードするカスタム・ノートブック・パスの場合は、ノートブックを実行して生成した JSON ファイルを使用できます。
詳しくは、モデル詳細の入力を参照してください。
IBM watsonx.aiRuntime サービスインスタンスの指定
モデル評価を設定する最初のステップは、IBM watsonx.aiRuntime インスタンスを指定することです。 watsonx.aiRuntime インスタンスは、AI モデルとデプロイメントを保存する場所です。
前提条件
モデル評価用のサービスインスタンスが存在するのと同じアカウントまたはクラスターに、IBM watsonx.aiRuntime インスタンスをプロビジョニングする必要があります。 他のアカウントまたはクラスターでIBM watsonx.aiRuntime インスタンスをプロビジョニングしている場合、そのインスタンスにモデル評価用の自動ペイロードロギングを設定することはできません。
watsonx.aiRuntime サービスインスタンスに接続します
IBM watsonx.aiRuntimeインスタンスのAIモデルやデプロイメントに接続して、モデルの評価を行うことができます。 サービスを接続するには、「Configure'
タブで機械学習プロバイダーを追加し、「Edit'
アイコンをクリックする。 名前と説明、「実動前」環境タイプと「実動」環境タイプのどちらであるかに加えて、このタイプのサービス・インスタンスに固有の以下の情報を指定する必要があります。
- IBM watsonx.aiRuntime のインスタンスがある場合は、構成情報とともにインスタンスが検出されます。