ドリフト v2 評価の構成

ドリフト・アーカイブの計算

モデルの特徴のデータ分布を決定するために、トレーニングデータの分析に使用する方法を選択する必要があります。 トレーニングデータを接続し、そのサイズが500MB以下であれば、driftv2アーカイブを計算することができます。

トレーニングデータを接続しない場合、またはデータのサイズが500MBを超える場合は、ノートブックでdriftv2アーカイブを計算することを選択する必要があります。 また、画像や テキストモデルを評価したい場合は、ノートブックでdriftv2アーカイブを計算する必要があります。

スコアリングやdriftv2アーカイブの計算に使用するトレーニングデータの最大サンプルサイズを設定することで、トレーニングデータのサイズの制限を指定することができます。 non-watsonx.aiRuntime 以外のデプロイメントでは、driftv2アーカイブの計算には、モデルのスコアリング エンドポイントに対するトレーニング データのスコアリングに関連するコストがかかります。

ドリフトしきい値の設定

評価結果の問題を特定するために、各指標にしきい値を設定する必要があります。 設定した値により、メトリック・スコアがしきい値に違反した場合に表示されるアラートが 「洞察」ダッシュボード に作成されます。 0 から 1 の範囲の値を設定する必要があります。 違反を回避するには、メトリック・スコアをしきい値より小さくする必要があります。

重要なフィーチャーを選択する

表形式モデルの場合のみ、フィーチャーの重要度が計算され、フィーチャーのドリフトがモデルに与える影響を判断します。 フィーチャーの重要度を計算するには、モデルから、モデルの結果に最も大きな影響を与える重要なフィーチャーと最も重要なフィーチャーを選択します。

SHAPの説明を設定すると、グローバルな説明を使って重要な機能が自動的に検出される。

JSON ファイルをアップロードすることで、重要な機能のリストをアップロードすることもできます。 JSONファイルをアップロードするために使用できるサンプルスニペットが提供されています。 詳しくは、 機能の重要度のスニペットを参照してください。

サンプル・サイズの設定

サンプルサイズは、評価中に評価されるトランザクション数を処理するために提供される。 評価したいトランザクションの最低数を示す最小サンプル・サイズを設定する必要があります。 また、評価したいトランザクションの最大数を示す最大サンプルサイズを設定することもできます。

親トピック ：AIモデルの評価