ドリフトの構成 v2 評価

ドリフト・アーカイブの計算

モデルの特徴のデータ分布を決定するために、トレーニングデータの分析に使用する方法を選択する必要があります。 トレーニングデータを接続し、そのサイズが500MB以下であれば、driftv2アーカイブを計算することができます。

トレーニングデータを接続しない場合、またはデータのサイズが500MBを超える場合は、ノートブックでdriftv2アーカイブを計算することを選択する必要があります。 また、画像や テキストモデルを評価したい場合は、ノートブックでdriftv2アーカイブを計算する必要があります。

スコアリングやdriftv2アーカイブの計算に使用するトレーニングデータの最大サンプルサイズを設定することで、トレーニングデータのサイズの制限を指定することができます。 non-watsonx.aiRuntime 以外のデプロイメントでは、driftv2アーカイブの計算には、モデルのスコアリング エンドポイントに対するトレーニング データのスコアリングに関連するコストがかかります。

ドリフトしきい値の設定

評価結果の問題を特定するために、各指標にしきい値を設定する必要があります。 設定した値により、メトリック・スコアがしきい値に違反した場合に表示されるアラートが 「洞察」ダッシュボード に作成されます。 0 から 1 の範囲の値を設定する必要があります。 違反を回避するには、メトリック・スコアをしきい値より小さくする必要があります。

重要なフィーチャーを選択する

表形式モデルの場合のみ、フィーチャーのドリフトがモデルに与える影響を判断するために、フィーチャーの重要度が計算されます。 フィーチャーの重要度を計算するには、モデルから、モデルの結果に最も大きな影響を与える重要なフィーチャーと最も重要なフィーチャーを選択します。

SHAPの説明を設定すると、グローバルな説明を使って重要な機能が自動的に検出される。

JSON ファイルをアップロードすることで、重要な機能のリストをアップロードすることもできます。 JSONファイルをアップロードするために使用できるサンプルスニペットが提供されています。 詳しくは、 機能の重要度のスニペットを参照してください。

サンプル・サイズの設定

サンプルサイズは、評価中に評価されるトランザクション数をどのように処理するかを理解するために使用される。 評価したいトランザクションの最低数を示す最小サンプル・サイズを設定する必要があります。 また、評価したいトランザクションの最大数を示す最大サンプルサイズを設定することもできます。

ドリフトしきい値の設定

独自の設定でドリフト v2 評価を構成するために、各メトリックの最小サンプル・サイズと最大サンプル・サイズを設定できます。 最小サンプル・サイズまたは最大サンプル・サイズは、評価するモデル・トランザクションの最小数または最大数を示します。

また、ベースライン・データを構成したり、各メトリックのしきい値を設定したりすることもできます。 しきい値は、評価の要約ページでアラートを作成します。このアラートは、評価指標スコアがしきい値に違反した場合に表示されます。 0 から 1 の範囲の値を設定する必要があります。 違反を回避するには、メトリック・スコアをしきい値より小さくする必要があります。

ドリフト・アーカイブの計算

Watsonx.governance は、ペイロード・レコードを使用して、ドリフト v2 評価のベースラインを確立します。 ベースライン・データとして計算するレコード数を構成する必要があります。 ノートブック を使用して、評価を構成するためのドリフト v2 ベースライン・データ・アーカイブを生成できます。

埋め込みを計算する

エンベッディング・ドリフト・メトリクスを計算するには、テスト・データとともにエンベッディングを提供する必要があります。 notebooksを使えば、エンベッディングを生成し、永続化することができます。

親トピック ：AIモデルの評価