資料の 英語版 に戻る
ドリフト評価指標の埋め込み
ドリフト評価指標の埋め込み
最終更新: 2025年2月12日
埋め込みドリフト評価基準は、基準データと比較した際に異常値となるレコードの割合を検出します。
メトリックの詳細
埋め込みドリフトは、 v2 評価指標であり、モデルの一貫した結果を確保するために、時間の経過とともにデータに生じる変化を測定するのに役立ちます。
範囲
埋め込みドリフトメトリックは、生成型AI 資産のみを評価します。
- AI 資産の種類: テンプレートを即座に表示
- 生成型AIのタスク ：
- テキストの要約
- テキストの分類
- コンテンツの生成
- エンティティー抽出
- 質問への回答
- 検索支援強化型生成（RAG）
- 対応言語 ：英語
評価プロセス
埋め込みドリフトメトリックを有効にして評価結果を生成する際には、埋め込みをベースラインデータとともに提供する必要があります。 Watsonx.governance ベースラインデータ内の埋め込みを処理し、モデル出力に対してあらかじめ定義されたコサイン距離およびユークリッド距離のメトリクスを計算する自動エンコーダーを構築します。 Watsonx.governance 距離メトリックの分布を特定し、異常値検出のためのしきい値を設定し、距離メトリック値がしきい値よりも高い場合、ドリフトを検出します。 RAGタスクの場合、モデルレコードのすべてのコンテキスト列の埋め込みが、ドリフトを決定するために単一のベクトルに結合されます。
計算
埋め込みドリフトメトリックの計算には、以下の式が使用されます
コサイン距離は埋め込みベクトルの差を測定します
コサイン距離は、ベクトルが同一であることを示す0から、ベクトル間に相関がないことを示す1、ベクトルが逆であることを示す2までの範囲で変化します。
ユークリッド距離とは、ユークリッド空間における埋め込みベクトル間の最短距離のことである
ユークリッド距離は、完全に同一のベクトルを示す0から無限大までの範囲で変化します。 ただし、単位長さを持つように正規化されたベクトルについては、最大ユークリッド距離は 
です。
親トピック： 評価基準
トピックは役に立ちましたか?
0/1000