モデル品質ドリフト評価指標

有効範囲 (Scope)

Copy link to section

モデル品質ドリフトメトリックは、機械学習モデルのみを評価します。

AI 資産の種類：機械学習モデル

スコアと価値

Copy link to section

モデル品質ドリフト指標スコアは、トレーニング精度から推定実行時精度への精度の低下を示します。

• 最高得点 ： 0.0
• 比率：
  • 0時：精度に変化なし
  • 0以上：精度の変化が増加

評価プロセス

Copy link to section

ドリフト検出モデルは、ドリフト v2 評価を設定して、グランドトゥルースなしでモデルが正確な予測を生成しているかどうかを予測する際に、ペイロードデータを処理して構築されます。 ドリフト検出モデルは、モデルから入力特徴とクラス確率を使用して、独自の入力特徴を作成します。

計算

Copy link to section

モデル品質のドリフトを算出するには、以下の式を使用します

モデルの精度は、トレーニングデータにおける正しく予測されたトランザクションの割合を測定することで、 base_accuracy として算出されます。 評価期間中、お客様の取引はドリフト検出モデルと照らし合わせてスコア化され、お客様のモデルによって予測された取引の正確性を測定します。 これらの取引は、 predicted_accuracy を算出するために処理された取引総数と比較されます。 predicted_accuracy が base_accuracy より小さい場合、モデル品質ドリフトスコアが生成されます。

親トピック： 評価指標