La mesure de la dérive de prédiction mesure le changement dans la distribution des classes prédites par le LLM.
Détails de l'indicateur
La dérive de prédiction est une mesure d'évaluation de la dérive de la distribution des données ( v2 ).
Portée
La mesure de la dérive des prédictions évalue uniquement les actifs d'IA générative.
Types d'actifs IA : modèles de messages
- Tâches d'IA générative :
- Classification de texte
- Langues prises en charge : anglais
Scores et valeurs
Le score de dérive de prédiction indique le changement dans la distribution des classes prédites par le LLM.
- Plage de valeurs : 0.0-1.0
- Meilleur score possible : 0.0
- Ratios :
- À 0 : Aucun changement n'est détecté.
- Plus de 0 : un changement croissant est détecté.
Calculs
La formule de distance de Jensen-Shannon suivante est utilisée pour calculer la dérive de prédiction :
La distance de Jensen-Shannon est la forme normalisée de la divergence de Kullback-Leibler (KL) qui mesure à quel point une distribution de probabilité diffère de la seconde distribution de probabilité. Jensen Shannon Distance est un score symétrique et a toujours une valeur finie.
est la divergence KL.
Sujet parent : Indicateurs d'évaluation