La métrique de dérive des métadonnées de sortie mesure le changement dans la distribution des métadonnées de texte de sortie LLM.
Détails de l'indicateur
La dérive des métadonnées de sortie est une mesure d'évaluation de la dérive de l' v2, qui peut aider à mesurer les changements de vos données au fil du temps afin de garantir des résultats cohérents pour votre modèle.
Les types suivants de métadonnées textuelles de sortie LLM sont mesurés avec la dérive des métadonnées de sortie :
Nombre de caractères : nombre total de caractères dans le texte de sortie
Nombre de mots : Nombre total de mots dans le texte de sortie
Nombre de jetons : nombre total de jetons dans le texte de sortie
Nombre de phrases : nombre total de phrases dans le texte de sortie
Longueur moyenne des mots : Longueur moyenne des mots dans le texte de sortie
Longueur totale des mots : Longueur totale des mots dans le texte de sortie
Longueur moyenne des phrases : Longueur moyenne des phrases dans le texte de sortie
Portée
La dérive des métadonnées de sortie n'évalue que les ressources d'IA générative.
- Types d'actifs IA : modèles de messages
- Tâches d'IA générative :
- Synthèse de texte
- Classification de texte
- Génération de contenu
- Réponse aux questions
- Langues prises en charge : anglais
Scores et valeurs
Le score de dérive des métadonnées de sortie indique le changement dans la distribution des métadonnées textuelles de sortie du LLM.
- Plage de valeurs : 0.0-1.0
- Meilleur score possible : 0.0
- Ratios :
- À 0 : Aucun changement n'est détecté.
- Plus de 0 : un changement croissant est détecté.
Processus d'évaluation
Watsonx.governance calcule la dérive des métadonnées de sortie en mesurant le changement dans la distribution des colonnes de métadonnées. La colonne du nombre de jetons de sortie, si elle est présente dans la charge utile, est également utilisée pour calculer la dérive des métadonnées de sortie. Vous pouvez également choisir de spécifier des méta-champs lors de l'ajout d'enregistrements dans la table de données utiles. Ces méta-champs sont également utilisés pour calculer la dérive des métadonnées de sortie.
Calculs
La formule de logarithme binaire suivante est utilisée pour identifier les colonnes de métadonnées de sortie numériques discrètes :
If the `distinct_values_count` is less than the binary logarithm of the `total_count`, the feature is identified as discrete.
For discrete output metadata columns, watsonx.governance uses the [Jensen Shannon distance](#jensen-shannon-distance) formula to calculate output metadata drift.
For continuous output metadata columns, watsonx.governance uses the [total variation distance](#total-variation-distance) and [overlap coefficient](#overlap-coefficient) formulas to calculate output metadata drift:
La formule de distance de Jensen-Shannon suivante est utilisée pour calculer la dérive des métadonnées de sortie pour les colonnes de métadonnées de sortie discrètes :
La distance de Jensen-Shannon est la forme normalisée de la divergence de Kullback-Leibler (KL) qui mesure à quel point une distribution de probabilité diffère de la seconde distribution de probabilité. Jensen Shannon Distance est un score symétrique et a toujours une valeur finie.
est la divergence KL.
Les formules de distance de variation totale et de coefficient de chevauchement sont utilisées pour calculer la dérive des métadonnées de sortie pour les colonnes de métadonnées de sortie continues.
La distance de variation totale mesure la différence maximale entre les probabilités que deux distributions de probabilités, de référence (B) et de production (P), attribuent à la même transaction, comme indiqué dans la formule suivante :
Si les deux distributions sont égales, la distance de variation totale entre elles devient 0.
La formule suivante est utilisée pour calculer la distance de variation totale :
𝑥 est une série d'échantillons équidistants qui couvrent le domaine de l'
, allant du minimum combiné des données de référence et de production au maximum combiné des données de référence et de production.
est la différence entre deux échantillons 𝑥 consécutifs.
est la valeur de la fonction de densité pour les données de production à un échantillon 𝑥.
est la valeur de la fonction de densité pour les données de base pour un échantillon à 𝑥.
Le dénominateur « 
» représente la surface totale sous les courbes de la fonction de densité pour les données de production et de référence. Ces sommes sont une approximation des intégrales sur l'espace des domaines et ces deux termes devraient être égaux à 1 et le total devrait être égal à 2.
Le coefficient de recouvrement est calculé en mesurant la surface totale de l'intersection entre deux distributions de probabilité. Pour mesurer la dissemblance entre les distributions, l'intersection ou la zone de chevauchement est soustraite de 1 pour calculer le degré de dérive. La formule suivante est utilisée pour calculer le coefficient de chevauchement :
𝑥 est une série d'échantillons équidistants qui couvrent le domaine de l'
, allant du minimum combiné des données de référence et de production au maximum combiné des données de référence et de production.- est la différence entre deux échantillons 𝑥 consécutifs.
- est la valeur de la fonction de densité pour les données de production à un échantillon 𝑥.
- est la valeur de la fonction de densité pour les données de base pour un échantillon à 𝑥.
Sujet parent : Indicateurs d'évaluation