La mesure d'évaluation de la dérive d'intégration détecte le pourcentage d'enregistrements qui sont des valeurs aberrantes par rapport aux données de référence.
Détails de l'indicateur
L'embedding drift est une mesure d'évaluation de l' v2 s de dérive qui peut aider à mesurer les changements dans vos données au fil du temps afin de garantir des résultats cohérents pour votre modèle.
Portée
La mesure de la dérive d'intégration évalue uniquement les actifs d'IA générative.
- Types d'actifs IA : modèles de messages
- Tâches d'IA générative :
- Synthèse de texte
- Classification de texte
- Génération de contenu
- Extraction d'entités
- Réponse aux questions
- Récupération Augmentée Génération (RAG)
- Langues prises en charge : anglais
Processus d'évaluation
Vous devez fournir des intégrations avec vos données de référence lorsque vous activez la mesure de dérive des intégrations pour générer des résultats d'évaluation. Watsonx.governance construit un auto-encodeur qui traite les incorporations dans vos données de référence et calcule des métriques de distance cosinus et euclidienne prédéfinies pour la sortie du modèle. Watsonx.governance identifie la distribution des mesures de distance pour définir un seuil de détection des valeurs aberrantes et détecte la dérive si la valeur de la mesure de distance est supérieure au seuil. Pour les tâches RAG, les incorporations de toutes les colonnes de contexte de votre enregistrement modèle sont combinées en un seul vecteur pour déterminer la dérive.
Calculs
Les formules suivantes sont utilisées pour calculer la mesure de dérive d'intégration :
La distance cosinus mesure la différence entre les vecteurs d'intégration :
La distance cosinus varie entre 0, qui indique des vecteurs identiques, 1, qui indique l'absence de corrélation entre les vecteurs, et 2, qui indique des vecteurs opposés.
La distance euclidienne est la distance la plus courte entre des vecteurs d'intégration dans l'espace euclidien :
La distance euclidienne varie entre 0, qui indique des vecteurs complètement identiques, et l'infini. Cependant, pour les vecteurs normalisés de longueur unité, la distance euclidienne maximale est l' 
.
Sujet parent : Indicateurs d'évaluation