La métrique d'évaluation de la densité mesure le degré d'extraction du résumé dans la sortie foundation model à partir de l'entrée du modèle en calculant la moyenne des fragments extractifs qui ressemblent étroitement à des extractions verbatim du texte original.
Détails de l'indicateur
La densité est une mesure d'analyse de contenu pour les évaluations génératives de la qualité de l'IA qui évalue la sortie de votre modèle par rapport à l'entrée ou au contexte de votre modèle.
Portée
La mesure de la densité évalue uniquement les actifs d'IA générative.
- Types d'actifs IA : Modèles d'invites
- Tâches d'IA générative :
- Génération Augmentée de Récupération (RAG)
- Synthèse de texte
- Langues prises en charge : Anglais
Scores et valeurs
Le score de la métrique de densité indique le degré d'abstraction de la sortie du modèle et à quel point les fragments extraits ressemblent à des extraits verbatim du texte original. Les scores les plus bas indiquent que le modèle est plus abstrait et qu'en moyenne, les fragments extraits ne ressemblent pas beaucoup aux extraits textuels du texte original.
Plage de valeurs : 0.0-1.0
Paramètres
- Seuils :
- Limite inférieure : 0
- Limite supérieure : 1
Sujet parent : Mesures d'évaluation