La métrique de compression mesure la réduction du résumé généré par rapport au texte d'entrée en calculant le rapport entre le nombre de mots dans le texte original et le nombre de mots dans la sortie foundation model.
Détails de l'indicateur
La compression est une mesure d'analyse du contenu pour les évaluations de la qualité de l'IA générative qui évalue la sortie du modèle par rapport à l'entrée ou au contexte du modèle. La mesure n'est disponible que lorsque vous utilisez le SDK Python pour calculer les mesures d'évaluation.
Portée
La mesure de compression évalue uniquement les actifs d'IA générative.
- Types d'actifs IA : Modèles d'invites
- Tâches d'IA générative : Résumé de texte
- Langues prises en charge : Anglais
Scores et valeurs
Le score de la métrique de compression indique la concision avec laquelle un résumé généré réduit la longueur du texte original. Un score élevé indique que le résumé est plus concis que le texte original.
Plage de valeurs : 0.0-1.0
- Ratios :
- 0.2: Résumé très condensé qui risque d'omettre des détails essentiels
- 0.5: Compression équilibrée
- 0.9: Compression minimale qui conserve en grande partie le texte original
Paramètres
- Seuils : Limite inférieure : 0
Sujet parent : Mesures d'évaluation