La mesure d'inclusion de mots-clés mesure la similarité des noms et des pronoms entre la sortie du modèle de base et la référence ou la vérité terrain.
Détails de l'indicateur
L'inclusion de mots-clés est une mesure qui détermine la capacité de votre modèle à générer du texte qui correspond à certaines phrases ou mots-clés dans la référence ou la vérité terrain. L'indicateur n'est disponible que lorsque vous utilisez le SDK d' Python s pour calculer les indicateurs d'évaluation. Pour plus d'informations, voir Computing Adversarial robustness and Prompt Leakage Risk using IBM watsonx.governance.
Portée
La mesure d'inclusion des mots-clés évalue uniquement les actifs d'IA générative.
- Types d'actifs IA : modèles de messages
- Tâches d'IA générative :
- Synthèse de texte
- Réponse aux questions
- Récupération augmentée de génération (RAG)
- Langues prises en charge : anglais
Scores et valeurs
Le score de mesure d'inclusion des mots-clés indique la proportion de mots-clés qui existent dans le résultat généré et la référence ou la vérité terrain.
- Plage de valeurs : 0.0-1.0
- Meilleur score possible : 1.0
- Ratios :
- À 0 : Aucun mot-clé similaire n'est inclus dans la sortie
- Plus de 0 : un nombre croissant de mots-clés similaires sont inclus dans la sortie.
Sujet parent : Indicateurs d'évaluation