La mesure d'évaluation de la correspondance exacte compare les chaînes de prédiction du modèle aux chaînes de référence pour mesurer la fréquence de correspondance des chaînes.
Détails de l'indicateur
La correspondance exacte est une mesure d'évaluation de la qualité de l'IA générative qui évalue la capacité des ressources d'IA générative à effectuer des tâches.
Portée
La mesure exact match évalue uniquement les ressources génératives de l'IA.
- Types d'actifs IA : modèles de messages
- Tâches d'IA générative :
- Réponse aux questions
- Extraction d'entités
- Récupération augmentée de génération (RAG)
- Langues prises en charge : anglais
Scores et valeurs
Le score de la mesure exact match indique la proportion de correspondances parfaites entre les chaînes de prédiction du modèle et les chaînes de référence. Des scores plus élevés indiquent que les chaînes de prédiction du modèle correspondent plus souvent aux chaînes de référence.
- Plage de valeurs : 0.0-1.0
- Meilleur score possible : 1.0
- Ratios :
- À 0 : Aucune correspondance avec la référence
- Plus de 0 : Au moins une correspondance exacte
Paramètres
- Seuils :
- Limite inférieure : 0.8
- Limite supérieure : 1
- Paramètres :
- Regexes à ignorer : Expressions Regex de caractères à ignorer lors du calcul des correspondances exactes.
- Ignorer la casse : Si True, tout est mis en minuscules afin que les différences de majuscules soient ignorées.
- Ignorer la ponctuation : si cette option est définie sur True, la ponctuation est supprimée avant la comparaison des chaînes.
- Ignorer les nombres : si cette option est définie sur True, tous les chiffres sont supprimés avant la comparaison des chaînes.
Sujet parent : Indicateurs d'évaluation