La métrique des demandes sans réponse mesure le ratio de questions auxquelles il n'a pas été répondu par rapport au nombre total de questions.
Détails de l'indicateur
Les requêtes infructueuses sont une mesure de la qualité des réponses pour les évaluations de la qualité de l'IA générative qui peut aider à mesurer la qualité des réponses du modèle. Les mesures de la qualité des réponses sont calculées à l'aide de modèles de LLM en tant que juge. Watsonx.governance ne calcule pas la mesure des demandes infructueuses avec des modèles affinés.
Portée
La métrique des demandes infructueuses évalue uniquement les actifs d'IA générative.
- Types d'actifs IA : modèles de messages
- Tâches d'IA générative :
- Récupération Augmentée Génération (RAG)
- Réponse aux questions
- Langues prises en charge : anglais
Scores et valeurs
Le score métrique des demandes infructueuses indique dans quelle mesure les modèles fournissent des réponses aux questions. Des scores plus élevés indiquent que le modèle ne peut pas fournir de réponses à la question.
- Plage de valeurs : 0.0-1.0
- Meilleur score possible : 1.0
Paramètres
- Seuils :
- Limite inférieure : 0
- Limite supérieure : 1
Sujet parent : Indicateurs d'évaluation