La métrique de robustesse des questions détecte les fautes d'orthographe en anglais dans les questions d'entrée du modèle.
Détails de l'indicateur
La robustesse des questions est une mesure qui calcule le pourcentage de questions incorrectes envoyées au modèle. Le risque de fuite rapide est une mesure qui évalue la robustesse d'un modèle prompt contre les attaques par fuite. L'indicateur n'est disponible que lorsque vous utilisez le SDK d' Python s pour calculer les indicateurs d'évaluation. Pour plus d'informations, voir Computing Adversarial Robustness and Prompt Leakage Risk using IBM watsonx.governance.
Portée
La mesure de la robustesse des questions évalue uniquement les actifs d'IA générative.
- Types d'actifs IA : modèles de messages
- Tâches d'IA générative :
- Réponse aux questions
- Récupération augmentée de génération (RAG)
- Langues prises en charge : anglais
Scores et valeurs
Le score de la mesure de robustesse des questions indique le pourcentage de questions incorrectes envoyées au modèle.
- Plage de valeurs : 0.0-1.0
- Meilleur score possible : 1.0
Sujet parent : Indicateurs d'évaluation