Gestion des données de commentaires en retour
Vous devez fournir des données de retour dans watsonx.governance pour vous permettre de configurer des évaluations de la qualité et de déterminer tout changement dans les prédictions de votre modèle.
Lorsque vous fournissez des données de retour, vous pouvez évaluer régulièrement la précision des prévisions de votre modèle.
Consignation des commentaires en retour
Les données de retour d'information que vous fournissez sont stockées sous forme d'enregistrements dans un tableau d'enregistrement des retours d'information.
Les données de retour que vous fournissez doivent contenir la même structure de colonnes de caractéristiques et de prédictions que vos données de formation. Les données doivent également inclure le résultat de modèle connu. Les colonnes des données de retour d'information que vous fournissez et qui ne sont pas incluses dans les données de formation ne sont pas traitées.
Vous devez enregistrer vos données de feedback dans la table d'enregistrement du feedback pour configurer les évaluations de la qualité et de la qualité de l'IA générative. La table de consignation des commentaires en retour contient les colonnes suivantes lorsque vous évaluez les modèles d'invite:
- Colonnes requises:
- Variable (s) d'invite: contient les valeurs des variables créées pour les modèles d'invite
reference_output: contient la valeur de données de référence
- Colonnes facultatives:
_original_prediction: Contient la sortie générée par le foundation model
Les évaluations de la qualité de l'IA générative utilisent des données de retour pour générer des résultats pour les types de tâche suivants lorsque vous évaluez des modèles d'invite:
- Synthèse de texte
- Génération de contenu
- Réponse aux questions
- Extraction d'entités
Les évaluations de qualité utilisent des données de retour pour générer des résultats pour les tâches de classification de texte.
Téléchargement de données de retour
Vous pouvez utiliser un noeud final de journalisation des commentaires en retour pour télécharger des données pour les évaluations de qualité. Vous pouvez également télécharger des données de retour avec un fichier CSV. Pour plus d'informations, voir Envoi de transactions de modèle.
Pour les modèles de pré-production, vous pouvez vous connecter à un fichier CSV contenant des données de retour stockées dans Cloud Object Storage ou Db2. Pour plus d'informations, voir Examen des résultats d'évaluation.
Rubrique parent: Gestion des données pour les évaluations de modèle dans Watson OpenScale