Vous devez fournir des données utiles pour configurer la dérive v2 et les évaluations de la qualité de l'IA générative dans watsonx.governance.
Les données de contenu contiennent toutes vos transactions de modèle. Vous pouvez consigner les données de contenu avec watsonx.governance pour activer les évaluations. Pour consigner les données de contenu utile, watsonx.governance doit recevoir des demandes d'évaluation.
Journalisation des données de contenu utile
Lorsque vous envoyez une demande d'évaluation, watsonx.governance traite vos transactions de modèle afin d'activer les évaluations de modèle. Watsonx.governance évalue les données et les stocke en tant qu'enregistrements dans une table de journalisation de contenu utile dans le magasin de données watsonx.governance .
La table de journalisation de contenu utile contient les colonnes suivantes lorsque vous évaluez les modèles d'invite:
- Colonnes requises:
- Variable (s) d'invite: contient les valeurs des variables créées pour les modèles d'invite
generated_text: Contient la sortie générée par le foundation model
- Colonnes facultatives:
input_token_count: contient le nombre de jetons dans le texte d'entréegenerated_token_count: contient le nombre de jetons dans le texte généréprediction_probability: contient la valeur agrégée des probabilités de journal des jetons générés qui représentent la sortie gagnante
La table peut également inclure des colonnes d'horodatage et d'ID pour stocker vos données en tant qu'enregistrements d'évaluation.
Vous pouvez consulter votre tableau d'enregistrement des charges utiles en accédant à la base de données que vous avez spécifiée pour le datamart ou en utilisant le SDKPython, comme indiqué dans l'exemple suivant :
Envoi de données de contenu
Si vous utilisez IBM watsonx.ai Runtime comme fournisseur d'apprentissage automatique, watsonx.governance enregistre automatiquement les données de charge utile lorsque votre modèle est évalué.
Après avoir configuré les évaluations, vous pouvez également utiliser un noeud final de journalisation de contenu utile pour envoyer des demandes d'évaluation afin d'exécuter des évaluations à la demande. Pour les modèles de production, vous pouvez également télécharger des données utiles avec un fichier CSV pour envoyer des demandes d'évaluation. Pour plus d'informations, voir Envoi de transactions de modèle.
En savoir plus
Journalisation de contenu utile
Sujet parent : Gestion des données pour l'évaluation des modèles