Vous pouvez analyser les transactions du modèle pour comprendre comment votre modèle prédit les résultats. Par exemple, vous pouvez passer en revue les résultats biaisés prévus dans les transactions de contenu ou analyser une baisse de la précision afin de mieux comprendre les performances de votre déploiement.
Les différentes méthodes suivantes sont proposées pour vous aider à analyser vos transactions types :
évaluation des transactions de contenu
Lorsque vous examinez les résultats des évaluations de l'équité, vous pouvez sélectionner Afficher les transactions de la charge utile pour afficher une liste de toutes les transactions du modèle qui sont traitées pour prédire les résultats biaisés pour chaque attribut contrôlé.
Révision des transactions de dérive
Lorsque vous examinez les résultats des évaluations de dérive, vous pouvez cliquer sur le lien Nombre de transactions dans une vignette récapitulative des transactions pour afficher les transactions responsables de la dérive. La page Transactions indique les raisons de la baisse de l'exactitude ou de la cohérence des données et fournit une recommandation pour aider à corriger la dérive de votre modèle.
Examen des transactions de qualité de l'IA générative
Lorsque vous examinez les résultats des évaluations génératives de la qualité de l'IA, vous pouvez sélectionner un événement dans les visualisations de données pour les scores des métriques afin d'afficher un tableau des transactions. Vous pouvez sélectionner une barre sur le graphique de distribution des scores pour filtrer la gamme de transactions affichées dans le tableau.
Pour examiner les résultats des tâches RAG, vous pouvez sélectionner des événements dans les visualisations de données pour les mesures de qualité de réponse et d'extraction afin d'afficher un diagramme de Venn qui vous aide à analyser les transactions pour déterminer les dépassements de seuil. Vous pouvez sélectionner des zones dans le diagramme de Venn pour afficher un tableau de transactions correspondant aux résultats des mesures que vous avez choisi d'examiner pour détecter les dépassements de seuil. Vous pouvez sélectionner l'action Analyser dans le tableau des transactions pour visualiser les attributions de source pour chaque transaction. Pour comprendre pourquoi des dépassements de seuil sont détectés dans les résultats de votre évaluation, vous pouvez également sélectionner Voir l'analyse des causes profondes et sélectionner Voir les actions recommandées pour vous aider à comprendre comment améliorer les performances de votre modèle.
Examen des performances
Lorsque vous examinez les résultats d'évaluation, vous pouvez examiner les performances pour comprendre comment votre modèle traite les demandes d'évaluation. Les évaluations de performance sont activées par défaut lorsque vous ajoutez des déploiements. Pour évaluer les performances, on calcule le nombre total d'enregistrements de transactions et le nombre moyen d'enregistrements de transactions par minute que votre modèle traite.
Révision de l'analyse
Lorsque vous examinez les résultats d'évaluation, vous pouvez utiliser le graphique Prévisions par niveau de confiance pour analyser les transactions envoyées à votre déploiement dans la plage de dates que vous sélectionnez en examinant les classes de prévision et la distribution de la confiance dans chaque classe. Vous pouvez également utiliser le générateur de graphiques pour créer des visualisations personnalisées afin de mieux comprendre les prévisions et les entrées du modèle lors de l'exécution.
Le générateur de graphiques affiche la sortie de la prévision du modèle par rapport aux caractéristiques ou aux plages de données que vous spécifiez. Par exemple, vous pouvez utiliser le générateur de graphiques pour voir la division dans les classes prédites ou les scores de confiance pour différentes plages d'un attribut. Vous pouvez également analyser les transactions qui sont envoyées à votre déploiement au cours d'une plage de données en créant un graphique personnalisé et en choisissant entre les fonctions, les classes de prévision et la confiance.
Lorsque vous examinez une transaction sur la page Transactions, vous pouvez choisir d'afficher des explications qui fournissent des détails sur la manière dont les prévisions pour chaque transaction sont déterminées. Pour plus d'informations, voir Exploration des transactions de modèle.
Si vos données incluent un nom de fonction contenant un point (.), le rendu d'un graphique échouera avec l'erreur suivante: Failed to get data
En savoir plus
explication des transactions de modèle
Sujet parent : Examiner les perspectives du modèle