Portée

La baisse de la mesure de précision n'évalue que les modèles d'apprentissage automatique.

• Types d'actifs d'IA : Modèles d'apprentissage automatique
• Type de problème d'apprentissage automatique :
  • Classification binaire
  • Classification multiclasse

Scores et valeurs

La baisse du score de précision indique s'il y a une augmentation des transactions similaires à celles que le modèle n'a pas évaluées correctement dans les données d'apprentissage.

Plage de valeurs : 0.0-1.0

Processus d'évaluation

Le moniteur de dérive fonctionne différemment dans les environnements de pré-production et de production.

Dans les environnements de pré-production, lorsque vous téléchargez des données de test marquées, les données sont ajoutées aux tableaux de commentaires et de données utiles. Les données marquées sont ajoutées en tant qu'annotation dans le tableau de contenu. La précision est calculée à l'aide de la colonne de données libellée et de la colonne de prévision du tableau du contenu.

Dans les environnements de production, un modèle de détection de dérive est créé en examinant les données qui ont été utilisées pour entraîner et tester le modèle. Par exemple, si le modèle a une exactitude de 90 % sur les données de test, cela signifie qu'il fournit des prédictions incorrectes sur 10 % des données de test. Un modèle de classification binaire est construit qui accepte un point de données et prédit si ce point de données est similaire aux données que le modèle a prédites de manière incorrecte (10 %) ou exacte (90 %).

Une fois le modèle de détection de dérive créé, ce modèle est évalué en utilisant toutes les données reçues par le modèle client. Par exemple, si le modèle client a reçu 1 000 enregistrements au cours des 3 dernières heures, le modèle de détection de dérive s'exécute sur ces mêmes 1 000 points de données. Il calcule combien des enregistrements sont similaires aux 10 % d'enregistrements sur lesquels le modèle a fait une erreur lors de l'entraînement. Si 200 de ces enregistrements sont similaires aux 10 % cela implique que l'exactitude du modèle est probablement de 80 %. Comme elle était de 90 % lors de l'entraînement, cela signifie qu'il y a une dérive d'exactitude de 10 % dans le modèle.

Pour calculer la baisse de la mesure de précision, chaque transaction est analysée afin d'estimer si la prédiction du modèle est exacte. Si la prédiction est inexacte, la transaction est marquée comme en dérive. La précision estimée est alors calculée comme la fraction des transactions non déviées par rapport au nombre total de transactions analysées. L'exactitude de base est l'exactitude du modèle sur les données de test. L'ampleur de la dérive de la précision est calculée comme la différence entre la précision de base et la précision estimée. Toutes les transactions dérivées sont calculées, puis les transactions sont regroupées en fonction de la similarité de la contribution de chaque caractéristique à la dérive de précision. Dans chaque groupe, les caractéristiques importantes qui ont contribué à la dérive de la précision sont estimées et leur impact est classé comme important, moyen ou faible.