La mesure de la dérive de la qualité du modèle compare la précision estimée de l'exécution à la précision de l'apprentissage pour mesurer la baisse de précision.
Détails de l'indicateur
La dérive de la qualité des modèles est une mesure d'évaluation de la dérive de l' v2, qui évalue les changements de distribution des données pour les modèles d'apprentissage automatique.
Portée
La métrique de dérive de la qualité des modèles évalue uniquement les modèles d'apprentissage automatique.
Types d'actifs d'IA : Modèles d'apprentissage automatique
Scores et valeurs
Le score de la mesure de dérive de la qualité du modèle indique la baisse de précision entre la précision d'entraînement et la précision estimée en temps d'exécution.
- Meilleur score possible : 0.0
- Ratios :
- À 0 : Aucun changement de précision
- Plus de 0 : augmentation du changement de précision
Processus d'évaluation
Un modèle de détection de dérive est construit qui traite vos données de charge utile lorsque vous configurez des évaluations d' v2 s de dérive pour prédire si votre modèle génère des prédictions précises sans la vérité terrain. Le modèle de détection de dérive utilise les caractéristiques d'entrée et les probabilités de classe de votre modèle pour créer ses propres caractéristiques d'entrée.
Calculs
La formule suivante est utilisée pour calculer la dérive de la qualité du modèle :
La précision de votre modèle est calculée comme l' base_accuracy , en mesurant la fraction de transactions correctement prédites dans vos données d'apprentissage. Au cours des évaluations, vos transactions sont notées par rapport au modèle de détection de dérive afin de mesurer le nombre de transactions que votre modèle est susceptible de prédire correctement. Ces transactions sont comparées au nombre total de transactions traitées pour calculer l' predicted_accuracy. Si l' predicted_accuracy e est inférieur à l' base_accuracy, un score de dérive de la qualité du modèle est généré.
Sujet parent : Indicateurs d'évaluation