Les évaluations de dérive détectent les baisses de précision et de cohérence des données dans un modèle. La précision du modèle diminue s'il y a une augmentation des transactions similaires à celles que le modèle n'a pas évaluées correctement dans les données d'apprentissage.
Exemples d'évaluation de dérive
Lors de la configuration de la dérive, vous devez spécifier l'ampleur de la dérive de la précision tolérable. La dérive est mesurée comme la baisse de précision par rapport à la précision du modèle au moment de l'apprentissage. Par exemple, si la précision du modèle au moment de l'apprentissage était de 90% et qu'au moment de l'exécution la précision estimée du modèle est de 80%, alors le modèle est dit avoir dérivé de 10%. En fonction du cas d'utilisation, les propriétaires de modèle seront prêts à tolérer différentes quantités de dérive. Vous pouvez spécifier l'ampleur de la dérive de précision pour chaque évaluation de modèle. Si la dérive d'un modèle passe en dessous du seuil spécifié, une alerte est générée.
Si vos données ne dépassent pas 500 Mo, vous pouvez entraîner votre modèle en ligne. Sinon, vous devez utiliser un bloc-notes.
Avant de commencer
Vous devez configurer la détection de la dérive avant de pouvoir analyser votre modèle. Vous pouvez former votre modèle de détection de dérive en ligne à l'aide de l'interface utilisateur ou en exécutant du code à l'intérieur d'un bloc-notes. La configuration de la dérive est prise en charge uniquement pour les données structurées. Les modèles de classification prennent en charge à la fois la dérive des données et de l'exactitude, les modèles de régression ne prennent en charge que la dérive des données.
Les conditions requises pour la configuration du moniteur de dérive sont les suivantes:
- Le fournisseur de Machine Learning doit être watsonx.ai Runtime
- La taille des données d'entraînement doit être inférieure à 500MB
- Les données d'entraînement doivent être hébergées dans IBM Cloud Object StorageDb2.
Pour télécharger les données d'entraînement et définir les détails du modèle pour la détection de dérive:
- Cliquez sur Télécharger les données d'entraînement et téléchargez un fichier avec les données libellées.
Pour plus de détails, voir Indication des détails du modèle.
Tout au long de ce processus, votre modèle est analysé et des recommandations sont formulées sur la base du résultat le plus logique. Pour que la détection de dérive fonctionne correctement, le type de données de votre colonne de prévision dans les données de formation doit correspondre au type de données de la même colonne dans les données de charge. Affectez les mêmes types chaîne ou numériques aux colonne de prévision et de libellé. Pour confirmer les types de données, cliquez sur Détails du modèle > Détails de sortie du modèle > Editer. Ces sélections vous assurent d'avoir des informations exactes pour la suite de la configuration. Si, pour une raison quelconque, vous devez modifier les types de données, vous devez redéployer l'évaluation pour effectuer les modifications.
Sur les pages successives de l'onglet Dérive, vous devez fournir les informations suivantes :
Seuil d'alerte
Nécessaire uniquement pour les modèles de type classification : Le degré de changement dans la précision du modèle est comparé à la précision au moment de la formation. Le seuil d'alerte, qui doit être d'au moins 5 %, indique le degré de tolérance au changement dans le temps.
Taille de l"échantillon
En définissant une taille d'échantillon minimale, vous évitez de mesurer la dérive tant qu'un nombre minimum d'enregistrements n'est pas disponible dans le jeu de données d'évaluation, afin que les résultats ne risquent pas d'être faussés. Chaque fois que le contrôle de dérive s'exécute, il utilise la taille d'échantillon minimale pour décider du nombre d'enregistrements sur lesquels effectuer le calcul.
Etapes de configuration de l'évaluation de la dérive
Si vous utilisez IBM watsonx.ai Runtime, vous pouvez configurer la détection de dérive.
Pour démarrer le processus de configuration, dans l'onglet Dérive , dans la zone Modèle de dérive , cliquez sur l'icône Editer 
.
Choisissez une option de formation et suivez les instructions pour saisir les informations requises. Une fois que vous avez terminé, un récapitulatif de vos sélections vous est présenté pour vérification. Pour changer quoi que ce soit, cliquez sur l'icône Modifier correspondante. Sinon, sauvegardez votre travail.
Procédure pour configurer la dérive sans nouvel entraînement
Reconfigurez l'évaluation de la dérive sans réentraînement du modèle de dérive pour mettre à jour les paramètres sans traitement supplémentaire. La modification de la taille d'échantillon minimale et du seuil permet de produire davantage de données sur le modèle en cours sans coûts de traitement supplémentaires. C'est une des façons d'éviter une utilisation intensive du CPU lorsque les données sous-jacentes sont stables et que vous voulez voir l'amplitude de la dérive avec différents seuils.
Remarque: Votre modèle de dérive ne nécessite un nouvel entraînement que lorsque les données d'entraînement ou le schéma sont modifiés.
Pour démarrer le processus de configuration, dans l'onglet Dérive , dans la zone Seuil de dérive ou dans la zone Taille de l'échantillon , cliquez sur Editer . Mettez à jour la valeur en cours puis sauvegardez-la.
Procédure pour configurer la dérive avec un bloc-notes
Utilisez un bloc-notes pour configurer la dérive dans les cas suivants :
- Vous ne souhaitez pas partager les données d'apprentissage pour configurer des évaluations de dérive
- Vous ne disposez pas d'un moyen de partager les données d'entraînement sur Db2 ou IBM Cloud Object Storage, qui sont les deux seuls emplacements de données d'entraînement pris en charge pour les évaluations de dérive.
Cette option est utile si les données d'entraînement ne sont pas stockées dans Db2 ou IBM Cloud Object Storage. Avec un bloc-notes, vous devez lire les données d'entraînement dans un dataframe (cadre de données). Le cahier spécialisé que vous pouvez télécharger crée ensuite une sortie spécialisée que vous pouvez télécharger pour configurer les évaluations des dérives.
Pour générer le modèle de détection de dérive, vous pouvez exécuter la cellule qui installe le package ibm-wos-utils>=5.0.1.0 et la version d'apprentissage sci-kit 1.3.2. Scikit-learn version 1.3.2 est requis pour générer le modèle.
Créez un bloc-notes pour générer le modèle de détection de dérive en utilisant le bloc-notes d'exemple. Le modèle de détection de dérive est converti pour vous en fichier .tar.gz.
Pour démarrer le processus de configuration, dans l'onglet Dérive , dans la zone Modèle de dérive , cliquez sur Editer . Utilisez l'option Entraîner dans un bloc-notes de sciences des données. Vous pouvez faire glisser votre modèle de détection de dérive compressé dans la zone de dépôt.
Suivez les invites et entrez les informations requises. Une fois que vous avez terminé, un récapitulatif de vos sélections vous est présenté pour vérification. Si vous souhaitez modifier quoi que ce soit, cliquez sur Editer pour cette section. Sinon, sauvegardez votre travail.
En savoir plus
Rubrique parent: Configuration des évaluations de modèle