AutoAI prépare automatiquement les données, applique des algorithmes et tente de générer les pipelines de modèle les mieux adaptés à vos données et à votre cas d'utilisation. Apprenez à évaluer les pipelines de modèle afin d'en enregistrer un en tant que modèle.
Examen des résultats d'expérimentation
Durant l'entraînement AutoAI, votre jeu de données est fractionné en deux parties, l'une d'elles est dédiée à l'entraînement et l'autre est mise en attente. La partie d'entraînement est utilisée par les étapes d'entraînement AutoAI pour générer les pipelines de modèle AutoAI et les scores de validation croisée utilisés pour les classer. Après l'entraînement AutoAI , la partie non disponible est utilisée pour l'évaluation du modèle de pipeline résultant et le calcul des informations de performance, telles que les courbes ROC et les matrices de confusion, qui sont affichées dans le tableau de classement. Le rapport de fractionnement entre partie entraînement et la partie mise en attente est 90/10.
A mesure que l'entraînement progresse, un schéma infographique et un tableau de classement dynamiques s'affichent. Survolez les noeuds dans l'infographie pour explorer les facteurs que les pipelines partagent et leurs propriétés uniques. Pour obtenir un guide des données de l'infographie, cliquez sur l'onglet Légende dans le panneau d'informations. Ou bien, pour afficher une autre vue de la création du pipeline, cliquez sur l'onglet Détails de l'expérimentation du panneau de notification, puis sur Changer de vue pour afficher la mappe de progression. Dans l'une ou l'autre de ces vues, cliquez sur un noeud de pipeline pour afficher le pipeline associé dans le tableau de classement. Le tableau de classement contient des pipelines de modèle classés par scores de validation croisée.
Affichage des transformations de pipeline
Survolez un noeud dans l'infographie pour afficher les transformations d'un pipeline. La séquence de transformations de données comprend un transformateur de prétraitement et une séquence de transformateurs de données, si l'ingénierie des fonctions a été effectuée pour le pipeline. L'algorithme est déterminé par la sélection de modèle et les étapes d'optimisation lors de l'entraînement AutoAI.
Voir les détails de l'implémentation pour consulter les détails techniques de la création des pipelines.
Affichage du tableau de classement
Chaque pipeline de modèle est évalué pour différents indicateurs, puis classé. La métrique de classement par défaut pour les modèles de classification binaire correspond à la zone située sous la courbe ROC. Pour les modèles de classification multi-classe, la métrique par défaut est la précision. Pour les modèles de régression, la métrique par défaut est l'erreur quadratique moyenne (RMSE). Les pipelines les mieux classés s'affichent dans un tableau de classement, ce qui vous permet d'afficher plus d'informations les concernant. Le tableau de classement fournit également l'option permettant de sauvegarder les pipelines de modèle sélectionnés après les avoir examinés.
Vous pouvez évaluer les pipelines comme suit :
- Cliquez sur un pipeline dans le tableau de classement pour afficher plus de détails sur les métriques et les performances.
- Cliquez sur Comparer pour afficher la comparaison des principaux pipelines.
- Triez le tableau de classement par une métrique différente.
Affichage de la matrice de confusion
L'un des détails que vous pouvez afficher pour un pipeline pour une expérimentation de classification binaire est la matrice de confusion.
La matrice de confusion est basée sur les données restantes, c'est-à-dire la partie du jeu de données d'apprentissage qui n'est pas utilisée pour l'entraînement du pipeline de modèle, mais uniquement pour mesurer ses performances sur les données qui n'ont pas été vues lors de l'entraînement.
Dans un problème de classification binaire avec une classe positive et une classe négative, la matrice de confusion récapitule les prévisions positives et négatives du modèle de pipeline en quatre quadrants en fonction de leur exactitude concernant les libellés de classe positifs ou négatifs de l'ensemble de données restant.
Par exemple, l'exemple d'expérimentation Banque cherche à identifier les clients qui prennent des promotions qui leur sont proposées. La matrice de confusion du pipeline le mieux classé est :
La classe positive est'yes'(ce qui signifie qu'un utilisateur prend la promotion). Vous pouvez voir que la mesure des vrais négatifs, c'est-à-dire des clients dont le modèle prédit correctement qu'ils refuseraient leurs promotions, est élevée.
Cliquez sur les éléments dans le menu de navigation pour afficher d'autres détails sur le pipeline sélectionné. Par exemple, l'importance de la fonction indique les fonctions de données qui contribuent le plus à votre résultat de prévision.
Sauvegarde d'un pipeline en tant que modèle
Lorsque vous êtes satisfait d'un pipeline, enregistrez-le à l'aide de l'une des méthodes suivantes:
- Cliquez sur Sauvegarder le modèle pour sauvegarder le pipeline candidat en tant que modèle dans votre projet afin de pouvoir le tester et le déployer.
- Cliquez sur Sauvegarder en tant que bloc-notes pour créer et sauvegarder un bloc-notes généré automatiquement dans votre projet. Vous pouvez réviser le code ou exécuter l'expérimentation dans le bloc-notes.
Etapes suivantes
Effectuez la promotion du modèle entraîné dans un espace de déploiement pour pouvoir le tester avec de nouvelles données et générer des prédictions.
En savoir plus
Détails de l'implémentation AutoAI
Rubrique parent : Présentation d'AutoAI