Classification de colonne de caractéristiques

• Détecte les types de colonnes de caractéristiques et les classifie en tant que classe catégorielle ou numérique.
• Détecte différents types de valeurs manquantes (par défaut, fournie par l'utilisateur, valeurs extrêmes)

Ingénierie des fonctionnalités

• Gère les lignes pour lesquelles les valeurs cible sont manquantes (suppression (par défaut) ou imputation cible).
• Supprime les colonnes à valeur unique (sauf date/heure et horodatage).
• Supprime les colonnes à valeur constante.

Prétraitement (imputation et codage des données)

• Applique les stratégies d'imputation/de codage/de mise à l'échelle Sklearn (de manière distincte sur chaque colonne de caractéristiques). Par exemple, la méthode par défaut en cours pour les stratégies d'imputation des valeurs manquantes, qui sont utilisées dans le produit, est most frequent pour les variables catégorielles et mean pour les variables numériques.
• Gère les libellés de jeu de test qui n'ont pas été vus dans l'ensemble d'apprentissage.
• Fonction HPO: optimise les stratégies d'imputation, de codage et de mise à l'échelle en fonction d'un ensemble de données et d'un algorithme

Sélection des algorithmes pour un modèle

Les algorithmes sont normalement sélectionnés parce qu'ils conviennent aux données et à la nature du modèle, mais cette sélection peut aussi faire un compromis entre justesse (ou exactitude) et durée de l'exécution, si le modèle est configuré pour cette option. Par exemple, pour l'entraînement, les algorithmes Snap ML sont généralement plus rapides que les algorithmes Scikit-learn. Il s'agit souvent des algorithmes préférés que AutoAI sélectionne automatiquement pour les cas où l'entraînement est optimisé pour un temps d'exécution et une précision plus courts. Vous pouvez les sélectionner manuellement si la vitesse d'entraînement est une priorité. Pour les détails, consultez la documentation de Snap ML. Pour une discussion sur les cas où les algorithmes SnapML sont utiles, consultez cet article de blog sur l'utilisation des algorithmes SnapML .

Algorithmes utilisés pour les modèles de classification

Ces algorithmes sont les algorithmes par défaut utilisés pour la sélection de modèles pour les problèmes de classification.

Algorithmes utilisés pour les modèles de régression

Ces algorithmes sont les algorithmes par défaut utilisés pour la sélection automatique de modèles pour les problèmes de régression.

Métriques de classification binaire

• Exactitude (utilisée par défaut pour le classement des pipelines)
• Roc auc
• Précision moyenne
• F
• Perte logistique négative
• Précision
• Rappel

Métriques de classification multiclasse

Les métriques des modèles à classes multiples génèrent des scores indiquant les performances d'un pipeline par rapport à la mesure spécifiée. Par exemple, un F1 moyennes précision (des prévisions effectuées, du nombre de prévisions positives correctes) et un rappel (de toutes les prévisions positives possibles, du nombre de prévisions correctes).

Vous pouvez affiner un score en le qualifiant pour calculer l'indicateur donné globalement (macro), par libellé (micro), ou pour pondérer un ensemble de données déséquilibré afin de favoriser les classes avec plus de représentation.

• Les métriques avec le qualificateur micro calculent globalement les métriques en comptant le nombre total de vrais positifs, de faux négatifs et de faux positifs.
• Les indicateurs associés au qualificateur macro calculent les indicateurs de chaque libellé et trouvent leur moyenne non pondérée. Tous les libellés sont pondérés de manière égale.
• Les indicateurs avec le qualificateur pondéré calculent les indicateurs pour chaque libellé et trouvent leur moyenne pondérée par la contribution de chaque classe. Par exemple, dans un jeu de données qui inclut des catégories pour les pommes, les pêches et les prunes, s'il existe de nombreuses autres instances de pommes, la métrique pondérée accorde plus d'importance à la prévision correcte des pommes. Cela modifie la macro pour tenir compte du déséquilibre des libellés. Utilisez une métrique pondérée telle que F1-weighted pour un jeu de données déséquilibré.

Les métriques de classification multiclasse sont les suivantes :

• Exactitude (utilisée par défaut pour le classement des pipelines)
• F1
• Micro F1
• Macro F1
• Pondération F1
• Précision
• Micro Précision
• Macro Précision
• Pondération Précision
• Rappel
• Micro Rappel
• Marco Rappel
• Pondération Rappel

Métriques de régression

• Erreur quadratique moyenne des racines négatives (utilisée par défaut pour le classement des pipelines)
• Erreur absolue moyenne négative
• Erreur logistique quadratique moyenne des racine négatives
• Variance explicitée
• Erreur quadratique moyenne négative
• Erreur logistique quadratique moyenne négative
• Erreur absolue médiane négative
• R2

Métriques utilisées pour l'importance des fonctions

Pour les algorithmes de classification et de régression basés sur des arbres, tels que Decision Tree, Extra Trees, Random Forest, XGBoost, Gradient Boost et LGBM, les importances de fonction sont leurs scores d'importance de fonction inhérents en fonction de la réduction du critère utilisé pour sélectionner les points de division, et calculées lorsque ces algorithmes sont entraînés sur les données d'apprentissage.

Pour les algorithmes non arborescents tels que la régression logistique, la régression linéaire, SnapSVM, et Ridge, les importances des caractéristiques sont les importances des caractéristiques d'un algorithme Random Forest formé sur les mêmes données d'apprentissage que l'algorithme non arborescent.

Pour tout algorithme, toutes les importances de fonction se trouvent dans la plage comprise entre zéro et une et ont été normalisées en tant que rapport par rapport à l'importance de la fonction maximale.

Transformations des données

Pour l'ingénierie des fonctions, AutoAI utilise une nouvelle approche qui explore les différents choix de construction de fonction de manière structurée et non exhaustive, tout en maximisant progressivement la précision du modèle à l'aide de l'apprentissage par renforcement. Il en résulte une séquence optimisée de transformations pour les données qui correspondent le mieux aux algorithmes, ou aux algorithmes, de l'étape de sélection du modèle. Ce tableau répertorie certaines des transformations utilisées et certaines conditions bien connues dans lesquelles elles sont utiles. Il ne s'agit pas d'une liste exhaustive de scénarios où la transformation est utile, car cela peut être complexe et difficile à interpréter. Enfin, les scénarios répertoriés n'expliquent pas la façon dont les transformations sont sélectionnées. La sélection des transformations à appliquer est effectuée à travers des essais et des erreurs orientés performances.

Combien de pipelines sont créés ?

Deux paramètres AutoAI déterminent le nombre de pipelines :

• Max_num_daub_ensembles : Nombre maximal (top-K classé par sélection de modèle DAUB) de l'algorithme sélectionné, ou types d'estimateurs, par exemple LGBMClassifierEstimator, XGBoostClassifierEstimator, ou LogisticRegressionEstimator à utiliser dans la composition du pipeline. La valeur par défaut est 1, où seul le rang le plus élevé par type d'algorithme de sélection de modèle est utilisé.

• num_niveaux: Nombre de sous-ensembles du fichier complet pour entraîner les pipelines en plus du fichier complet. La valeur par défaut est 1 ; elle permet d'entraîner le jeu de données complet.

Pour chaque type de pli et d'algorithme, AutoAI crée quatre pipelines d'amélioration accrue, correspondant à:

1. Pipeline avec des paramètres sklearn par défaut pour ce type d'algorithme
2. Pipeline avec algorithme optimisé à l'aide de HPO
3. Pipeline avec ingénierie des caractéristiques optimisée
4. Pipeline avec ingénierie des fonctions optimisées et algorithme optimisé à l'aide de HPO

Le nombre total de pipelines générés est le suivant:

TotalPipelines= max_num_daub_ensembles * 4, if num_folds = 1:  
                       
TotalPipelines= (num_folds+1) * max_num_daub_ensembles * 4,  if num_folds > 1 :

Quelle est l'optimisation d'hyperparamètres appliquée à mon modèle ?

L'AutoAI utilise un algorithme de recherche globale sans dérivation, basé sur un modèle, appelé RBfOpt, qui est adapté à l'entraînement coûteux du modèle d'apprentissage automatique et aux évaluations de notation requises par l'optimisation des hyperparamètres (HPO). Contrairement à l'optimisation bayésienne, qui ajuste un modèle de Gauss à la fonction d'objectif inconnue, RBfOpt s'adapte à un mode de fonction de base radiale pour accélérer la reconnaissance des configurations d'hyperparamètres qui maximisent la fonction d'objectif du problème d'apprentissage automatique en question. Cette accélération est obtenue en réduisant le nombre d'évaluations coûteuses de notation et d'entraînement de modèle d'apprentissage automatique et en éliminant la nécessité de calculer des dérivés partiels.

Pour chaque niveau et type d'algorithme, AutoAI crée deux pipelines qui utilisent HPO pour optimiser le type d'algorithme :

• La première est basée sur l'optimisation de ce type d'algorithme en fonction de l'ensemble de données prétraité (imputé/encodé / mis à l'échelle) (pipeline 2) ci-dessus).
• Le second est basé sur l'optimisation du type d'algorithme en fonction de l'ingénierie des caractéristiques optimisée du jeu de données (fourni/codé/mis à l'échelle) prétraité.

Les valeurs de paramètre des algorithmes de tous les pipelines générés par AutoAI sont publiées dans des messages d'état.

Pour plus de détails sur l'algorithme RbfOpt, voir :

• RbfOpt : une bibliothèque d'optimisation de boîte noire dans Python
• An effective algorithm for hyperparameter optimization of neural networks. IBM Journal of Research and Development, 61 (4-5), 2017

Comment la signification des caractéristiques est-elle calculée?

Lorsque vous configurez une expérimentation de classification ou de régression, vous pouvez éventuellement spécifier comment gérer les fonctions sans impact sur le modèle. Les choix sont de toujours supprimer la fonction, de les supprimer lorsqu'elle améliore la qualité du modèle ou de ne pas les supprimer. La signification de la fonction est calculée comme suit:

• L'importance des fonctions est calculée sur l'échantillon de données.
• Certains estimateurs ne disposent pas de fonctions intégrées permettant de renvoyer des importances de fonction. Dans ces cas, un estimateur tel que RandomForest est utilisé pour mesurer l'impact.
• Le nombre de fonctions est important-si la valeur d'importance d'une fonction est 0.0000000001 , mais qu'il existe un grand nombre de fonctions de faible importance (par exemple, plus de 200), le fait de les quitter ou de les supprimer peut avoir un impact sur les résultats de l'expérimentation.

En mode automatique, les étapes suivantes sont utilisées pour confirmer que la suppression des fonctions de faible importance n'affecte pas les résultats de l'expérimentation:

• Si la suppression de toutes les fonctions dont l'importance est calculée à 0 a un impact sur la précision du modèle, l'algorithme d'analyse en composantes principales est appliqué à ces fonctions et sélectionne les K premières composantes expliquant la variance à 90% entre ces fonctions non significatives.
• Ensuite, les composants transformés sont utilisés en tant que nouvelles caractéristiques à la place des caractéristiques d'origine et le modèle est à nouveau évalué.
• S'il y a encore une baisse de précision, toutes les fonctions d'origine sont ajoutées à l'expérimentation.

Références de recherche

Cette liste comprend certains des articles de recherche fondamentale qui décrivent de façon plus détaillée comment AutoAI a été conçu et mis en œuvre pour promouvoir la confiance et la transparence dans le processus automatisé de création de modèles.

• Vers l'automatisation cognitive de la science des données
• Cognito : ingénierie automatisée des fonctionnalités pour l'apprentissage supervisé