Clasificación de columnas de características

• Detecta los tipos de columnas de características y las clasifica como clase categórica o numérica
• Detecta varios tipos de valores que faltan (valor predeterminado, proporcionado por el usuario, valores atípicos)

Ingeniería de características

• Maneja filas para las que faltan valores de destino (imputación de destino o descarte (predeterminado))
• Descarta las columnas de valor exclusivas (excepto datetime y timestamps)
• Descarta columnas de valor constante

Preproceso (imputación y codificación de datos)

• Aplica las estrategias de imputación/codificación/escalado de Sklearn (por separado en cada clase de característica). Por ejemplo, el método predeterminado actual para las estrategias de imputación de valores perdidos, que se utilizan en el producto son most frequent para variables categóricas y mean para variables numéricas.
• Maneja etiquetas del conjunto de pruebas que no se han visto en el conjunto de entrenamiento
• Característica HPO: Optimiza las estrategias de imputación/codificación/escalado dado un conjunto de datos y un algoritmo

Selección de algoritmos para un modelo

Los algoritmos se seleccionan para que coincidan con los datos y la naturaleza del modelo, pero también pueden equilibrar la precisión y la duración del tiempo de ejecución, si el modelo está configurado para esa opción. Por ejemplo, los algoritmos de Snap ML suelen ser más rápidos para el entrenamiento que los algoritmos de Scikit-learn. A menudo son los algoritmos preferidos que AutoAI selecciona automáticamente para los casos en los que el entrenamiento se optimiza para un tiempo de ejecución y una precisión más cortos. Puede seleccionarlos manualmente si la velocidad de entrenamiento es una prioridad. Para obtener más detalles, consulte Documentación de Snap ML. Para obtener una discusión sobre cuándo son útiles los algoritmos SnapML , consulte esta publicación de blog sobre el uso de algoritmos SnapML .

Algoritmos utilizados para modelos de clasificación

Estos algoritmos son los algoritmos predeterminados que se utilizan para la selección de modelos para problemas de clasificación.

Algoritmos utilizados para los modelos de regresión

Estos algoritmos son los algoritmos predeterminados que se utilizan para la selección automática de modelos para problemas de regresión.

Métricas de clasificación binaria

• Precisión (valor predeterminado para la clasificación de interconexiones)
• Roc auc
• Precisión promedio
• F
• Pérdida de log negativa
• Precisión
• Exhaustividad

Métricas de clasificación de varias clases

Las métricas para modelos de varias clases generan puntuaciones sobre el rendimiento de una interconexión con respecto a la medida especificada. Por ejemplo, una puntuación F1 promedio precisión (de las predicciones realizadas, cuántas predicciones positivas eran correctas) y exhaustividad (de todas las predicciones positivas posibles, cuántas predicciones se han pronosticado correctamente).

Puede refinar más una puntuación calificándola para calcular la métrica determinada globalmente (macro), por etiqueta (micro), o para ponderar un conjunto de datos desequilibrado para favorecer a las clases con más representación.

• Las métricas con el calificador micro calculan las métricas globalmente contando el número total de verdaderos positivos, falsos negativos y falsos positivos.
• Las métricas con el calificador macro calculan las métricas para cada etiqueta y encuentran su media sin ponderar. Todas las etiquetas se ponderan por igual.
• Las métricas con el calificador ponderado calculan las métricas para cada etiqueta y encuentran su promedio ponderado por la contribución de cada clase. Por ejemplo, en un conjunto de datos que incluye categorías para manzanas, melocotones y ciruelas, si hay muchas más instancias de manzanas, la métrica ponderada otorga mayor importancia a la predicción correcta de manzanas. Esto altera la macro para tener en cuenta el desequilibrio de etiqueta. Utilice una métrica ponderada como, por ejemplo, F1-weighted para un conjunto de datos desequilibrado.

Estas son métricas de clasificación de varias clases:

• Precisión (valor predeterminado para la clasificación de interconexiones)
• F1
• F1 Micro
• F1 Macro
• F1 Ponderado
• Precisión
• Precisión Micro
• Precisión Macro
• Precisión Ponderada
• Exhaustividad
• Exhaustividad Micro
• Exhaustividad Macro
• Exhaustividad ponderada

Métricas de regresión

• Error cuadrático promedio de raíz negativo (valor predeterminado para la clasificación de interconexiones)
• Error absoluto promedio negativo
• Error cuadrático de log promedio de raíz negativo
• Varianza explicada
• Error cuadrático promedio negativo
• Error cuadrático de log promedio negativo
• Error absoluto promedio negativo
• R2

Métricas utilizadas para importancia de característica

Para algoritmos de regresión y clasificación basados en árboles como Decision Tree, Extra Trees, Random Forest, XGBoost, Gradient Potenciado y LGBM, las importancias de características son sus puntuaciones de importancia de características inherentes basadas en la reducción del criterio que se utiliza para seleccionar puntos de división y calculadas cuando estos algoritmos se entrenan en los datos de entrenamiento.

Para los algoritmos no arbóreos como Logistic Regression, LInear Regression, SnapSVM, y Ridge, las importancias de las características son las importancias de las características de un algoritmo Random Forest entrenado con los mismos datos de entrenamiento que el algoritmo no arbóreo.

Para cualquier algoritmo, todas las importaciones de características están en el rango entre cero y uno y se han normalizado como la proporción con respecto a la importancia máxima de la característica.

Transformaciones de datos

Para la ingeniería de características, AutoAI utiliza un enfoque novedoso que explora diversas opciones de construcción de características de forma estructurada y no exhaustiva, al tiempo que maximiza progresivamente la precisión del modelo utilizando el aprendizaje de refuerzo. Esto da como resultado una secuencia optimizada de transformaciones para los datos que mejor coinciden con los algoritmos, o algoritmos, del paso de selección de modelo. Esta tabla lista algunas de las transformaciones que se utilizan y algunas condiciones conocidas bajo las que son útiles. Esta no es una lista exhaustiva de los escenarios en los que la transformación resulta útil, ya que su interpretación puede resultar compleja y difícil. Finalmente, los escenarios listados no son una descripción de cómo se seleccionan las transformaciones. La selección de las transformaciones que se han de aplicar se realiza mediante una prueba y error, de un modo orientado al rendimiento.

¿Cuántas interconexiones se crean?

Dos parámetros de AutoAI determinan el número de interconexiones:

• max_num_daub_ensembles: Número máximo (top-K clasificado por selección de modelo DAUB) del algoritmo seleccionado, o tipos de estimador, por ejemplo LGBMClassifierEstimator, XGBoostClassifierEstimator o LogisticRegressionEstimator para utilizar en la composición de interconexión. El valor predeterminado es 1, donde solo se utiliza el que tiene la clasificación más alta por tipo de algoritmo de selección de modelo.

• num_folds: número de subconjuntos del conjunto de datos completo para entrenar interconexiones además del conjunto de datos completo. El valor predeterminado es 1 para el entrenamiento del conjunto de datos completo.

Para cada tipo de pliegue y algoritmo, AutoAI crea cuatro interconexiones de mayor refinamiento, correspondientes a:

1. Interconexión con parámetros sklearn para este tipo de algoritmo,
2. Interconexión con algoritmo optimizado utilizando HPO
3. Interconexión con ingeniería de características optimizada
4. Interconexión con ingeniería de características optimizada y algoritmo optimizado utilizando HPO

El número total de interconexiones que se generan es:

TotalPipelines= max_num_daub_ensembles * 4, if num_folds = 1:  
                       
TotalPipelines= (num_folds+1) * max_num_daub_ensembles * 4,  if num_folds > 1 :

¿Qué optimización de hiperparámetros se aplica a mi modelo?

AutoAI utiliza un algoritmo de búsqueda global basado en modelos y sin derivadas, denominado RBfOpt, que está adaptado para el costoso entrenamiento de modelos de aprendizaje automático y las evaluaciones de puntuación que requiere la optimización de hiperparámetros (HPO). A diferencia de la optimización bayesiana, que ajusta modelo gaussiano a la función de objetivo desconocido, RBfOpt ajusta una modalidad de función de base radial para acelerar el descubrimiento de configuraciones de hiperparámetros que maximiza la función objetivo del problema de aprendizaje de máquina dado. Esta aceleración se obtiene minimizando el número de las costosas formaciones y puntuaciones de evaluaciones de modelos de aprendizaje de máquina, eliminando la necesidad de calcular los derivativos parciales.

Para cada subconjunto del tipo de algoritmo, AutoAI crea dos interconexiones que utilizan HPO para optimizar el tipo de algoritmo.

• La primera se basa en la optimización de este tipo de algoritmo basado en el conjunto de datos preprocesado (imputado/codificado/escalado) (interconexión 2) anterior).
• El segundo está basado en la optimización de este tipo de algoritmo basándose en la ingeniería de características optimizada del conjunto de datos procesado previamente (imputado/codificado/escalado).

Los valores de parámetro de los algoritmos de todas las interconexiones generadas por AutoAI se publican en mensajes de estado.

Para obtener más detalles acerca del algoritmo RbfOpt, consulte:

• RbfOpt: A blackbox optimization library in Python
• An effective algorithm for hyperparameter optimization of neural networks. IBM Journal of Research and Development, 61(4-5), 2017

¿Cómo se calcula la significación de la característica?

Cuando configura un experimento de clasificación o regresión, puede especificar opcionalmente cómo manejar las características sin ningún impacto en el modelo. Las opciones son eliminar siempre la característica, eliminarla cuando mejore la calidad del modelo o no eliminarla. La significación de la característica se calcula de la siguiente manera:

• La importancia de la característica se calcula en la muestra de datos.
• Algunos estimadores no tienen prestaciones incorporadas para devolver las importaciones de características. En estos casos, se utiliza un estimador como RandomForest para medir el impacto.
• El número de características importa: si el valor de importancia para una característica es 0.0000000001 pero hay un gran número de características de baja importancia (por ejemplo, más de 200), dejarlas o eliminarlas puede tener algún impacto en los resultados del experimento.

En la modalidad automática, se utilizan los pasos siguientes para validar que la eliminación de características de baja importancia no afecta a los resultados del experimento:

• Si la eliminación de todas las características con una importancia de 0 calculada tiene algún impacto en la precisión del modelo, el algoritmo de análisis de componentes principales se aplica a esas características y selecciona los componentes K principales que explican el 90% de la varianza entre esas características insignificantes.
• A continuación, los componentes transformados se utilizan como nuevas características en lugar de las originales y el modelo se vuelve a evaluar.
• Si todavía hay una disminución en la precisión, todas las características originales se añaden de nuevo al experimento.

Referencias de investigación

Esta lista incluye algunos de los artículos de investigación fundacional que detallan cómo AutoAI fue diseñado e implementado para promocionar la confianza y la transparencia en el proceso automatizado de generación de modelos.

• Hacia la automatización cognitiva de la ciencia de datos
• Cognito: ingeniería de funciones automatizada para el aprendizaje supervisado