Creación de modelos ML en watsonx.ai y puntuación por lotes con Spark en el acelerador watsonx.data
El acelerador Building ML models in watsonx.ai and batch scoring with Spark in watsonx.data le guía a través del flujo de trabajo integral de entrenamiento y persistencia de modelos ML en watsonx.ai y de la puntuación por lotes de esos modelos con Spark a escala en watsonx.data.
Pruebe este acelerador para configurar un flujo de trabajo integral de formación y persistencia de modelos ML en watsonx.ai y, a continuación, puntúelos por lotes a escala con Spark en watsonx.data.
Para empezar, inicie sesión en el hub de recursos y cree un nuevo proyecto basado en el proyecto de ejemplo Building ML models in watsonx.ai and batch scoring with Spark in watsonx.data.
Este acelerador proporciona un patrón e implementación de ML escalable que utiliza una canalización para automatizar el ciclo de vida de la IA de principio a fin, desde la carga de datos, el entrenamiento de modelos, la selección del mejor resultado hasta la persistencia del mejor modelo en un repositorio de modelos. Cree y configure el flujo una vez y, a continuación, ejecútelo a petición o según un calendario, sin tener que interactuar con herramientas y activos individuales.
Se incluyen los siguientes procesos:
- Carga de datos de entrenamiento
- Entrenamiento de un modelo ML de scikit-learn o de un modelo AutoAI en un conjunto de datos de entrenamiento común
- Comparación de los resultados y selección del mejor modelo. A continuación, persistencia del modelo en el repositorio de modelos
- Transformar el modelo en un modelo Spark utilizando UDF y, a continuación, realizar la puntuación por lotes a escala en este modelo
Este gráfico muestra una vista de canalización de este flujo de trabajo:
Este gráfico muestra un diagrama arquitectónico detallado del patrón ML escalable que utiliza el acelerador Building ML models in watsonx.ai and batch scoring with Spark in watsonx.data :
Traiga su propio modelo
Si ya dispone de un modelo entrenado, puede personalizar fácilmente el flujo de trabajo para omitir los pasos de entrenamiento del modelo y cargar sus propios datos y modelo ML directamente en este proyecto watsonx.ai. A continuación, realice la puntuación por lotes con Spark. Encontrará información detallada sobre los tipos de modelos compatibles en la página de documentación sobre especificaciones de software compatibles watsonx.ai.
Personalización del tiempo de ejecución de Spark
Puede personalizar el motor Spark que utiliza watsonx.data para adaptarlo a sus necesidades. Por ejemplo, es posible que desee instalar bibliotecas de terceros para realizar análisis personalizados o que desee ajustar algunas de las configuraciones del clúster. Encontrará más detalles en las siguientes páginas de documentación:
Formas flexibles de utilizar Spark en watsonx.data
En este patrón, Analytics Engine se utiliza como motor Spark en watsonx.data, y un cuaderno que forma parte de este proyecto muestra un ejemplo de uso de la API Spark para enviar trabajos Spark que están escritos en Python. También existen otras formas de utilizar Spark en watsonx.data, por ejemplo, puede ejecutar trabajos de Spark escritos en R y Scala. Consulte estas listas para más detalles:
Varios motores Spark
Múltiples formas de conectarse a un tiempo de ejecución de Spark en watsonx.data
Tema principal: Aceleradores de soluciones de IA