Creazione di modelli ML in watsonx.ai e scoring batch con Spark nell'acceleratore watsonx.data
L'acceleratore Building ML models in watsonx.ai and batch scoring with Spark in watsonx.data vi guida attraverso il flusso di lavoro end-to-end dell'addestramento e della persistenza di modelli ML in watsonx.ai e del batch scoring di tali modelli con Spark in scala in watsonx.data.
Provate questo acceleratore per impostare un flusso di lavoro end-to-end per l'addestramento e la persistenza di modelli ML in watsonx.ai e poi per la valutazione in batch su scala con Spark in watsonx.data.
Per iniziare, accedere all'hub delle risorse e creare un nuovo progetto basato sul progetto di esempio Building ML models in watsonx.ai and batch scoring with Spark in watsonx.data.
Questo acceleratore fornisce un modello e un'implementazione scalabile di ML che utilizza una pipeline per automatizzare il ciclo di vita end-to-end dell'intelligenza artificiale, dal caricamento dei dati, all'addestramento dei modelli, alla selezione del risultato migliore e alla persistenza del modello migliore in un repository di modelli. Create e configurate il flusso una volta sola e poi eseguitelo su richiesta o in base a una pianificazione, senza dover interagire con i singoli strumenti e asset.
Sono inclusi i seguenti processi:
- Caricamento dei dati di addestramento
- Addestramento di un modello ML scikit-learn o di un modello AutoAI su un set di dati di addestramento comune
- Confronto dei risultati e selezione del modello migliore. Quindi persistere il modello nel repository del modello
- Trasformare il modello in un modello Spark utilizzando UDF e quindi eseguire lo scoring batch in scala su questo modello
Il grafico mostra una vista della pipeline di questo flusso di lavoro:
Questo grafico mostra un diagramma architettonico dettagliato del modello di ML scalabile utilizzato dall'acceleratore Building ML models in watsonx.ai e dal batch scoring con Spark in watsonx.data :
Portate il vostro modello
Se si dispone già di un modello addestrato, si può facilmente personalizzare il flusso di lavoro per saltare le fasi di addestramento del modello e caricare i propri dati e il proprio modello di ML direttamente in questo progetto watsonx.ai. Quindi eseguire lo scoring batch con Spark. I dettagli sui tipi di modello supportati sono disponibili nella pagina di documentazione delle specifiche software supportate di watsonx.ai.
Personalizzazione del runtime di Spark
È possibile personalizzare il motore Spark utilizzato da watsonx.data in base alle proprie esigenze. Ad esempio, si potrebbero installare librerie di terze parti per analisi personalizzate, oppure si potrebbero mettere a punto alcune configurazioni del cluster. Ulteriori dettagli sono disponibili nelle pagine di documentazione seguenti:
Modi flessibili di utilizzare Spark in watsonx.data
In questo schema, Analytics Engine è usato come motore Spark in watsonx.data, e un notebook che fa parte di questo progetto mostra un esempio di utilizzo di Spark API per inviare lavori Spark scritti in Python. Esistono anche altri modi per utilizzare Spark in watsonx.data. Ad esempio, è possibile eseguire lavori Spark scritti in R e Scala. Per i dettagli, consultare questi elenchi:
Vari motori a scintilla
Diversi modi per connettersi a un runtime Spark in watsonx.data
Argomento principale: Acceleratori di soluzioni AI