Utilizzando IBM Watson Machine Learning, è possibile distribuire modelli di machine learning, script e funzioni e modelli di prompt per i modelli AI generativi. Dopo aver creato le distribuzioni, è possibile testarle e gestirle e preparare gli asset da distribuire in ambienti di pre - produzione e produzione per generare previsioni e informazioni dettagliate.
Servizio L'amministratore deve eseguire il provisioning del servizio Watson Machine Learning sulla piattaforma watsonx per utilizzare le sue funzionalità.
Distribuzione e gestione degli asset negli spazi di distribuzione
Creare uno spazio di implementazione per collaborare con le parti interessate e distribuire e gestire gli asset AI. Per gestire gli asset all'interno di uno spazio di distribuzione, è necessario promuovere gli asset da un progetto allo spazio di distribuzione. È anche possibile importare o esportare gli asset dal proprio spazio di distribuzione. Per ulteriori informazioni, consultare Spazi di distribuzione.
Il seguente grafico mostra le attività tipiche per distribuire gli asset AI:
Modi per distribuire gli asset
È possibile distribuire e gestire gli asset nei modi seguenti:
Utilizza un approccio senza codice: puoi utilizzare un approccio senza codice per distribuire e gestire gli asset in uno spazio di distribuzione. Per ulteriori informazioni, consultare Distribuzione e gestione degli asset negli spazi di distribuzione
Utilizza un approccio con codice personalizzato È possibile utilizzare un approccio con codice personalizzato per distribuire e gestire gli asset in modo programmatico utilizzando:
Per ulteriori API watsonx , vedi APIwatsonx.
Tipi di distribuzione
A seconda delle esigenze della propria organizzazione, è possibile creare una distribuzione in linea o in batch:
Distribuzione online: creare una distribuzione online per elaborare i dati di input in tempo reale. Per testare la distribuzione online in tempo reale, è possibile inoltrare nuovi dati del cliente all'endpoint di distribuzione per ottenere una previsione in tempo reale. Puoi testare la tua distribuzione online immettendo i dati di test in un modulo o tramite codice JSON. Per ulteriori informazioni, vedi Creazione di distribuzioni online in Watson Machine Learning.
Distribuzione batch: creare una distribuzione batch per elaborare un grande batch di dati di input da un'origine dati e scrivere l'output in una destinazione selezionata. Per verificare la distribuzione batch, è necessario creare un lavoro di distribuzione batch. È possibile configurare il lavoro di distribuzione batch fornendo i dettagli sui dati di input, il file di output e le informazioni sull'esecuzione del lavoro su una pianificazione o su richiesta. Per ulteriori informazioni, vedi Creazione di distribuzioni batch in Watson Machine Learning.
Distribuzione dell'applicazione: creare una distribuzione dell'applicazione per distribuire gli asset dell'applicazione, ad esempio le applicazioni R Shiny. Per ulteriori informazioni, vedi Deploying Shiny apps in Watson Machine Learning.
Richiamo degli endpoint di distribuzione
Per utilizzare la risorsa distribuita nelle applicazioni per fare previsioni, recuperare l'URL dell'endpoint per la distribuzione online o batch. L'endpoint modello fornisce l'accesso a una interfaccia per richiamare e gestire le distribuzioni del modello.
Per ulteriori informazioni, vedi Richiamo dell'endpoint per una distribuzione in linea o Richiamo dell'endpoint per una distribuzione batch.
Tipi di asset distribuibili
È possibile utilizzare determinati asset solo per creare distribuzioni in linea o batch. Ad esempio, le distribuzioni in linea e in batch supportano la distribuzione di asset quali funzioni, script e modelli Python , come i modelli AutoAI o Decision Optimization . Tuttavia, è possibile creare distribuzioni in linea solo per i modelli importati da un file. I diversi tipi di asset distribuibili sono i seguenti:
- Asset del modello Foundation: puoi distribuire gli asset del modello di base come gli asset del modello ottimizzato o del modello di prompt con watsonx.ai. Per ulteriori informazioni, vedi Distribuzione degli asset del modello di base.
- Asset Machine Learning : puoi distribuire gli asset Machine Learning di machine learning come le funzioni Python , le applicazioni R Shiny, i modelli NLP, gli script e altro ancora con Watson Machine Learning. Per ulteriori informazioni, vedi Distribuzione degli asset di Machine Learning.
- Modelli diDecision Optimization : puoi distribuire il modello Decision Optimization con Watson Machine Learning.
Gestione delle distribuzioni
Puoi accedere, aggiornare, scalare, eliminare e monitorare le prestazioni per la tua distribuzione nel tuo spazio di distribuzione:
- Accesso a una distribuzione: puoi accedere ai dettagli correlati alla tua distribuzione, come il tipo di fase, che descrive se lo spazio di distribuzione è per scopi di preproduzione o di produzione.
- Aggiornamento di una distribuzione: è possibile aggiornare i propri dettagli di distribuzione come il nome della distribuzione, la specifica software e altro. Per ulteriori informazioni, vedi Aggiornamento di una distribuzione.
- Ridimensionamento di una distribuzione: puoi creare più copie della tua distribuzione per aumentare la scalabilità e la disponibilità per un volume maggiore di richieste di calcolo del punteggio. Per ulteriori informazioni, vedi Ridimensionamento di una distribuzione.
- Eliminazione di una distribuzione: eliminare la distribuzione quando non è più necessaria per liberare risorse. Per ulteriori informazioni, consultare Eliminazione di una distribuzione.
- Monitora le prestazioni della distribuzione: puoi valutare le tue distribuzioni per misurare le prestazioni e comprendere le previsioni del modello eseguendo il provisioning di un'istanza Watson OpenScale e configurando i monitor per la correttezza, la qualità, la deviazione e l'esplicabilità.
Monitoraggio dell'attività di distribuzione
Utilizzare il dashboard delle distribuzioni per ottenere una vista aggregata delle distribuzioni e monitorare l'attività di distribuzione. È possibile utilizzare il dashboard per monitorare lo stato dei lavori di distribuzione batch, ad esempio le esecuzioni attive e terminate in base alla pianificazione del lavoro definita al momento della creazione del lavoro. È anche possibile ottenere informazioni sul numero di distribuzioni in linea riuscite e non riuscite. Per ulteriori informazioni, vedi Dashboard Distribuzioni.
Gestione degli ambienti di runtime per le distribuzioni
Le implementazioni di runtime forniscono le funzioni necessarie richieste per eseguire la distribuzione.
È possibile utilizzare ambienti di runtime predefiniti o creare ambienti di runtime personalizzati per includere più componenti, a seconda del caso di utilizzo. Per creare un ambiente di runtime personalizzato per la distribuzione, devi creare un Dockerfile e aggiungere un'immagine di base. Inoltre, è possibile aggiungere i comandi docker per creare l'ambiente di runtime per la propria distribuzione. Per ulteriori informazioni, vedi Personalizzazione dei runtime di distribuzione di Watson Machine Learning.
Gestione di framework e specifiche software per le implementazioni
Le specifiche software e i framework contengono bundle di package con versioni corrispondenti dei package.
È possibile utilizzare specifiche software predefinite o creare specifiche software personalizzate, a seconda del proprio caso d'uso. Ad esempio, è possibile aggiungere nuovi package ai framework esistenti, creare nuovi package o sostituire le versioni dei package dalle specifiche software.
È necessario aggiornare le specifiche software del modello all'ultima versione dopo l'obsolescenza per garantire un servizio continuo. Quando un framework è obsoleto, il supporto per questo framework viene rimosso in una release futura.
Per ulteriori informazioni, vedi Framework e specifiche del software in Watson Machine Learning.
Ulteriori informazioni
Argomento principale: Distribuzione e gestione di asset AI