Distribuzione di asset AI
Utilizzando IBM watsonx.ai Runtime, è possibile distribuire modelli di apprendimento automatico, script, funzioni e modelli di prompt per modelli di IA generativi. Dopo aver creato le distribuzioni, è possibile testarle e gestirle e preparare gli asset da distribuire in ambienti di pre - produzione e produzione per generare previsioni e informazioni dettagliate.
Servizio L'amministratore deve fornire il servizio watsonx.ai Runtime sulla piattaforma watsonx per utilizzarne le funzionalità.
Processo di distribuzione
Il processo tipico per la distribuzione di un asset è il seguente:
- Scegli tipo di distribuzione: scegliere un tipo di distribuzione per il tipo di asset che si desidera distribuire.
- Crea distribuzione: a seconda del tipo di asset, è possibile creare una distribuzione in linea, batch, applicazione o scollegata.
- Verifica distribuzione: puoi verificare le tue distribuzioni immettendo i dati di test, fornendo il payload JSON o creando un lavoro batch.
- Richiama endpoint di distribuzione: per utilizzare la distribuzione in una applicazione, è necessario richiamare l'endpoint della distribuzione. L'endpoint modello fornisce l'accesso a una interfaccia per richiamare e gestire le distribuzioni del modello.
Il seguente grafico mostra il processo di distribuzione degli asset AI:
Tipi di distribuzione
I tipi più comuni di distribuzioni sono i seguenti:
Distribuzione online: creare una distribuzione online per elaborare i dati di input in tempo reale. Per testare la distribuzione online in tempo reale, è possibile inoltrare nuovi dati del cliente all'endpoint di distribuzione per ottenere una previsione in tempo reale.
Distribuzione batch: creare una distribuzione batch per elaborare un batch di grandi dimensioni di dati di input da un'origine dati e scrivere l'output in una destinazione selezionata. È possibile configurare il lavoro di distribuzione batch ed eseguire il lavoro su una pianificazione o su richiesta.
Tipi di asset distribuibili
Il tipo di asset che si distribuisce determina il tipo di distribuzione che è possibile creare. Ad esempio, le funzioni, gli script e i modelli Python , come i modelli AutoAI o Decision Optimization supportano le distribuzioni in linea e in batch. Tuttavia, è possibile creare distribuzioni in linea solo per i modelli importati da un file. I diversi tipi di asset distribuibili sono i seguenti:
Risorse del modello di fondazione: È possibile distribuire le risorse foundation model, come il modello sintonizzato, le risorse del modello di prompt o i modelli di fondazione personalizzati con watsonx.ai.
asset diwatsonx.ai Runtime: È possibile distribuire asset di apprendimento automatico watsonx.ai Runtime, come funzioni Python, applicazioni R Shiny, modelli NLP, script e altro ancora con watsonx.ai Runtime.
Modelli diDecision Optimization: È possibile distribuire i modelli di Decision Optimization con watsonx.ai Runtime.
Modi per distribuire gli asset
È possibile distribuire e gestire gli asset nei modi seguenti:
Distribuire e gestire gli asset in uno spazio di distribuzione utilizzando un approccio senza codice.
Distribuire e gestire gli asset in modo programmatico utilizzando un approccio di codice personalizzato.
Distribuzione e gestione degli asset negli spazi di distribuzione
Creare uno spazio di distribuzione per collaborare con le parti interessate e distribuire e gestire gli asset in uno spazio di distribuzione.
Per gestire gli asset all'interno di uno spazio di distribuzione, è necessario promuovere gli asset da un progetto allo spazio di distribuzione. È anche possibile importare o esportare gli asset dal proprio spazio di distribuzione.
Utilizzare il dashboard Distribuzioni per ottenere una vista aggregata delle distribuzioni e monitorare l'attività di distribuzione.
Distribuzione e gestione degli asset in modo programmatico
È possibile distribuire e gestire le risorse utilizzando la libreria client Python o l'API watsonx.ai Runtime. Per ulteriori informazioni, vedere Distribuzione programmatica delle risorse AI.
Gestione di framework e specifiche software per le implementazioni
I framework e specifiche software contengono bundle di package con versioni corrispondenti dei package.
È possibile utilizzare specifiche software predefinite o creare specifiche software personalizzate aggiungendo nuovi package ai framework esistenti, creare nuovi package o aggiornare le versioni dei package nelle specifiche software.
Ulteriori informazioni
Argomento principale: Distribuzione e gestione di asset AI