Implementazione dei servizi di intelligenza artificiale con strumenti visivi
Quando si utilizzano strumenti visivi per costruire un'applicazione per un caso d'uso complesso come la Retrieval Augmented Generation (RAG) o l'IA agenziale, l'applicazione viene distribuita come servizio di IA. Un servizio di IA è un'unità di codice distribuibile che cattura la logica della tua applicazione di IA generativa. Dopo aver distribuito un servizio AI, è possibile testarlo dall'interfaccia di test fornita nello spazio o accedere all'endpoint per mettere in produzione la distribuzione.
Strumenti visivi che utilizzano servizi di IA
Quando si crea un'applicazione con uno dei seguenti strumenti, l'applicazione viene distribuita come servizio di intelligenza artificiale:
Agent Lab : È possibile utilizzare Agent Lab per creare e implementare soluzioni di intelligenza artificiale agentica in watsonx.ai. Le soluzioni di IA agentica che si costruiscono nell'Agent Lab vengono distribuite come servizi di IA.
Prompt Lab : È possibile utilizzare l' Prompt Lab, per creare e implementare una soluzione di IA generativa per un caso d'uso complesso, come il Retrieval Augmented Generation (RAG). Le soluzioni di IA generativa per casi d'uso complessi che si costruiscono nell'Agent Lab vengono implementate come servizi di IA.
AutoAI (per RAG ): È possibile utilizzare AutoAI per costruire esperimenti di IA generativa basati su RAG e distribuire la pipeline che offre le migliori prestazioni come servizio di IA.
Ad esempio, un servizio di intelligenza artificiale per un prompt che chatta con documenti di base può gestire la logica per recuperare contenuti dall'indice dei documenti vettorializzati, nonché l'inferenza con un modello di base per generare una risposta.
Metodi di distribuzione
A seconda delle esigenze, è possibile implementare l'applicazione come servizio di intelligenza artificiale da uno strumento visivo supportato utilizzando uno dei seguenti approcci:
- Distribuzione diretta (percorso rapido ): utilizzare questa opzione se la soluzione è completa e non si desidera apportare ulteriori modifiche. Se si sceglie di eseguire il deployment utilizzando un percorso rapido, viene creato automaticamente un deployment online.
- Notebook di distribuzione : utilizzare questa opzione se si desidera personalizzare la soluzione aggiungendo o modificando il codice, ad esempio creando una distribuzione in batch.
Oltre agli strumenti visivi, è possibile distribuire manualmente l'applicazione come servizio di intelligenza artificiale direttamente dal progetto, se è stato creato un asset di servizio di intelligenza artificiale a livello di programmazione.
La tabella seguente mette a confronto le opzioni di distribuzione di vari strumenti e progetti:
| Strumento | Distribuzione online | Distribuzione batch | Distribuzione diretta (Fast-path) | Blocco Note di distribuzione |
|---|---|---|---|---|
| Prompt Lab | Automatico | Manuale | Processo in due fasi | Supportato; generato automaticamente |
| Agente Lab | Automatico | Manuale | Processo in due fasi | Supportato; generato automaticamente |
| AutoAI (per RAG) | Automatico | Manuale | Processo a più fasi | Non supportato |
| Progetti | Manuale | Manuale | Processo a più fasi | Supportato; creato manualmente |
Il servizio AI cattura la logica del caso d'uso e contiene la funzione di generazione, che è un'unità di codice distribuibile. La distribuzione è esposta come endpoint API REST a cui possono accedere altre applicazioni. È possibile inviare una richiesta all'endpoint dell'API REST per utilizzare il servizio AI distribuito per l'inferenza. Il servizio AI distribuito elabora la richiesta e restituisce una risposta.
Distribuzione dagli strumenti
Utilizza il percorso rapido per distribuire direttamente da uno strumento visivo o salva il tuo lavoro in un notebook di distribuzione per distribuire la tua soluzione come servizio di intelligenza artificiale.
Distribuzione con percorso rapido
Se hai utilizzato uno strumento visivo supportato per creare la tua applicazione in watsonx.ai, puoi distribuire la tua soluzione direttamente dallo strumento. L'implementazione direttamente dagli strumenti offre un percorso rapido per implementare la soluzione come servizio di IA e crea automaticamente un'implementazione online. Poiché la distribuzione non può essere modificata dopo la creazione, è necessario assicurarsi che la soluzione sia completamente costruita prima di distribuirla.
Per creare un'installazione batch, è necessario distribuire manualmente la soluzione da un progetto. Per ulteriori informazioni, vedere Distribuzione dal progetto.
Per distribuire una soluzione complessa come RAG da Prompt Lab o per distribuire un agente dall'Agent Lab, procedere come segue:
- Fare clic su Distribuisci dall'area di lavoro.
- Inserisci i dettagli della distribuzione, scegli o crea il tuo spazio di distribuzione e fai clic su Crea.
Per distribuire un modello RAG da AutoAI, segui questi passaggi:
- Dal generatore di esperimenti di AutoAI, scegli la pipeline con le migliori prestazioni e fai clic su Salva con nome.
- Scegliere Recupero e generazione come obiettivo e selezionare il tipo di asset del servizio AI.
- Abilitare l'opzione per promuovere e distribuire il servizio AI in uno spazio di distribuzione.
- Scegli uno spazio di distribuzione esistente o creane uno nuovo e fai clic su Crea e distribuisci.
Questa procedura crea automaticamente una distribuzione online. L'implementazione viene creata e aperta nello spazio di destinazione in modo da poter testare l'implementazione o accedere all'endpoint per l'inferenza.
Distribuzione da notebook generato automaticamente
Dopo aver creato un'applicazione in uno strumento visivo, se si desidera personalizzare la logica dell'applicazione prima della distribuzione, è possibile salvare il lavoro in un notebook di distribuzione. Ad esempio, è possibile modificare ed eseguire un notebook RAG ( AutoAI ) se si desidera aggiungere nuovi documenti al database vettoriale, quindi applicare il modello RAG ottimizzato scoperto con lo strumento AutoAI all'indice aggiornato.
Il notebook di distribuzione contiene il codice per testare, promuovere e distribuire un servizio di IA. Per distribuire l'applicazione, è necessario salvare il lavoro in un blocco note di distribuzione. Non è possibile utilizzare un notebook standard per distribuire una risorsa del servizio AI.
Per salvare la soluzione in un blocco note di distribuzione in Prompt Lab o Agent Lab:
- Fare clic sull'icona Salva
e selezionare Salva con nome dal menu a discesa. - Nella finestra di dialogo Salva il lavoro, selezionare Taccuino di distribuzione.
- Nella sezione Definisci dettagli, inserire un nome e una descrizione opzionale per il notebook di distribuzione.
- Fare clic su Salva.
Quando si salva il lavoro in un notebook di distribuzione, watsonx.ai genera automaticamente un notebook che contiene il codice per testare, promuovere e distribuire un servizio AI. Per creare un'installazione online del servizio AI, eseguire le celle nel notebook di installazione.
Distribuzione dal progetto
Crea un'implementazione online o in batch per distribuire la tua applicazione come servizio di IA. Le distribuzioni online sono adatte per applicazioni che richiedono un'elevata disponibilità e aggiornamenti in tempo reale, mentre le distribuzioni in batch sono ideali per aggiornamenti complessi o quando è accettabile un periodo di inattività programmato.
Prerequisiti
È necessario impostare le credenziali dell'attività generando una chiave API. Per ulteriori informazioni, vedere Gestione delle credenziali delle attività.
Creazione di implementazioni online
Se hai salvato una risorsa AI in un progetto come risorsa di servizio AI distribuibile, segui questi passaggi per promuovere il servizio AI e creare una distribuzione online:
- Dalla scheda Assets del progetto o dello spazio di distribuzione, selezionare Deploy per il servizio AI.
- Scegli o crea uno spazio di distribuzione.
- Selezionare Online come tipo di distribuzione.
- Inserisci un nome per la tua missione e, facoltativamente, inserisci un nome di servizio, una descrizione e dei tag.
- Fare clic su Crea.
Creazione di distribuzioni in batch
Se hai salvato una risorsa AI in un progetto come risorsa di servizio AI distribuibile, segui questi passaggi per promuovere il servizio AI e creare una distribuzione in batch:
- Dal tuo spazio di distribuzione, vai alla scheda Assets.
- Per il tuo asset di servizio AI nell'elenco degli asset, fai clic sull'icona Menu e seleziona Distribuisci.
- Selezionare Lotto come tipo di distribuzione.
- Inserisci un nome per la tua missione e, facoltativamente, inserisci un nome di servizio, una descrizione e dei tag.
- Selezionare una specifica hardware:
- Extra small : 1 CPU e 4 GB di RAM
- Piccolo : 2 CPU e 8 GB di RAM
- Media : 4 CPU e 16 GB di RAM
- Grande : 8 CPU e 32 GB di RAM
- Extra large : 16 CPU e 64 GB di RAM
- Fare clic su Crea.
Passi successivi
- Test delle implementazioni dei servizi di intelligenza artificiale
- Gestione delle distribuzioni di servizi AI
Argomento principale: Distribuzione dei servizi AI