Quando si utilizza il Prompt Lab per creare un'applicazione di IA generativa che utilizza la Retrieval Augmented Generation (RAG), è possibile distribuire l'applicazione come servizio di IA utilizzando un percorso rapido o un notebook di distribuzione.
Panoramica dei processi
Il grafico seguente illustra due metodi per distribuire un servizio AI utilizzando il Prompt Lab:
- Utilizzando un percorso rapido per promuovere e distribuire direttamente.
- Utilizzando un notebook di distribuzione.
È possibile creare un'applicazione RAG nel Prompt Lab aggiungendo una connessione a un indice vettoriale. Per distribuire il servizio AI, è possibile utilizzare il percorso rapido per promuovere direttamente il servizio AI in uno spazio di distribuzione e creare una distribuzione online.
In alternativa, è possibile salvare il lavoro in un blocco note di distribuzione, da utilizzare per personalizzare il codice in base al caso d'uso. Il notebook di distribuzione contiene codice generato automaticamente per creare e distribuire un servizio AI. Il servizio AI cattura la logica per l'esecuzione di una ricerca di similarità per calcolare i documenti che corrispondono alla query e inferisce il modello utilizzando il risultato della query. Il servizio AI contiene anche la funzione di generazione, che è un'unità di codice distribuibile. La funzione di generazione viene promossa nello spazio di distribuzione, che crea una distribuzione.
La distribuzione è esposta come endpoint API REST a cui possono accedere altre applicazioni. È possibile inviare una richiesta all'endpoint dell'API REST per utilizzare il servizio AI distribuito per l'inferenza. Il servizio AI distribuito elabora la richiesta e restituisce una risposta.
Attività per la distribuzione dei servizi AI da Prompt Lab
Ecco i passaggi da seguire per creare, distribuire e gestire i servizi AI:
- Scegliere un metodo di distribuzione: È possibile creare e distribuire i servizi AI dal Prompt Lab utilizzando un percorso rapido o un blocco di distribuzione. Scegliete il metodo più adatto al vostro caso d'uso.
- Verifica della distribuzione del servizio di intelligenza artificiale: Testate il servizio di IA distribuito per l'inferenza online o il punteggio in batch.
- Gestire i servizi AI: Accesso e aggiornamento dei dettagli di distribuzione. Ridimensionare o eliminare l'installazione client dall'interfaccia utente o in modo programmatico.
Implementazione di un servizio AI con percorso rapido
È possibile utilizzare il Prompt Lab per creare un'applicazione RAG, che parli con i documenti e fornisca un indice vettoriale. Quando si utilizza il percorso rapido per distribuire il proprio lavoro come servizio AI, la logica dell'applicazione RAG viene automaticamente catturata in un asset del servizio AI e viene creato automaticamente un deployment online per l'asset.
Per ulteriori informazioni, vedere Distribuzione di un servizio AI con percorso rapido.
Distribuzione di un servizio AI con un notebook di distribuzione
Per personalizzare la logica di programmazione dell'applicazione RAG, è possibile utilizzare il Prompt Lab per salvare il lavoro in un blocco note di distribuzione. Quando si salva il lavoro in un deployment notebook, watsonx.ai genera automaticamente un deployment notebook che cattura la logica dell'applicazione RAG in un servizio AI.
Il notebook di distribuzione contiene il codice generato automaticamente per promuovere la risorsa del servizio AI in uno spazio di distribuzione e creare una distribuzione per la risorsa. È possibile modificare il notebook di distribuzione per personalizzarlo, ad esempio creando una distribuzione batch per distribuire un asset del servizio AI invece di una distribuzione online per il proprio caso d'uso.
Per ulteriori informazioni, vedere Distribuzione di un servizio AI con notebook.
Ulteriori informazioni
Argomento principale: Distribuzione dei servizi AI