Un servizio AI è un'unità di codice distribuibile che può essere utilizzata per catturare la logica dei casi d'uso dell'AI generativa. Quando i servizi di intelligenza artificiale sono stati distribuiti con successo, è possibile utilizzare l'endpoint per l'inferenza dalla propria applicazione.
Distribuzione di applicazioni di IA generativa con servizi di IA
Mentre le funzioni Python sono il modo tradizionale per distribuire risorse di apprendimento automatico, i servizi AI offrono un'opzione più flessibile per distribuire codice per applicazioni AI generative come lo streaming.
A differenza della funzione Python standard per l'implementazione di un modello di machine learning predittivo, che richiede input in uno schema fisso, un servizio di AI offre flessibilità per input multipli e consente la personalizzazione.
I servizi AI offrono una soluzione sicura per distribuire le funzioni del codice. Ad esempio, le credenziali, come i token dei portatori necessari per l'autenticazione, sono generate dal servizio a partire dalle credenziali dell'attività e il token è reso disponibile all'asset del servizio di intelligenza artificiale. È possibile utilizzare questo token per ottenere risorse di connessione, scaricare risorse di dati e altro ancora.
Implementazione di servizi AI con codifica diretta
Quando si costruiscono le applicazioni di IA generativa da zero, si può usare un servizio di IA per catturare la logica di programmazione dell'applicazione, che può essere distribuita con un endpoint per l'inferenza. Ad esempio, se si costruisce un'applicazione RAG con framework come LangChain, LlamaIndex, o altri, si può usare un servizio AI per catturare la logica di recupero delle risposte dall'indice vettoriale nel servizio AI e distribuire il servizio AI.
Per ulteriori informazioni, vedere Distribuzione di servizi AI con codifica diretta.
Distribuzione di servizi di intelligenza artificiale con strumenti
È possibile utilizzare i seguenti strumenti visivi per creare una soluzione di IA generativa in watsonx.ai:
- Prompt Lab
- AutoAI
- Agente Lab
Quando si utilizzano strumenti visivi per creare una soluzione di IA generativa per un caso d'uso complesso, come il RAG, la soluzione viene distribuita come servizio di IA. È possibile scegliere di distribuire la soluzione direttamente dall'interfaccia utente o di esportare la soluzione in un blocco note modificabile in Python che distribuisce il servizio AI. Il notebook genera automaticamente il codice per creare un servizio di IA in un formato standard e fornisce un modo per aggiungere ulteriori funzionalità o aggiornare dopo i test. Mentre gli strumenti forniscono un'interfaccia facile da usare per creare e distribuire servizi di IA, la codifica offre maggiore flessibilità e opzioni di personalizzazione.
Per ulteriori informazioni, vedere Distribuzione dei servizi AI con gli strumenti.
Ulteriori informazioni
Argomento principale: Distribuzione delle risorse foundation model