È possibile creare un servizio di IA personalizzato che sia adatto alla vostra applicazione di IA generativa fin dalle fondamenta. Ad esempio, se si sta distribuendo una risorsa che utilizza la retrieval augmented generation (RAG), è possibile catturare la logica per il recupero delle risposte dai documenti di base nel servizio AI.
Panoramica dei processi
Il grafico seguente illustra il processo di codifica dei servizi di IA.
È possibile creare un blocco note che contiene il servizio AI e le connessioni all'interno del progetto. Il servizio AI cattura la logica dell'applicazione RAG e contiene la funzione di generazione, che è un'unità di codice distribuibile. La funzione di generazione viene promossa nello spazio di distribuzione, che viene utilizzato per creare una distribuzione. La distribuzione è esposta come endpoint API REST a cui possono accedere altre applicazioni. È possibile inviare una richiesta all'endpoint dell'API REST per utilizzare il servizio AI distribuito per l'inferenza. Il servizio AI distribuito elabora la richiesta e restituisce una risposta.
Compiti per la creazione e la distribuzione di servizi di IA
Ecco i passaggi da seguire per creare, distribuire e gestire i servizi AI:
- Creare un servizio di intelligenza artificiale: Definire un servizio di intelligenza artificiale in un notebook utilizzando Python. Il servizio AI deve soddisfare requisiti specifici per essere distribuito come servizio AI.
- Test del servizio AI: Testate la logica di codifica del vostro servizio AI a livello locale.
- Creare le risorse del servizio AI: Dopo aver creato e testato il servizio AI, è necessario confezionarlo come asset distribuibile.
- Distribuire asset di servizi AI: Distribuire l'asset del servizio AI come distribuzione online o in batch.
- Verifica della distribuzione del servizio di intelligenza artificiale: Testate il servizio di IA distribuito per l'inferenza online o il punteggio in batch.
- Gestire i servizi AI: Accedere e aggiornare i dettagli di distribuzione. Ridimensionare o eliminare l'installazione client dall'interfaccia utente o in modo programmatico.
Taccuini di esempio per la creazione e la distribuzione di servizi di IA
Per imparare a creare e distribuire i servizi AI in modo programmatico, vedere i seguenti notebook di esempio:
| Nome del campione | Framework | Tecniche dimostrate |
|---|---|---|
| Usare watsonx e meta-llama/llama-3-2-11b-vision-instruct per funzionare come servizio di intelligenza artificiale | Python | Impostare l'ambiente ' Creare un servizio AI ' Testare il funzionamento del servizio AI localmente ' Distribuire il servizio AI ' Eseguire un servizio AI |
| Usare watsonx, Elasticsearch e LangChain per rispondere alle domande (RAG) | LangChain | Impostare l'ambiente ' Scaricare il set di dati di prova. Definizione del foundation model su watsonx ' Impostazione delle informazioni di connettività a Elasticsearch ' Generazione di una risposta con incremento del recupero a una domanda ' Creazione di un servizio AI ' Test della funzione del servizio AI in locale ' Distribuzione del servizio AI |
| Usare watsonx e meta-llama/llama-3-1-70b-instruct per creare un servizio AI | LangGraph | Impostare l'ambiente ' Creare un servizio AI ' Testare il funzionamento del servizio AI localmente ' Distribuire il servizio AI ' Eseguire un servizio AI |
Ulteriori informazioni
Argomento principale: Distribuzione dei servizi AI