Distribuire risorse di intelligenza artificiale generativa per utilizzarle in produzione e monitorare queste risorse distribuite.
Tipi di asset distribuibili per le applicazioni di IA generativa
È possibile utilizzare watsonx.ai per distribuire le seguenti risorse per le applicazioni di IA generativa:
Distribuzione dei modelli di prompt
Dopo aver salvato un modello di prompt come asset di progetto, è possibile promuoverlo in uno spazio di distribuzione. Dallo spazio di distribuzione, è possibile distribuire il modello di prompt in produzione e ottenere l'endpoint per l'inferenza.
Se hai il servizio watsonx.governance , puoi anche acquisire e tenere traccia dei dettagli di distribuzione per un template di prompt per soddisfare i requisiti di governance.
Per ulteriori informazioni, vedere Distribuzione di un modello di prompt.
Distribuzione dei servizi di IA
Un servizio AI è un'unità di codice distribuibile che può essere utilizzata per catturare la logica dei casi d'uso dell'AI generativa, come la Retrieval Augmented Generation (RAG). Quando i servizi di intelligenza artificiale sono stati distribuiti con successo, è possibile utilizzare l'endpoint per l'inferenza dalla propria applicazione.
Sebbene sia possibile utilizzare i modelli di prompt per creare e distribuire prompt salvati nel Prompt Lab, non è possibile utilizzarli per distribuire applicazioni di IA generativa che utilizzano la Retrieval Augmented Generation (RAG). Per distribuire le applicazioni RAG, è necessario distribuire un servizio AI. I servizi AI offrono la possibilità di distribuire le applicazioni RAG e di utilizzare l'endpoint per l'inferenza.
Per ulteriori informazioni, vedere Distribuzione dei servizi AI.
Distribuzione dei modelli sintonizzati
Dopo aver sintonizzato un foundation model e salvato il modello sintonizzato come risorsa del progetto, è possibile promuoverlo in uno spazio di distribuzione. Dallo spazio di distribuzione, è possibile testare il modello sintonizzato e ottenere l'endpoint per l'inferenza.
Per ulteriori informazioni, vedere Distribuzione di un foundation model sintonizzato.
Distribuzione di modelli di fondazione personalizzati
Oltre a lavorare con i modelli di fondazione curati da IBM, è possibile caricare e distribuire i propri modelli di fondazione. Dopo che i modelli sono stati distribuiti e registrati con watsonx.ai, creare prompt che facciano riferimento ai modelli personalizzati dal Prompt Lab.
L'implementazione di un foundation model personalizzato offre la flessibilità necessaria per implementare le soluzioni di intelligenza artificiale più adatte al vostro caso d'uso.
Per ulteriori informazioni, vedere Distribuzione di un foundation model personalizzato.
Distribuzione dei modelli di fondazione su richiesta
Distribuire un foundation model on-demand su hardware dedicato per rendere il foundation model disponibile per l'uso in varie applicazioni e servizi secondo le necessità. Utilizzando questo approccio, è possibile accedere alle capacità di questi potenti modelli di fondazione senza la necessità di disporre di ampie risorse di calcolo. I modelli Foundation distribuiti on-demand sono ospitati in uno spazio di distribuzione dedicato dove è possibile utilizzare questi modelli per l'inferenza.
Per ulteriori informazioni, vedere Distribuzione dei modelli di fondazione su richiesta.
Ulteriori informazioni
- Monitoraggio dei modelli di prompt
- Valutazione di un modello di prompt in uno spazio di distribuzione
Argomento principale: Distribuzione di asset con il runtime watsonx.ai