È possibile caricare e distribuire un foundation model personalizzato da utilizzare con le funzionalità di inferenza di watsonx.ai
Oltre a lavorare con i modelli di fondazione curati da IBM, è ora possibile distribuire i propri modelli di fondazione. Dopo aver distribuito i modelli, creare i prompt che fanno riferimento ai modelli personalizzati dal Prompt Lab.
L'implementazione di un foundation model personalizzato offre la flessibilità necessaria per implementare le soluzioni di intelligenza artificiale più adatte al vostro caso d'uso.
Se si utilizza un modello di un fornitore terzo, è meglio ottenere il modello direttamente dal costruttore del modello. Un luogo dove trovare nuovi modelli è Hugging Face, un archivio di modelli di fondazione open source utilizzato da molti costruttori di modelli.
Guardate questo video per vedere come distribuire un foundation model personalizzato.
Questo video fornisce un metodo visivo per apprendere i concetti e le attività di questa documentazione.
Importazione di modelli di fondazione personalizzati in uno spazio di distribuzione
Il processo di distribuzione di un foundation model e di messa a disposizione per l'inferenza comprende attività eseguite da un ingegnere ModelOps e da un ingegnere Prompt.
L'ingegnere ModelOps deve prima caricare il modello sul cloud storage (interno o esterno). Per distribuire un foundation model personalizzato, l'ingegnere ModelOps deve creare o promuovere una risorsa foundation model nel contesto del progetto o dello spazio di distribuzione.
Dopo che il modello è stato distribuito in produzione, il tecnico Prompt può richiedere il foundation model personalizzato dal Prompt Lab o dall'API di watsonx.ai
Il grafico seguente rappresenta un flusso di attività che vengono tipicamente svolte da un ingegnere ModelOps e da un ingegnere Prompt:
Preparazione del modello
Per preparare il modello, il tecnico ModelOps deve eseguire le seguenti operazioni:
Distribuzione di un foundation model personalizzato
Dopo aver preparato il modello, il tecnico ModelOps deve eseguire le seguenti operazioni:
Prompt del foundation model personalizzato
Quando il modello viene distribuito, il tecnico Prompt può iniziare a richiedere il foundation model personalizzato dal Prompt Lab o dall'API watsonx.ai Vedere Utilizzo del foundation model personalizzato per generare l'output di richiesta.
Passi successivi
Ulteriori informazioni
- Sviluppo di soluzioni di IA generativa con modelli di fondazione (watsonx.ai)
- Tariffe di fatturazione per modelli di fondazione personalizzati
Argomento principale: Distribuzione delle risorse foundation model