Distribuzione di un modello di fondazione personalizzato
È possibile caricare e distribuire un modello di fondazione personalizzato da usare con le funzionalità di inferenza di watsonx.ai.
I modelli di fondazione personalizzati sono disponibili solo nelle distribuzioni di watsonx su IBM Cloud. watsonx le distribuzioni su AWS non possono utilizzare modelli di fondazione personalizzati.
Oltre a lavorare con i modelli di fondazione curati da IBM, è ora possibile distribuire i propri modelli di fondazione. Dopo che i modelli sono stati distribuiti, è possibile creare prompt che inferiscono i modelli personalizzati dal sito Prompt Lab.
L'implementazione di un modello di fondazione personalizzato offre la flessibilità necessaria per implementare le soluzioni di intelligenza artificiale più adatte al vostro caso d'uso.
Se si utilizza un modello di un fornitore terzo, è meglio ottenere il modello direttamente dal costruttore del modello. Un luogo dove trovare nuovi modelli è Hugging Face, un archivio di modelli di fondazione open source usato da molti costruttori di modelli.
Guardate questo video per vedere come distribuire un modello di fondazione personalizzato.
Questo video fornisce un metodo visivo per apprendere i concetti e le attività di questa documentazione.
Importazione di modelli di fondazione personalizzati in uno spazio di distribuzione
Il processo di distribuzione di un modello di fondazione e di messa a disposizione per l'inferenza comprende attività svolte da un ingegnere di ModelOps e da un ingegnere di Prompt.
L'ingegnere ModelOps deve prima caricare il modello sul cloud storage (interno o esterno). Per distribuire un modello di fondazione personalizzato, l'ingegnere ModelOps deve creare o promuovere una risorsa del modello di fondazione nel contesto del progetto di distribuzione o dello spazio.
Dopo che il modello è stato distribuito in produzione, l'ingegnere di Prompt può richiedere il modello di fondazione personalizzato dalle API Prompt Lab o watsonx.ai.
Il grafico seguente rappresenta un flusso di attività che vengono tipicamente svolte da un ingegnere ModelOps e da un ingegnere Prompt:
Preparazione del modello
Per preparare il modello, il tecnico ModelOps deve eseguire le seguenti operazioni:
Distribuzione di un modello di fondazione personalizzato
Dopo aver preparato il modello, il tecnico ModelOps deve eseguire le seguenti operazioni:
Prompt del modello di fondazione personalizzato
Quando il modello viene distribuito, l'ingegnere di Prompt può iniziare a richiedere il modello di fondazione personalizzato dall'API Prompt Lab o watsonx.ai. Vedere Utilizzo del modello di fondazione personalizzato per la generazione di output di richiesta.
Passi successivi
Ulteriori informazioni
- Sviluppo di soluzioni di IA generativa con modelli di fondazione (watsonx.ai)
- Tariffe di fatturazione per modelli di fondazione personalizzati
Argomento principale: Distribuzione delle risorse del modello di fondazione