Distribuzione dei modelli di fondazione su richiesta
IBM watsonx.ai mette a disposizione una collezione curata di modelli di fondazione da distribuire on-demand su hardware dedicato ad uso esclusivo della vostra organizzazione. Utilizzando questo approccio, è possibile accedere alle capacità di questi potenti modelli di fondazione senza la necessità di disporre di ampie risorse di calcolo. I modelli Foundation distribuiti on-demand sono ospitati in uno spazio di distribuzione dedicato dove è possibile utilizzare questi modelli per l'inferenza.
Modelli di fondazione supportati
I modelli Foundation disponibili per l'implementazione on-demand sono ospitati da IBM e fatturati in base alla tariffa di fatturazione Pay by the hour. Questi modelli sono di tipo single-tenant. Pertanto, la distribuzione di questi modelli è esclusiva dell'utente e non è condivisa con altri utenti per l'inferenza. La tariffa oraria viene addebitata per tutto il tempo in cui l'installazione è attiva. Per ulteriori informazioni, consultare le tariffe di fatturazione oraria per i modelli deploy on demand.
Per un elenco dei modelli disponibili per la distribuzione su richiesta, insieme alle descrizioni e alle tariffe di fatturazione, vedere Modelli di fondazione supportati.
Quando un foundation model distribuito su richiesta viene deprecato, è possibile continuare a usare il modello finché non si elimina la distribuzione.
Tipi di distribuzione supportati
È possibile creare distribuzioni online solo per i modelli di fondazione che vengono distribuiti su richiesta. Le distribuzioni in batch non sono supportate.
Considerazioni sulla distribuzione dei modelli di fondazione on-demand
È possibile distribuire solo un'istanza di un foundation model che può essere distribuito su richiesta in uno spazio di distribuzione. Se si ha bisogno di più risorse per il modello, è possibile aggiungere più copie della risorsa modello distribuita scalandola.
Limitazioni e restrizioni
A causa dell'elevata domanda di modelli di fondazione che vengono distribuiti on-demand e delle risorse limitate per soddisfarla, watsonx.ai ha un limite di distribuzione di quattro modelli piccoli, due modelli medi o un modello grande per account IBM Cloud.
Le seguenti restrizioni si applicano ai modelli di fondazione distribuiti su richiesta:
- Non è possibile sintonizzare un foundation model che viene distribuito su richiesta.
- È possibile richiedere un foundation model che viene distribuito su richiesta e salvarlo come modello di richiesta. Tuttavia, non è possibile distribuire un modello di prompt salvato per il foundation model che viene distribuito su richiesta. Se il vostro modello utilizza la Retrieval augmented generation (RAG), potete distribuire il vostro modello come servizio AI.
- Non è possibile utilizzare watsonx.governance per valutare o tracciare un modello di prompt per un foundation model che viene distribuito su richiesta.
Passi successivi
Scegliere un metodo per distribuire un foundation model su richiesta:
- Per distribuire i modelli di fondazione su richiesta dall'hub delle risorse con pochi semplici passaggi, vedere Distribuzione di modelli di fondazione su richiesta dall'hub delle risorse.
- Per distribuire i modelli di fondazione in modo programmatico, vedere Distribuzione di modelli di fondazione su richiesta con API REST.
Argomento principale: Distribuzione di risorse di IA generativa