Metodi di distribuzione del modello di fondazione in watsonx.ai
È possibile scegliere tra una raccolta di modelli di terze parti e della fondazione " IBM " per l'inferenza in IBM watsonx.ai. Trova i modelli di base che meglio si adattano alle esigenze della tua applicazione di IA generativa e al tuo budget.
Puoi ospitare modelli di fondazione in watsonx.ai in vari modi.
Se si desidera distribuire modelli di fondazione nel proprio data center, è possibile acquistare un softwar watsonx.ai. Per ulteriori informazioni, vedere Panoramica del software IBM watsonx.ai e IBM watsonx.governance.
In base a come i modelli di fondazione sono ospitati in watsonx.ai, sono classificati come:
- Fornito modelli di fondazione
- Distribuire modelli di fondazioni su richiesta
- Modelli di base personalizzati
- Modelli di fondazioni pronti all'uso
Confronto dei metodi di distribuzione
Per aiutarti a scegliere il metodo di distribuzione più adatto al tuo caso d'uso, consulta la tabella di confronto.
| Tipo di distribuzione | Disponibile da | Meccanismo di distribuzione | ambiente host | Metodo di fatturazione | Politica di dismissione |
|---|---|---|---|---|---|
| Modelli di fondazione forniti con watsonx.ai | • Centro risorse>Pagamento per token • Prompt Lab |
Curato e distribuito da IBM | Hardware multiutente | In gettoni utilizzati | Obsoleto secondo il ciclo di vita pubblicato. Vedi Ciclo di vita del modello di fondazione. |
| Distribuire modelli di fondazioni su richiesta | • Centro risorse>Pagamento a ore • Prompt Lab |
Curato e distribuito da IBM su vostra richiesta | Hardware dedicato | Per ora impiegato | Il modello distribuito non è obsoleto |
| Modelli di base personalizzati | • Prompt Lab | Curato e distribuito da voi | Hardware dedicato | Per ora impiegato | Non deprecato |
| Modelli di fondazioni pronti all'uso | • Prompt Lab | Messa a punto e implementata da voi | Hardware multiutente | • La formazione viene fatturata in CUH ( ) • L'inferenza viene fatturata in base ai token utilizzati |
Deprecato quando il modello sottostante è deprecato, a meno che non si aggiunga il modello sottostante come modello di base personalizzato |
Per i dettagli su come viene calcolato e monitorato il prezzo dei modelli, vedere Dettagli di fatturazione per le risorse generative di IA.
Fornito modelli di fondazioni pronti all'uso
Una raccolta di modelli di terze parti e della fondazione " IBM " è distribuita su hardware multi-tenant in IBM watsonx.ai da IBM. Puoi richiamare questi modelli di base nell' Prompt Lab, oppure tramite programmazione. Il pagamento avviene in base al numero di gettoni utilizzati.
Per iniziare a dedurre un modello di fondazione fornito, completare questi passaggi:
- Dal menu principale, selezionare Hub risorse.
- Fare clic su Visualizza tutto nella sezione Pagamento per token.
- Fare clic su una piastrella del modello di fondazione, quindi fare clic su Apri in Prompt Lab.
Distribuire modelli di fondazioni su richiesta
Un modello deploy on demand è un esempio di modello di base curato da IBM, che viene distribuito ed è dedicato all'uso esclusivo della tua organizzazione. Solo i colleghi a cui è stato concesso l'accesso alla distribuzione possono dedurre il modello di fondazione. Un'implementazione dedicata significa interazioni più rapide e reattive senza limiti di velocità.
Per lavorare con un modello di fondazione a distribuzione su richiesta, completare i seguenti passaggi:
- Dal menu principale, selezionare Hub risorse.
- Fare clic su Visualizza tutto nella sezione Pagamento a ore.
- Fare clic su una piastrella del modello di fondazione, quindi fare clic su Distribuisci.
Per ulteriori informazioni, vedere Implementazione di modelli di fondazione su richiesta.
Modelli di base personalizzati
Oltre a lavorare con i modelli di fondazioni curati da IBM, puoi caricare e distribuire i tuoi modelli di fondazioni. Dopo che i modelli personalizzati sono stati distribuiti e registrati con watsonx.ai, è possibile creare prompt che deducano i modelli personalizzati dall' Prompt Lab o dall' watsonx.ai.
L'istanza del modello di fondazione personalizzato che si implementa è dedicata al proprio utilizzo. Un'implementazione dedicata significa interazioni più rapide e reattive. Il costo per l'hosting del modello di fondazione è calcolato su base oraria.
Per saperne di più su come caricare, registrare e distribuire un modello di fondazione personalizzato, vedere Distribuire un modello di fondazione personalizzato.
Modelli di fondazioni pronti all'uso
Un sottoinsieme dei modelli di fondazione forniti può essere personalizzato in base alle proprie esigenze, modificando rapidamente il modello dall'API watsonx.ai o Tuning Studio. Un modello di fondazione prontamente calibrato si basa sul modello di fondazione sottostante. Il modello sottostante può essere deprecato. Si pagano le risorse che si consumano per mettere a punto il modello. Dopo che il modello è stato messo a punto, si paga con gettoni utilizzati per inferire il modello.
È possibile personalizzare i seguenti modelli di fondazioni modificandoli watsonx.ai:
Per ulteriori informazioni, vedere Tuning Studio.
Ulteriori informazioni
Per l'elenco completo dei modelli con cui è possibile lavorare in watsonx.ai, vedere Modelli di fondazioni supportati.
Argomento principale: Soluzioni Gen AI