In IBM watsonx.ai è disponibile una raccolta di modelli open source e IBM foundation per l'inferenza. Trovate i modelli di base più adatti alle esigenze della vostra applicazione di IA generativa e al vostro budget.
I modelli di fondazione disponibili per l'inferenza da watsonx.ai sono ospitati in vari modi:
- Modelli di fondazione forniti con watsonx.ai
- Modelli di fondazione IBM, distribuiti su hardware multitenant da IBM e disponibili per l'inferenza. Si paga in base ai gettoni utilizzati. Vedere i modelli di Fondazione forniti con watsonx.ai
- Implementazione di modelli di fondazione on demand
- Un'istanza di un foundation model IBM che viene distribuita e che è dedicata all'uso dell'inferenza. Solo i colleghi a cui è stato concesso l'accesso all'installazione possono fare l'inferenza sul foundation model. Un'implementazione dedicata significa interazioni più rapide e reattive senza limiti di velocità. L'hosting del foundation model si paga a ore. Vedere Distribuzione di modelli di fondazione su richiesta.
- Modelli di base personalizzati
- Modelli Foundation curati dall'utente che vengono importati e distribuiti in watsonx.ai L'istanza del foundation model personalizzato che viene distribuita è dedicata all'utente. Un'implementazione dedicata significa interazioni più rapide e reattive. L'hosting del foundation model si paga a ore. Vedere Modelli di fondazione personalizzati.
- Modelli di fondazione sintonizzati su richiesta
- Un sottoinsieme dei modelli di fondazione disponibili, che può essere personalizzato per le proprie esigenze tramite la messa a punto immediata del modello dall'API o da Tuning Studio. Un foundation model tempestivamente sintonizzato si basa sul foundation model sottostante IBM. Si pagano le risorse consumate per mettere a punto il modello. Dopo la messa a punto del modello, si paga con i gettoni utilizzati per l'inferenza del modello. Vedere Modelli di fondazione sintonizzati con il prompt.
Se si desidera implementare i modelli di fondazione nel proprio centro dati, è possibile acquistare il software watsonx.ai Per ulteriori informazioni, vedere Panoramica di IBM watsonx as a Service e del software IBM watsonx.governance
Confronto tra i metodi di distribuzione
Per aiutarvi a scegliere il metodo di distribuzione giusto, consultate la tabella di confronto.
| Tipo di distribuzione | Disponibile da | Meccanismo di distribuzione | ambiente host | Metodo di fatturazione | Politica di deprezzamento |
|---|---|---|---|---|---|
| Modelli di fondazione forniti con watsonx.ai | - Hub delle risorse>Pay per token - Prompt Lab |
Curato e distribuito da IBM | Hardware multitenant | Per gettoni utilizzati | Deprecato in base al ciclo di vita pubblicato |
| Implementazione di modelli di fondazione on demand | - Hub delle risorse>Pagare a ore - Prompt Lab |
Curato e distribuito da IBM su richiesta del cliente | Hardware dedicato | Per ora distribuito | Il modello distribuito non è deprecato |
| Modelli di base personalizzati | • Prompt Lab | Curato e distribuito da voi | Hardware dedicato | Per ora distribuito | Non deprecato |
| Modelli di fondazione sintonizzati su richiesta | • Prompt Lab | Sintonizzati e distribuiti da voi | Hardware multitenant | - La formazione è fatturata con il CUH - L'inferenza è fatturata con i token utilizzati |
Deprecato quando il modello sottostante è deprecato, a meno che non si aggiunga il modello sottostante come foundation model personalizzato |
Per i dettagli su come vengono calcolati e monitorati i prezzi dei modelli, vedere Dettagli di fatturazione per gli asset di IA generativa.
Modelli di fondazione supportati per metodo di distribuzione
watsonx.ai mette a disposizione diversi modelli di fondazione che possono essere utilizzati immediatamente o che possono essere distribuiti su hardware dedicato per l'uso da parte dell'organizzazione.
Modelli di fondazione forniti con watsonx.ai
Una raccolta di modelli open source e IBM foundation vengono distribuiti in IBM watsonx.ai. È possibile richiedere questi modelli di fondazione nel Prompt Lab o in modo programmatico.
Modelli di fondazione IBM forniti con watsonx.ai
La seguente tabella elenca i modelli di fondazione IBM supportati che IBM fornisce per l'inferenza.
L'uso è misurato in unità di risorse (RU); ogni unità equivale a 1.000 gettoni dell'input e dell'output dell'inferenza foundation model. Per maggiori dettagli sulle modalità di calcolo e monitoraggio dei prezzi dei modelli, consultare la sezione Dettagli di fatturazione per gli asset di IA generativa.
Alcuni modelli di fondazione IBM sono disponibili anche in repository di terze parti, come Hugging Face. I modelli di fondazione IBM ottenuti da un repository di terze parti non sono indennizzati da IBM. Solo i modelli di fondazione IBM a cui si accede da watsonx.ai sono indennizzati da IBM. Per ulteriori informazioni sulle tutele contrattuali relative all'indennizzo IBM, consultare il Contratto di collaborazione con il cliente IBM e la descrizione del servizio IBM watsonx.ai
Modelli di fondazione di terze parti forniti con watsonx.ai
La seguente tabella elenca i modelli di fondazione di terze parti supportati e forniti con watsonx.ai
L'uso è misurato in unità di risorse (RU); ogni unità equivale a 1.000 gettoni dell'input e dell'output dell'inferenza foundation model. Per maggiori dettagli sulle modalità di calcolo e monitoraggio dei prezzi dei modelli, consultare la sezione Dettagli di fatturazione per gli asset di IA generativa.
| Nome modello | di servizi | Prezzo di USD/1,000 gettoni) |
Prezzo di USD/1,000 gettoni) |
Finestra contestuale (token di ingresso e di uscita) |
Ulteriori informazioni |
|---|---|---|---|---|---|
| allam-1-13b-instruct | Centro nazionale per l'intelligenza artificiale e autorità saudita per i dati e l'intelligenza artificiale | $0.0018 | $0.0018 | 4.096 | - Scheda modello |
| codellama-34b-instruct | Code Llama | $0.0018 | $0.0018 | 16.384 | - Scheda modello - 'Meta Blog AI |
| elyza-japanese-llama-2-7b-instruct | ELYZA, Inc | $0.0018 | $0.0018 | 4.096 | - Scheda modello - Blog su note.com |
| flan-t5-xl-3b | $0.0006 | $0.0006 | 4.096 | - Scheda modello - Carta di ricerca Nota: questo foundation model può essere messo a punto in modo tempestivo.
|
|
| flan-t5-xxl-11b | $0.0018 | $0.0018 | 4.096 | - Scheda modello " - Carta di ricerca |
|
| flan-ul2-20b | $0.0050 | $0.0050 | 4.096 | - Scheda modello - Carta di ricercaUL2 - Carta di ricerca Flan |
|
| jais-13b-chat | Introduzione, Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) e Cerebras Systems | $0.0018 | $0.0018 | 2,048 | - Scheda modello " - Carta di ricerca |
| llama-3-3-70b-instruct | Meta | $0.0018 | $0.0018 | 131,072 | - Scheda modello - 'Meta AI blog |
| llama-3-2-1b-instruct | Meta | $0.0001 | $0.0001 | 131,072 | - Scheda modello - 'Meta AI blog - Carta di ricerca |
| llama-3-2-3b-instruct | Meta | $0.00015 | $0.00015 | 131,072 | - Scheda modello - 'Meta AI blog - Carta di ricerca |
| llama-3-2-11b-vision-instruct | Meta | $0.00035 | $0.00035 | 131,072 | - Scheda modello - 'Meta AI blog - Carta di ricerca |
| llama-3-2-90b-vision-instruct | Meta | $0.0020 | $0.0020 | 131,072 | - Scheda modello - 'Meta AI blog - Carta di ricerca |
| llama-guard-3-11b-vision | Meta | $0.00035 | $0.00035 | 131,072 | - Scheda modello - 'Meta AI blog - Carta di ricerca |
| llama-3-1-8b-instruct | Meta | $0.0006 | $0.0006 | 131,072 | - Scheda modello - 'Meta AI blog |
| llama-3-1-70b-instruct | Meta | $0.0018 | $0.0018 | 131,072 | - Scheda modello - 'Meta AI blog |
| llama-3-405b-instruct | Meta | $0.0050 | $0.016 | 16.384 | - Scheda modello - 'Meta AI blog |
| llama-3-8b-instruct | Meta | $0.0006 | $0.0006 | 8,192 | - Scheda modello - 'Meta AI blog |
| llama-3-70b-instruct | Meta | $0.0018 | $0.0018 | 8,192 | - Scheda modello - 'Meta AI blog |
| llama-2-13b-chat | Meta | $0.0006 | $0.0006 | 4.096 | - Scheda modello " - Carta di ricerca |
| mistral-large | Mistral AI | $0.003 | $0.01 | 32.768 | - Scheda modello - Post sul blog per Mistral Large 2 |
| mixtral-8x7b-instruct-v01 | Mistral AI | $0.0006 | $0.0006 | 32.768 | - Scheda modello " - Carta di ricerca |
| mt0-xxl-13b | BigScience | $0.0018 | $0.0018 | 4.096 | - Scheda modello " - Carta di ricerca |
| pixtral-12b | Mistral AI | $0.00035 | $0.00035 | 128.000 | - Scheda modello - Blog post per Pixtral 12B |
- Per ulteriori informazioni sui modelli di base supportati che IBM fornisce per l'incorporazione e la riclassificazione del testo, vedere Modelli di base del codificatore supportati.
- Per un elenco dei modelli disponibili in ciascun centro dati regionale, vedere Disponibilità regionale del foundation model.
- Per informazioni sui prezzi e sulla limitazione delle tariffe, consultare i pianiwatsonx.ai Runtime.
Modelli di base personalizzati
Oltre a lavorare con i modelli di fondazione curati da IBM, è possibile caricare e distribuire i propri modelli di fondazione. Dopo che i modelli personalizzati sono stati distribuiti e registrati con watsonx.ai, è possibile creare prompt che fanno riferimento ai modelli personalizzati dal Prompt Lab e dall'API di watsonx.ai.
Per ulteriori informazioni su come caricare, registrare e distribuire un foundation model personalizzato, vedere Distribuzione di un foundation model personalizzato.
Implementazione di modelli di fondazione on demand
Scegliete un foundation model da una serie di modelli IBM da distribuire per l'uso esclusivo della vostra organizzazione.
Per ulteriori informazioni su come distribuire un foundation model su richiesta, vedere Distribuzione di modelli di fondazione su richiesta.
Implementazione dei modelli di fondazione on demand di IBM
La seguente tabella elenca i modelli di fondazione IBM disponibili per la distribuzione su richiesta.
Alcuni modelli di fondazione IBM sono disponibili anche in repository di terze parti, come Hugging Face. I modelli di fondazione IBM ottenuti da un repository di terze parti non sono indennizzati da IBM. Solo i modelli di fondazione IBM a cui si accede da watsonx.ai sono indennizzati da IBM. Per ulteriori informazioni sulle tutele contrattuali relative all'indennizzo IBM, consultare il Contratto di collaborazione con il cliente IBM e la descrizione del servizio IBM watsonx.ai
| Nome modello | Prezzo all'ora in USD | Categoria di hosting del modello | Finestra contestuale (token di ingresso e di uscita) |
|---|---|---|---|
| granite-13b-chat-v2 | $5.22 | Piccolo | 8,192 |
| granite-13b-instruct-v2 | $5.22 | Piccolo | 8,192 |
| granite-20b-code-base-schema-linking | $5.22 | Piccolo | 8,192 |
| granite-20b-code-base-sql-gen | $5.22 | Piccolo | 8,192 |
| granite-3-8b-base | $5.22 | Piccolo | 4.096 |
Distribuire modelli di fondazione on demand da terze parti
La tabella seguente elenca i modelli di fondazione di terze parti disponibili per la distribuzione su richiesta.
| Nome modello | di servizi | Prezzo all'ora in USD | Categoria di hosting del modello | Finestra contestuale (token di ingresso e di uscita) |
|---|---|---|---|---|
| flan-t5-xl-3b | $5.22 | Piccolo | 4.096 | |
| flan-t5-xxl-11b | $5.22 | Piccolo | 4.096 | |
| flan-ul2-20b | $5.22 | Piccolo | 4.096 | |
| llama-2-13b-chat | Meta | $5.22 | Piccolo | 4.096 |
| llama-2-70b-chat | Meta | $20.85 | Grande | 4.096 |
| llama-3-8b-instruct | Meta | $5.22 | Piccolo | 8,192 |
| llama-3-70b-instruct | Meta | $20.85 | Grande | 8,192 |
| llama-3-1-8b | Meta | $5.22 | Piccolo | 131,072 |
| llama-3-1-8b-instruct | Meta | $5.22 | Piccolo | 131,072 |
| llama-3-3-70b-instruct | Meta | $10.40 | Medio | 8,192 |
| llama-3-3-70b-instruct-hf | Meta | $20.85 | Grande | 8,192 |
| mixtral-8x7b-base | Mistral AI | $10.40 | Medio | 32.768 |
| mixtral-8x7b-instruct-v01 | Mistral AI | $10.40 | Medio | 32.768 |
| mistral-nemo-instruct-2407 | Mistral AI | $5.22 | Piccolo | 131,072 |
| mt0-xxl-13b | BigScience | $5.22 | Piccolo | 4.096 |
Modelli di fondazione sintonizzati su richiesta
È possibile personalizzare i seguenti modelli di fondazione mediante una rapida messa a punto in watsonx.ai:
Per ulteriori informazioni, vedere Tuning Studio.
Ulteriori informazioni
- Dettagli del modello di fondazione
- Dettagli di fatturazione per le risorse di IA generativa
- Disponibilità regionale del foundation model
Argomento principale: Sviluppo di soluzioni AI generative