Traduzione non aggiornata
Scegliere un modello di fondazione in watsonx.ai
Ci sono molti fattori da considerare quando si sceglie un modello di base da utilizzare per inferenze da un progetto di IA generativa.
Ad esempio, per una soluzione che riassume i rapporti sui problemi del call center, potresti volere un modello di base con queste caratteristiche:
- Ottimi risultati nei benchmark per le attività di riepilogo
- Gestisce grandi quantità di testo, il che significa una grande lunghezza della finestra di contesto
- Può interpretare immagini di oggetti danneggiati, quindi accetta input sia in modalità testo che immagine
Determinate quali sono i fattori più importanti per voi e per la vostra organizzazione.
- I compiti che il modello può svolgere
- Modelli di fondazione multimodali
- Lingue supportate
- Opzioni di messa a punto per la personalizzazione del modello
- Termini di licenza e indennità di proprietà intellettuale
- Attributi del modello, come dimensioni, architettura e lunghezza della finestra di contesto
Dopo aver stilato un breve elenco dei modelli più adatti alle vostre esigenze, potete testare i modelli per vedere quali restituiscono costantemente i risultati desiderati.
Modelli di base che supportano il tuo caso d'uso
Per iniziare, trova i modelli di base che possono eseguire il tipo di attività che vuoi completare.
La tabella seguente mostra i tipi di attività supportate dai modelli di fondazione in IBM watsonx.ai. Un segno di spunta (✓) indica che l'attività indicata nell'intestazione della colonna è supportata dal modello di base. Per alcuni compiti, è possibile fare clic su un link per accedere a un esempio di richiesta per il compito.
| Modello | Conversazione | Interazione con lo strumento da Chat API |
Generazione aumentata dal recupero (RAG) | Esempi |
|---|---|---|---|---|
| granite-7b-lab | ✓ Chat da Prompt Lab |
✓ RAG da Prompt Lab |
✓ Riassunto |
|
| granite-13b-instruct-v2 | ✓ Chat da Prompt Lab |
✓ RAG da Prompt Lab |
✓ Generazione |
|
| granite-8b-japanese | ✓ - Domande e risposte - Traduzione |
|||
| granite-20b-multilingual | ✓ Chat da Prompt Lab |
✓ RAG da Prompt Lab |
✓ Traduzione |
|
| granite-3-2-8b-instruct | ✓ Campioni: • Da Prompt Lab : Campione • Da Chat API: Campione |
✓ | ||
| granite-3-2b-instruct | ✓ Esempi: - Chat da Prompt Lab - Da Chat API: Esempio |
✓ Codice |
||
| granite-3-8b-instruct | ✓ Esempi: - Chat da Prompt Lab - Da Chat API: Esempio |
✓ Campione di chiamata degli strumenti |
✓ Codice |
|
| granite-guardian-3-2b | ✓ Chat da Prompt Lab |
✓ RAG da Prompt Lab |
✓ | |
| granite-guardian-3-8b | ✓ Chat da Prompt Lab |
✓ RAG da Prompt Lab |
✓ | |
| granite-3b-code-instruct | ✓ Chat da Prompt Lab |
✓ Codice |
||
| granite-8b-code-instruct | ✓ Chat da Prompt Lab |
✓ Codice |
||
| granite-20b-code-instruct | ✓ Esempi: - Chat da Prompt Lab - Da Chat API (Multitenant): Esempio |
✓ Codice |
||
| granite-20b-code-base-schema-linking | ✓ Codice |
|||
| granite-20b-code-base-sql-gen | ✓ Codice |
|||
| granite-34b-code-instruct | ✓ Esempi: - Chat da Prompt Lab - Da Chat API (Multitenant): Esempio |
✓ Codice |
||
| granite-vision-3-2-2b | ✓ Campioni: - Chat da Prompt Lab : Esempio di chat con immagine - Da Chat API: Esempio |
✓ | ||
| allam-1-13b-instruct | ✓ Chat da Prompt Lab |
✓ - Classificazione - Traduzione |
||
| codellama-34b-instruct-hf | ✓ Codice |
|||
| deepseek-r1-distill-llama-8b | ✓ | ✓ Q&A |
||
| deepseek-r1-distill-llama-70b | ✓ | ✓ Q&A |
||
| elyza-japanese-llama-2-7b-instruct | ✓ - Classificazione - Traduzione |
|||
| eurollm-1-7b-instruct | ✓ Chat da Prompt Lab |
✓ - Domande e risposte - Traduzione |
||
| eurollm-9b-instruct | ✓ Chat da Prompt Lab |
✓ - Domande e risposte - Traduzione |
||
| flan-t5-xl-3b | ✓ RAG da Prompt Lab |
✓ | ||
| flan-t5-xxl-11b | ✓ RAG da Prompt Lab |
✓ - Domande e risposte - Classificazione - Sintesi |
||
| flan-ul2-20b | ✓ RAG da Prompt Lab - RAG da AutoAI (Multitenant) |
✓ - Q&A - Classificazione - Estrazione - Sintesi |
||
| jais-13b-chat | ✓ Chat di Prompt Lab : Esempio di chat |
✓ | ||
| llama-3-3-70b-instruct | ✓ Esempi: - Chat da Prompt Lab : Esempio di chat - Da Chat API (Multitenant): Esempio |
✓ Multitenant: Esempio di chiamata strumento (Multitenant ) |
✓ RAG da Prompt Lab |
✓ |
| llama-3-2-1b-instruct | ✓ - Chat da Prompt Lab : Esempio di chat - API di chat: Esempio |
✓ Campione di chiamata degli strumenti |
✓ RAG da Prompt Lab |
✓ Codice |
| llama-3-2-3b-instruct | ✓ - Chat da Prompt Lab : Esempio di chat - API di chat: Esempio |
✓ RAG da Prompt Lab |
✓ Codice |
|
| llama-3-2-11b-vision-instruct | ✓ Esempi: - Chat da Prompt Lab : Esempio di chat con immagine - Da Chat API: Esempio |
✓ Campione di chiamata degli strumenti |
✓ RAG da Prompt Lab |
✓ |
| llama-3-2-90b-vision-instruct | ✓ Esempi: - Chat da Prompt Lab : Esempio di chat con immagine - Da Chat API: Esempio |
✓ Campione di chiamata degli strumenti |
✓ RAG da Prompt Lab |
|
| llama-3-1-8b | ✓ Chat di Prompt Lab : Esempio di chat |
✓ Campioni: - RAG da Prompt Lab |
✓ | |
| llama-3-1-8b-instruct | ✓ Chat da Prompt Lab : Esempio di chat - Da Chat API (Multitenant): Esempio |
Multitenant: ✓ Esempio di chiamata allo strumento (Multitenant) |
✓ Campioni: - RAG da Prompt Lab - RAG da AutoAI (Multitenant) |
✓ |
| llama-3-1-70b-instruct | ✓ Esempi: - Chat da Prompt Lab : Esempio di chat - Da Chat API (Multitenant): Esempio |
Multitenant: ✓ Esempio di chiamata allo strumento (Multitenant) |
✓ - RAG da Prompt Lab - RAG da AutoAI (Multitenant) |
✓ |
| llama-3-405b-instruct | ✓ - Chat da Prompt Lab : Esempio di chat - API di chat: Esempio |
✓ Campione di chiamata degli strumenti |
✓ RAG da Prompt Lab |
✓ |
| llama-3-8b-instruct | ✓ Campioni: - Chat da Prompt Lab : Esempio di chat - Da Chat API: Esempio |
✓ RAG da Prompt Lab |
||
| llama-2-13b-chat | ✓ Chat di Prompt Lab : Esempio di chat |
✓ RAG da Prompt Lab |
✓ | |
| llama-guard-3-11b-vision | ✓ Esempi: - Chat da Prompt Lab : Esempio di chat con immagine - Da Chat API: Esempio |
✓ RAG da Prompt Lab |
✓ Classificazione |
|
| mistral-large (Multitenant) mistral-large -istruzione-2407 (Dedicato) |
✓ Esempi: - Chat da Prompt Lab - Da Chat API (Multitenant): Esempio |
✓ Multitenant: Esempio di chiamata degli strumenti (Multitenant) |
✓ - RAG da Prompt Lab - RAG da AutoAI (Multitenant) |
✓ - Classificazione - Estrazione - Sintesi - Codice - Traduzione |
| mistral-large-instruct-2411 | ✓ Campioni: - Chat da Prompt Lab |
✓ - RAG da Prompt Lab |
✓ - Classificazione - Estrazione - Sintesi - Codice - Traduzione |
|
| mistral-nemo-instruct-2407 | ✓ Chat da Prompt Lab |
✓ - RAG da Prompt Lab |
✓ - Classificazione - Estrazione - Generazione - Sintesi - Codice - Traduzione |
|
| mistral-small-24b-instruct-2501 | ✓ Chat da Prompt Lab |
✓ - RAG da Prompt Lab |
✓ - Classificazione - Estrazione - Generazione - Sintesi - Codice - Traduzione |
|
| mixtral-8x7b-base | ✓ Chat da Prompt Lab |
✓ - RAG da Prompt Lab |
✓ - Classificazione - Estrazione - Generazione - Sintesi - Codice - Traduzione |
|
| mixtral-8x7b-instruct-v01 | ✓ Chat da Prompt Lab |
✓ - RAG da Prompt Lab - RAG da AutoAI (Multitenant) |
✓ - Classificazione - Estrazione - Generazione - Sintesi - Codice - Traduzione |
|
| mt0-xxl-13b | ✓ RAG da Prompt Lab |
✓ - Classificazione - Domande e risposte |
||
| pixtral-12b | ✓ Chat da Prompt Lab : Esempio di chat con immagine |
✓ RAG da Prompt Lab |
✓ - Classificazione - Estrazione - Sintesi |
- Per esaminare vari esempi di prompt raggruppati per tipo di compito, vedere Esempi di prompt.
- Per determinare quanto bene un modello di fondazione può svolgere determinati compiti, vedere Parametri di riferimento dei modelli di fondazione.
Modelli di fondazione multimodali
I modelli di fondazione multimodali sono in grado di elaborare e integrare le informazioni provenienti da molte modalità o tipi di dati. Queste modalità possono includere testo, immagini, audio, video e altre forme di input sensoriali.
I modelli di fondazione multimodali disponibili presso watsonx.ai possono svolgere i seguenti tipi di compiti:
- Generazione da immagine a testo
- Utile per rispondere a domande visive, interpretare grafici e tabelle, inserire didascalie nelle immagini e altro ancora.
La tabella seguente elenca i modelli di fondazione disponibili che supportano modalità diverse dal testo in entrata e dal testo in uscita.
| Modello | Modalità di ingresso | Modalità di uscita |
|---|---|---|
| granite-vision-3-2-2b | immagine, testo | Testo |
| llama-3-2-11b-vision-instruct | immagine, testo | Testo |
| llama-3-2-90b-vision-instruct | immagine, testo | Testo |
| llama-guard-3-11b-vision | immagine, testo | Testo |
| pixtral-12b | immagine, testo | Testo |
Modelli di base che supportano la tua lingua
Molti modelli di fondazione funzionano bene solo in inglese. Ma alcuni creatori di modelli includono più lingue negli insiemi di dati di pre - addestramento per ottimizzare il loro modello sulle attività in lingue differenti e per testare le prestazioni del loro modello in più lingue. Se si pianifica di creare una soluzione per un pubblico globale o una soluzione che esegue attività di traduzione, cercare i modelli che sono stati creati con un supporto multilingue in mente.
La seguente tabella elenca le lingue naturali supportate oltre all'inglese dai modelli di base in watsonx.ai. Per ulteriori informazioni sulle lingue supportate per i modelli base multilingue, consultare la scheda del modello base.
| Modello | Lingue diverse dall'inglese |
|---|---|
| granite-8b-japanese | Giapponese |
| granite-20b-multilingual | Tedesco, spagnolo, francese e portoghese |
| Granite Istruzioni 3.2 ( granite-3-2-8b-instruct, granite-vision-3-2-2b ) | Inglese, tedesco, spagnolo, francese, giapponese, portoghese, arabo, ceco, italiano, coreano, olandese e cinese (semplificato) |
| Granite Instruct 3.1granite-3-2b-instruct, granite-3-8b-instruct ) | Inglese, tedesco, spagnolo, francese, giapponese, portoghese, arabo, ceco, italiano, coreano, olandese e cinese (semplificato) |
| Granite 3 granite-3-8b-base ) | Inglese, tedesco, spagnolo, francese, giapponese, portoghese, arabo, ceco, italiano, coreano, olandese, cinese (semplificato) |
| allam-1-13b-instruct | Arabo |
| elyza-japanese-llama-2-7b-instruct | Giapponese |
| EuroLLM Istruire i modelli | Bulgaro, croato, ceco, danese, estone, finlandese, francese, greco, inglese, irlandese, italiano, lettone, lituano, maltese, polacco, portoghese, rumeno, slovacco, sloveno, spagnolo, svedese, ungherese, arabo, catalano, cinese, galiziano, hindi, giapponese, coreano, norvegese, russo, turco e ucraino |
| flan-t5-xl-3b | Multilingua(vedi scheda modello) |
| flan-t5-xxl-11b | Francese, Tedesco |
| jais-13b-chat | Arabo |
| Llama 4 ( llama-4-maverick-17b-128e-instruct-fp8, llama-4-scout-17b-16e-instruct ) | Arabo, inglese, francese, tedesco, hindi, indonesiano, italiano, portoghese, spagnolo, tagalog, tailandese e vietnamita. |
| Llama 3.3 llama-3-3-70b-instruct, llama-3-3-70b-instruct-hf ) | Inglese, tedesco, francese, italiano, portoghese, hindi, spagnolo e tailandese |
| Llama 3.2 (llama-3-2-1b-instruct, llama-3-2-3b-instruct. Anche llama-3-2-11b-vision-instruct, llama-3-2-90b-vision-instruct e llama-guard-3-11b-vision con input di solo testo) | Inglese, tedesco, francese, italiano, portoghese, hindi, spagnolo e tailandese |
| Llama 3.1 (llama-3-1-8b-instruct, llama-3-1-70b-instruct, llama-3-405b-instruct) | Inglese, tedesco, francese, italiano, portoghese, hindi, spagnolo e tailandese |
| mistral-large | Multilingua(vedi scheda modello) |
| mistral-large-instruct-2411, mistral-nemo-instruct-2407, mistral-small-24b-instruct-2501 | Più lingue, in particolare inglese, francese, tedesco, spagnolo, italiano, portoghese, cinese, giapponese, coreano, arabo e hindi. |
| mixtral-8x7b-base, mixtral-8x7b-instruct-v01 | Francese, Tedesco, Italiano, Spagnolo |
| mt0-xxl-13b | Multilingua(vedi scheda modello) |
Modelli di base che è possibile regolare
Alcuni dei modelli di base disponibili in watsonx.ai possono essere ottimizzati per soddisfare al meglio le tue necessità.
È supportato il seguente metodo di ottimizzazione:
- Sintonia rapida: esegue esperimenti di sintonia che regolano il vettore di prompt incluso con l'input del modello di base. Dopo diverse esecuzioni, trova il vettore di prompt che può guidare al meglio il modello di fondazione per restituire un output adatto al tuo compito.
La seguente tabella mostra i metodi per l'ottimizzazione dei modelli di base disponibili in IBM watsonx.ai. Un segno di spunta (✓) indica che il metodo di messa a punto indicato nell'intestazione della colonna è supportato dal modello di base.
| Nome modello | Ottimizzazione prompt |
|---|---|
| flan-t5-xl-3b | ✓ |
| granite-13b-instruct-v2 | ✓ |
Per ulteriori informazioni, vedere Tuning Studio.
Tipi di modelli e indennizzo della proprietà intellettuale
Esamina la politica di indennizzo della proprietà intellettuale per il modello di fondazione che desideri utilizzare. Alcuni fornitori di modelli di fondazioni di terze parti richiedono di essere esentati da qualsiasi responsabilità per eventuali violazioni della proprietà intellettuale che potrebbero derivare dall'uso dei loro modelli di IA.
I modelli di fondazione sviluppati da IBM e disponibili su watsonx.ai godono di una protezione standard della proprietà intellettuale, simile a quella che IBM fornisce per i prodotti hardware e software.
IBM estende la sua indennità standard per la proprietà intellettuale all'output generato dai modelli coperti. I modelli coperti comprendono modelli sviluppati da IBM e alcuni modelli di fondazione di terze parti disponibili su watsonx.ai. I modelli coperti di terze parti sono identificati nella tabella 4.
La tabella seguente descrive i diversi tipi di modelli di fondazioni e le relative politiche di indennizzo. Per tutti i dettagli, consultare i materiali di riferimento.
| Tipo di modello di fondazione | Politica di indennizzo | Modelli Foundation | Dettagli | Materiali di riferimento |
|---|---|---|---|---|
| Modello coperto IBM | Indennizzo non limitato IBM | - IBM Granite - IBM Ardesia |
IBM -ha sviluppato modelli di fondazioni che sono disponibili su watsonx.ai. | Consulta le seguenti risorse: • Descrizione del servizio di runtime watsonx.ai • Descrizione del servizio watsonx.ai Studio |
| Modello coperto da terzi | Indennizzo massimo IBM | Mistral Large | Modelli coperti da garanzia di terzi disponibili su watsonx.ai. | Vedere la descrizione del servizio |
| Prodotto non IBM | Nessun IBM indennizzo | Varie | Modelli di terze parti disponibili su watsonx.ai e soggetti ai rispettivi termini di licenza, compresi gli obblighi e le restrizioni associati. | Vedere le informazioni sul modello. |
| Modello personalizzato | Nessun IBM indennizzo | Varie | I modelli Foundation importati per essere utilizzati in watsonx.ai sono contenuti del cliente. | Il cliente è l'unico responsabile della scelta e dell'uso del modello e dell'output e della conformità ai termini, agli obblighi e alle restrizioni della licenza di terzi. |
Per ulteriori informazioni sui termini di licenza dei modelli di terze parti, vedere Modelli di base di terze parti.
Ulteriori considerazioni per la scelta di un modello
| Attributo Modello | Considerazioni |
|---|---|
| Lunghezza contesto | A volte denominata lunghezza della finestra di contesto, finestra di contestoo lunghezza massima della sequenza, la lunghezza del contesto è il valore massimo consentito per il numero di token nella richiesta di input più il numero di token nell'output generato. Quando si genera l'output con i modelli in watsonx.ai, il numero di token nell'output generato è limitato dal parametro Numero massimo di token. |
| Costo | Il costo dell'utilizzo dei modelli di base viene misurato in unità di risorse. Il prezzo di un'unità di risorsa si basa sul tasso del livello di prezzo per il modello base. |
| Ottimizzato | Dopo che un modello di base è stato pre-addestrato, molti modelli di base vengono messi a punto per compiti specifici, come la classificazione, l'estrazione di informazioni, la sintesi, la risposta a istruzioni, la risposta a domande o la partecipazione a una chat dialogica. Un modello che subisce un'ottimizzazione delle attività simili all'utilizzo pianificato in genere funziona meglio con i prompt zero - shot rispetto ai modelli che non sono ottimizzati in un modo che si adatta al tuo caso d'uso. Un modo per migliorare i risultati di un modello ottimizzato consiste nel strutturare il prompt nello stesso formato dei prompt nei dataset utilizzati per ottimizzare il modello. |
| Istruzioni ottimizzate | Istruzioni ottimizzate significa che il modello è stato ottimizzato con istruzioni che includono un'istruzione. Quando un modello è ottimizzato per le istruzioni, in genere risponde bene ai prompt che hanno un'istruzione anche se tali prompt non hanno esempi. |
| Indennità IP | Oltre ai termini della licenza, esaminare la politica di indennizzo della proprietà intellettuale per il modello. Per ulteriori informazioni, vedere Tipi di modello e indennizzo IP. |
| Licenza | In generale, ogni modello di fondazione è dotato di una licenza diversa che ne limita l'utilizzo. Esaminare le licenze del modello per assicurarsi di poter utilizzare un modello per la propria soluzione pianificata. |
| Architettura del modello | L'architettura del modello influenza il comportamento del modello. Un modello basato sul trasformatore generalmente ha una delle seguenti architetture: Solo codificatore: comprende il testo di input a livello di frase trasformando le sequenze di input in vettori di rappresentazione denominati embeddings. Le attività comuni per i modelli solo codificatore includono la classificazione e l'estrazione di entità. Solo decodificatore: genera il testo di output parola per parola in base all'inferenza dalla sequenza di input. Le attività comuni per i modelli di solo decodificatore includono la creazione di testo e la risposta alle domande. codificatore - decodificatore: entrambi comprendono il testo di input e generano il testo di output in base al testo di input. Le attività comuni per i modelli encoder - decoder includono la conversione e il riepilogo. |
| Disponibilità regionale | Puoi lavorare con i modelli disponibili nello stesso data center regionale IBM Cloud dei servizi watsonx . |
| Linguaggi di programmazione supportati | Non tutti i modelli di base funzionano bene per la programmazione dei casi di utilizzo. Se si prevede di creare una soluzione che riepiloghi, converta, generi o altrimenti elabori il codice, esaminare quali linguaggi di programmazione sono stati inclusi nei dataset di preaddestramento di un modello e le attività di ottimizzazione per determinare se tale modello è adatto al proprio caso d'uso. |
Ulteriori informazioni
- Token e token
- Parametri modello per la richiesta
- Suggerimenti per la richiesta
- Modelli di encoder supportati
- Dettagli di fatturazione per le risorse di IA generativa
- Disponibilità regionale per i modelli di base
Argomento principale Modelli di base supportati