Scelta di un foundation model in watsonx.ai

Torna alla versione inglese della documentazione

Ultimo aggiornamento: 18 dic 2024

Scelta di un foundation model in watsonx.ai

Ci sono molti fattori da considerare quando si sceglie un foundation model da utilizzare per l'inferenza in un progetto di IA generativa.

Determinate quali sono i fattori più importanti per voi e per la vostra organizzazione.

I compiti che il modello può svolgere
Modelli di fondazione multimodali
Lingue supportate
Opzioni di messa a punto per la personalizzazione del modello
Termini di licenza e indennità di proprietà intellettuale
Attributi del modello, come dimensioni, architettura e lunghezza della finestra di contesto

Dopo aver stilato un breve elenco dei modelli più adatti alle vostre esigenze, potete testare i modelli per vedere quali restituiscono costantemente i risultati desiderati.

Modelli di base che supportano il tuo caso d'uso

Per iniziare, trova i modelli di base che possono eseguire il tipo di attività che vuoi completare.

La tabella seguente mostra i tipi di compiti supportati dai modelli di fondazione di IBM watsonx.ai Un segno di spunta (✓) indica che l'attività denominata nell'intestazione della colonna è supportata dal foundation model. Per alcuni compiti, è possibile fare clic su un link per accedere a un esempio di richiesta per il compito. In alternativa, vedere Esempi di prompt per esaminare vari esempi di prompt raggruppati per tipo di compito.

Tabella 1a. Supporto attività modello Foundation
Modello	Conversazione	Generazione e conversione del codice	Interazione con lo strumento da Chat API	(Classificazione, Estrazione, Q&A, Sintesi)	Generazione aumentata dal recupero (RAG)	Traduzione
granite-13b-instruct-v2	✓ Chat da Prompt Lab			✓ Campione di generazione	✓ RAG da Prompt Lab
granite-7b-lab	✓ Chat da Prompt Lab			✓ Esempio di riassunto	✓ - RAG da Prompt Lab - RAG da AutoAI
granite-8b-japanese				Campione Q&A		✓ Campione di traduzione
granite-20b-multilingual	✓ Chat da Prompt Lab			✓	✓ RAG da Prompt Lab	✓ Campione di traduzione
granite-3-2b-instruct	✓ Esempi: - Chat da Prompt Lab - Da Chat API: Esempio	campione		✓		✓
granite-3-8b-instruct	✓ Esempi: - Chat da Prompt Lab - Da Chat API: Esempio	campione	✓ Campione di chiamata degli strumenti	✓		✓
granite-guardian-3-2b	✓ Chat da Prompt Lab			✓	✓ RAG da Prompt Lab
granite-guardian-3-8b	✓ Chat da Prompt Lab			✓	✓ RAG da Prompt Lab
granite-3b-code-instruct	✓ Chat da Prompt Lab	campione
granite-8b-code-instruct	✓ Chat da Prompt Lab	campione
granite-20b-code-instruct	✓ Esempi: - Chat da Prompt Lab - Da Chat API: Esempio	campione
granite-20b-code-base-schema-linking		✓ Codice da testo a SQL
granite-20b-code-base-sql-gen		✓ Codice da testo a SQL
granite-34b-code-instruct	✓ Esempi: - Chat da Prompt Lab - Da Chat API: Esempio	campione
allam-1-13b-instruct	✓ Chat da Prompt Lab			✓ Campione di classificazione		✓ Campione di traduzione
codellama-34b-instruct-hf		campione
elyza-japanese-llama-2-7b-instruct				✓ Campione di classificazione		✓ Campione di traduzione
flan-t5-xl-3b				✓	✓ RAG da Prompt Lab
flan-t5-xxl-11b				✓ Esempi di : - Domande e risposte - Classificazione - Riassunto	✓ RAG da Prompt Lab	✓
flan-ul2-20b				✓ Esempi: - Q&A - Classificazione - Estrazione - Riassunto	✓ RAG da Prompt Lab - RAG da AutoAI
jais-13b-chat	✓ Chat di Prompt Lab : Esempio di chat			✓		✓
llama-3-3-70b-instruct	✓ Campioni: - Chat da Prompt Lab : Esempio di chat - Da Chat API: Esempio		✓ Campione di chiamata degli strumenti	✓	✓ RAG da Prompt Lab
llama-3-2-1b-instruct	✓ - Chat da Prompt Lab : Esempio di chat - API di chat: Esempio	campione	✓ Campione di chiamata degli strumenti	✓	✓ RAG da Prompt Lab
llama-3-2-3b-instruct	✓ - Chat da Prompt Lab : Esempio di chat - API di chat: Esempio	campione		✓	✓ RAG da Prompt Lab
llama-3-2-11b-vision-instruct	✓ Esempi: - Chat da Prompt Lab : Esempio di chat con immagine - Da Chat API: Esempio		✓ Campione di chiamata degli strumenti	✓	✓ RAG da Prompt Lab
llama-3-2-90b-vision-instruct	✓ Esempi: - Chat da Prompt Lab : Esempio di chat con immagine - Da Chat API: Esempio		✓ Campione di chiamata degli strumenti		✓ RAG da Prompt Lab
llama-3-1-8b	✓ Chat di Prompt Lab : Esempio di chat		✓	✓	✓ Campioni: - RAG da Prompt Lab
llama-3-1-8b-instruct	✓ Chat di Prompt Lab : Esempio di chat		✓ Campione di chiamata degli strumenti	✓	✓ Campioni: - RAG da Prompt Lab - RAG da AutoAI
llama-3-1-70b-instruct	✓ Campioni: - Chat da Prompt Lab : Esempio di chat - Da Chat API: Esempio		✓ Campione di chiamata degli strumenti	✓	✓ - RAG da Prompt Lab - RAG da AutoAI
llama-3-405b-instruct	✓ - Chat da Prompt Lab : Esempio di chat - API di chat: Esempio		✓ Campione di chiamata degli strumenti	✓	✓ RAG da Prompt Lab
llama-3-8b-instruct	✓ Campioni: - Chat da Prompt Lab : Esempio di chat - Da Chat API: Esempio				✓ RAG da Prompt Lab
llama-3-70b-instruct	✓ Campioni: - Chat da Prompt Lab : Esempio di chat - Da Chat API: Esempio			✓	✓ - RAG da Prompt Lab - RAG da AutoAI
llama-2-13b-chat	✓ Chat di Prompt Lab : Esempio di chat			✓	✓ RAG da Prompt Lab
llama-guard-3-11b-vision	✓ Esempi: - Chat da Prompt Lab : Esempio di chat con immagine - Da Chat API: Esempio			✓ Campione di classificazione	✓ RAG da Prompt Lab
mistral-large	✓ Esempi: - Chat da Prompt Lab - Da Chat API: Esempio	campione	✓ Campione di chiamata degli strumenti	✓ Campioni: - Classificazione - Estrazione - Riassunto	✓ - RAG da Prompt Lab - RAG da AutoAI	✓ Traduzione
mixtral-8x7b-base	✓ Chat da Prompt Lab	campione		✓ Campioni: - Classificazione - Estrazione - Generazione ' - Sintesi	✓ - RAG da Prompt Lab	✓ Campione di traduzione
mixtral-8x7b-instruct-v01	✓ Chat da Prompt Lab	campione		✓ Campioni: - Classificazione - Estrazione - Generazione ' - Sintesi	✓ - RAG da Prompt Lab - RAG da AutoAI	✓ Campione di traduzione
mixtral-nemo-instruct-2407	✓ Chat da Prompt Lab	campione		✓ Campioni: - Classificazione - Estrazione - Generazione ' - Sintesi	✓ - RAG da Prompt Lab	✓ Campione di traduzione
mt0-xxl-13b				✓ Esempi di : - Classificazione - Q&A	✓ RAG da Prompt Lab
pixtral-12b	✓ Chat da Prompt Lab : Esempio di chat con immagine	✓		✓ Campioni: - Classificazione - Estrazione - Riassunto	✓ RAG da Prompt Lab

Modelli di fondazione multimodali

I modelli di fondazione multimodali sono in grado di elaborare e integrare le informazioni provenienti da molte modalità o tipi di dati. Queste modalità possono includere testo, immagini, audio, video e altre forme di input sensoriali.

I modelli di fondazione multimodali disponibili presso watsonx.ai possono svolgere i seguenti tipi di compiti:

Generazione da immagine a testo: Utile per rispondere a domande visive, interpretare grafici e tabelle, inserire didascalie nelle immagini e altro ancora.

La tabella seguente elenca i modelli di fondazione disponibili che supportano modalità diverse dal testo in entrata e dal testo in uscita.

Tabella 1b. Modelli di fondazione multimodali supportati
Modello	Modalità di ingresso	Modalità di uscita
llama-3-2-11b-vision-instruct	immagine, testo	Testo
llama-3-2-90b-vision-instruct	immagine, testo	Testo
llama-guard-3-11b-vision	immagine, testo	Testo
pixtral-12b	immagine, testo	Testo

Modelli di base che supportano la tua lingua

Molti modelli di fondazione funzionano bene solo in inglese. Ma alcuni creatori di modelli includono più lingue negli insiemi di dati di pre - addestramento per ottimizzare il loro modello sulle attività in lingue differenti e per testare le prestazioni del loro modello in più lingue. Se si pianifica di creare una soluzione per un pubblico globale o una soluzione che esegue attività di traduzione, cercare i modelli che sono stati creati con un supporto multilingue in mente.

La seguente tabella elenca le lingue naturali supportate oltre all'inglese dai modelli di base in watsonx.ai. Per ulteriori informazioni sulle lingue supportate per i modelli di fondazione multilingue, consultare la scheda del modello di foundation model.

Tabella 2. Modelli di fondazione che supportano lingue naturali diverse dall'inglese
Modello	Lingue diverse dall'inglese
granite-8b-japanese	Giapponese
granite-20b-multilingual	Tedesco, spagnolo, francese e portoghese
Granite Instruct 3.1granite-3-2b-instruct, granite-3-8b-instruct )	Inglese, tedesco, spagnolo, francese, giapponese, portoghese, arabo, ceco, italiano, coreano, olandese e cinese (semplificato)
Granite 3 granite-3-8b-base )	Inglese, tedesco, spagnolo, francese, giapponese, portoghese, arabo, ceco, italiano, coreano, olandese, cinese (semplificato)
allam-1-13b-instruct	Arabo
elyza-japanese-llama-2-7b-instruct	Giapponese
flan-t5-xl-3b	Multilingua(vedi scheda modello)
flan-t5-xxl-11b	Francese, Tedesco
jais-13b-chat	Arabo
Llama 3.3 llama-3-3-70b-instruct, llama-3-3-70b-instruct-hf )	Inglese, tedesco, francese, italiano, portoghese, hindi, spagnolo e tailandese
Llama 3.2 (llama-3-2-1b-instruct, llama-3-2-3b-instruct. Anche llama-3-2-11b-vision-instruct, llama-3-2-90b-vision-instruct e llama-guard-3-11b-vision con input di solo testo)	Inglese, tedesco, francese, italiano, portoghese, hindi, spagnolo e tailandese
Llama 3.1 (llama-3-1-8b-instruct, llama-3-1-70b-instruct, llama-3-405b-instruct)	Inglese, tedesco, francese, italiano, portoghese, hindi, spagnolo e tailandese
mistral-large	Multilingua(vedi scheda modello)
mixtral-8x7b-base, mixtral-8x7b-instruct-v01	Francese, Tedesco, Italiano, Spagnolo
mistral-nemo-instruct-2407	Più lingue, in particolare inglese, francese, tedesco, spagnolo, italiano, portoghese, cinese, giapponese, coreano, arabo e hindi.
mt0-xxl-13b	Multilingua(vedi scheda modello)

Modelli di base che è possibile regolare

Alcuni dei modelli di base disponibili in watsonx.ai possono essere ottimizzati per soddisfare al meglio le tue necessità.

È supportato il seguente metodo di ottimizzazione:

Sintonizzazione del prompt: Esegue esperimenti di messa a punto per regolare il vettore prompt incluso nell'input del foundation model. Dopo diverse esecuzioni, trova il vettore di richiesta che può guidare al meglio il foundation model per restituire un risultato adatto al compito.

La seguente tabella mostra i metodi per l'ottimizzazione dei modelli di base disponibili in IBM watsonx.ai. Un segno di spunta (✓) indica che il metodo di sintonizzazione indicato nell'intestazione della colonna è supportato dal foundation model.

Tabella 3. Metodi di ottimizzazione disponibili
Nome modello	Ottimizzazione prompt
flan-t5-xl-3b	✓
granite-13b-instruct-v2	✓

Per ulteriori informazioni, vedere Tuning Studio.

Tipi di modelli e indennizzo della proprietà intellettuale

Esaminare la politica di indennizzo della proprietà intellettuale per il foundation model che si desidera utilizzare. Alcuni fornitori di foundation model di terze parti richiedono di esonerarli dalla responsabilità per qualsiasi violazione della proprietà intellettuale che potrebbe derivare dall'uso dei loro modelli di IA.

I modelli di fondazione sviluppati da IBM e disponibili su watsonx.ai godono di una protezione standard della proprietà intellettuale, simile a quella che IBM fornisce per i prodotti hardware e software.

IBM estende la sua indennità standard per la proprietà intellettuale all'output generato dai modelli coperti. I modelli coperti comprendono modelli sviluppati da IBM e alcuni modelli di fondazione di terze parti disponibili su watsonx.ai. I modelli coperti di terze parti sono identificati nella tabella 4.

La tabella seguente descrive i diversi foundation model e le relative politiche di indennizzo. Per tutti i dettagli, consultare i materiali di riferimento.

Tabella 4. Dettagli della polizza di indennizzo
Tipo di modello di fondazione	Politica di indennizzo	Modelli Foundation	Dettagli	Materiali di riferimento
IBM Modello coperto	Indennizzo non limitato IBM	- IBM Granite - IBM Ardesia	IBM ha sviluppato modelli di base disponibili su watsonx.ai. Per mantenere la copertura di indennizzo IBM IP per l'output del modello, è necessario adottare le seguenti misure: - Applicare i guardrail dell'AI alle richieste di inferenza ' - Utilizzare watsonx.governance, offerto come servizio separato, per registrare e monitorare l'output foundation model	Descrizione servizio
Modello coperto da terzi	Indennizzo massimo IBM	Mistral Large	Modelli coperti di terze parti disponibili su watsonx.ai. Per mantenere la copertura di indennizzo IBM IP per l'output del modello, è necessario adottare le seguenti misure: - Applicare i guardrail dell'AI alle richieste di inferenza ' - Utilizzare watsonx.governance, offerto come servizio separato, per registrare e monitorare l'output foundation model	Descrizione servizio
Prodotto nonIBM	Nessun IBM indennizzo	Varie	Modelli di terze parti disponibili su watsonx.ai e soggetti ai rispettivi termini di licenza, compresi gli obblighi e le restrizioni associati.	Vedere le informazioni sul modello.
Modello personalizzato	Nessun IBM indennizzo	Varie	I modelli Foundation importati per essere utilizzati in watsonx.ai sono contenuti del cliente.	Il cliente è l'unico responsabile della scelta e dell'uso del modello e dell'output e della conformità ai termini, agli obblighi e alle restrizioni della licenza di terzi.

Per ulteriori informazioni, leggere i seguenti argomenti:

Guardrail AI
Vista di watsonx.governance
Modelli di fondazione supportati (include i link ai termini di licenza dei modelli di terze parti)

Ulteriori considerazioni per la scelta di un modello

Tabella 5. Considerazioni sulla scelta di un foundation model in IBM watsonx.ai
Attributo Modello	Considerazioni
Lunghezza contesto	A volte denominata lunghezza della finestra di contesto, finestra di contestoo lunghezza massima della sequenza, la lunghezza del contesto è il valore massimo consentito per il numero di token nella richiesta di input più il numero di token nell'output generato. Quando si genera l'output con i modelli in watsonx.ai, il numero di token nell'output generato è limitato dal parametro Numero massimo di token.
Costo	Il costo dell'utilizzo dei modelli di base viene misurato in unità di risorse. Il prezzo di un'unità di risorse si basa sulla tariffa del livello di prezzo per il foundation model.
Ottimizzato	Dopo il preaddestramento di un foundation model, molti modelli di base vengono messi a punto per compiti specifici, come la classificazione, l'estrazione di informazioni, la sintesi, la risposta a istruzioni, la risposta a domande o la partecipazione a una chat di dialogo avanti e indietro. Un modello che subisce un'ottimizzazione delle attività simili all'utilizzo pianificato in genere funziona meglio con i prompt zero - shot rispetto ai modelli che non sono ottimizzati in un modo che si adatta al tuo caso d'uso. Un modo per migliorare i risultati di un modello ottimizzato consiste nel strutturare il prompt nello stesso formato dei prompt nei dataset utilizzati per ottimizzare il modello.
Istruzioni ottimizzate	Istruzioni ottimizzate significa che il modello è stato ottimizzato con istruzioni che includono un'istruzione. Quando un modello è ottimizzato per le istruzioni, in genere risponde bene ai prompt che hanno un'istruzione anche se tali prompt non hanno esempi.
Indennità IP	Oltre ai termini della licenza, esaminare la politica di indennizzo della proprietà intellettuale per il modello. Per ulteriori informazioni, vedere Tipi di modello e indennizzo IP.
Licenza	In generale, ogni foundation model viene fornito con una licenza diversa che limita le modalità di utilizzo del modello. Esaminare le licenze del modello per assicurarsi di poter utilizzare un modello per la propria soluzione pianificata.
Architettura del modello	L'architettura del modello influenza il comportamento del modello. Un modello basato sul trasformatore generalmente ha una delle seguenti architetture: Solo codificatore: comprende il testo di input a livello di frase trasformando le sequenze di input in vettori di rappresentazione denominati embeddings. Le attività comuni per i modelli solo codificatore includono la classificazione e l'estrazione di entità. Solo decodificatore: genera il testo di output parola per parola in base all'inferenza dalla sequenza di input. Le attività comuni per i modelli di solo decodificatore includono la creazione di testo e la risposta alle domande. codificatore - decodificatore: entrambi comprendono il testo di input e generano il testo di output in base al testo di input. Le attività comuni per i modelli encoder - decoder includono la conversione e il riepilogo.
Disponibilità regionale	Puoi lavorare con i modelli disponibili nello stesso data center regionale IBM Cloud dei servizi watsonx .
Linguaggi di programmazione supportati	Non tutti i modelli di base funzionano bene per la programmazione dei casi di utilizzo. Se si prevede di creare una soluzione che riepiloghi, converta, generi o altrimenti elabori il codice, esaminare quali linguaggi di programmazione sono stati inclusi nei dataset di preaddestramento di un modello e le attività di ottimizzazione per determinare se tale modello è adatto al proprio caso d'uso.

Ulteriori informazioni

Argomento principale Modelli di base supportati