Modelli di fondazione del codificatore supportati in watsonx.ai
Utilizzate i modelli di fondazione di solo encoder distribuiti in IBM watsonx.ai per aiutare la ricerca semantica, il confronto dei documenti e le attività di reranking.
È possibile scegliere il tipo di modello di base solo encoder più adatto alle proprie esigenze o utilizzare entrambi i tipi come parte di un flusso di lavoro di ricerca e recupero in due fasi. È possibile utilizzare i seguenti tipi di modelli di fondazioni solo encoder in watsonx.ai:
- Incorporare i modelli di fondazione
Utilizzate i modelli di incorporazione quando volete generare rappresentazioni vettoriali del testo che potete poi confrontare matematicamente. I modelli di embedding sono più veloci ed efficienti dei modelli di reranker, ma meno accurati.
Per ulteriori informazioni, vedere Incorporamento di modelli.
- Modelli di fondazione del reranker
Utilizzate i modelli di reranker quando volete generare punteggi per ogni passaggio in un piccolo insieme di passaggi per trovare quello o quelli che sono più correlati a una query. I modelli di reranker sono più precisi, ma meno efficienti dei modelli di embedding. Più input vengono inviati, più tempo impiegano i modelli di reranker per elaborare il testo.
Per ulteriori informazioni, vedere Modelli di reranker.
Per utilizzare insieme i due tipi di modelli di fondazioni solo encoder per le attività di ricerca e recupero, è possibile procedere come segue:
- Utilizzare un modello di incorporazione per effettuare una ricerca semantica ampia che restituisca molti risultati.
- Utilizzate un modello di reranker per restringere i risultati principali della fase 1 a una singola risposta o a un breve elenco delle risposte migliori.
Per ulteriori informazioni sui modelli di fondazione generativi, vedi Supported foundation models. A differenza dei modelli generativi, non è possibile aggiungere modelli di incorporazione come modelli di base personalizzati.
Attività supportate dai modelli di fondazione con solo codificatore
È possibile utilizzare i modelli di solo codificatore in watsonx.ai per i seguenti compiti:
- Vettorializzazione del testo da API
- Specificare un modello di incorporamento da utilizzare per convertire il testo in incorporazioni di testo utilizzando l'API REST di watsonx.ai Vedere Vettorializzazione del testo.
- Passaggi di reranking da API
- Specificare un modello di reranker da utilizzare per confrontare i passaggi con una query e classificare i passaggi dal più al meno correlati utilizzando l'API REST di watsonx.ai Vedere i passaggi del documento Reranking.
- AutoAI per RAG
- Utilizzate i modelli di embedding con AutoAI per creare flussi di lavoro di generazione ottimizzati per il reperimento in modo programmatico. Vedere Automazione di un modello RAG con l' AutoAI SDK.
- Chattare con i documenti in Prompt Lab
- Utilizzare modelli di incorporamento per vettorizzare i documenti da utilizzare come informazioni di base da inviare al modello di base dalle istruzioni nell' Prompt Lab. Vedere Aggiunta di documenti vettoriali per la messa a terra del modello di fondazione.
La tabella seguente mostra i tipi di compiti supportati dai modelli di fondazione solo encoder di IBM watsonx.ai Un segno di spunta (✓) indica che l'attività indicata nell'intestazione della colonna è supportata dal modello di base.
| Modello | Vettorializzare il testo da API | Passaggi di reranking da API | AutoAI per RAG | Chattare con i documenti in Prompt Lab |
|---|---|---|---|---|
| all-minilm-l6-v2 | ✓ | ✓ | ||
| all-minilm-l12-v2 | ✓ | ✓ | ||
| ELSER (Elastic Learned Sparse EncodeR) | ✓ | |||
| granite-embedding-107m-multilingual | ✓ | ✓ | ||
| granite-embedding-278m-multilingual | ✓ | ✓ | ✓ | |
| ms-marco-minilm-l-12-v2 | ✓ | |||
| multilingual-e5-large | ✓ | ✓ | ✓ | |
| slate-30m-english-rtrvr-v2 | ✓ | ✓ | ||
| slate-30m-english-rtrvr | ✓ | ✓ | ||
| slate-125m-english-rtrvr-v2 | ✓ | ✓ | ✓ | |
| slate-125m-english-rtrvr | ✓ | ✓ | ✓ |
Modelli di integrazione
I modelli di incorporamento sono modelli che si usano per vettorializzare i documenti e generare incorporazioni di testo per aiutare le attività di ricerca e confronto. Un'incorporazione di testo codifica il significato di una frase o di un brano in una serie di numeri, noti come vettori. Per ulteriori informazioni sulla vettorizzazione, vedere Generazione di incorporazioni di testo.
Dopo aver convertito i passaggi in vettori, è possibile calcolare la somiglianza dei passaggi vettoriali indipendenti utilizzando funzioni matematiche, come la somiglianza del coseno. La maggior parte dei modelli di incorporazione sono modelli bi-encoder. Utilizzate un modello bi-encoder quando è essenziale un richiamo elevato, cioè quando non volete perdere nessuna possibile corrispondenza, e dovete verificare la somiglianza di molti passaggi in modo efficiente.
I seguenti modelli di incorporazione possono essere utilizzati dall'API di watsonx.ai:
- granite-embedding-107m-multilingual
- granite-embedding-278m-multilingual
- slate-30m-english-rtrvr-v2
- slate-30m-english-rtrvr
- slate-125m-english-rtrvr-v2
- slate-125m-english-rtrvr
- all-minilm-l6-v2
- all-minilm-l12-v2
- multilingual-e5-large
Per ottenere un elenco dei modelli di incorporazione disponibili, utilizzare il metodo List the available foundation models nell'API watsonx.ai as a service. Specificare il parametro 'filters=function_embedding
curl -X GET \ 'https://{cluster_url}/ml/v1/foundation_model_specs?version=2024-07-25&filters=function_embedding'
Funzionalità di elaborazione del linguaggio naturale
IBM I modelli di Slate alimentano anche una serie di librerie che è possibile utilizzare per le comuni attività di elaborazione del linguaggio naturale (NLP), come la classificazione, l'estrazione di entità, l'analisi del sentiment e altro ancora.
Per ulteriori informazioni su come utilizzare le funzionalità NLP dei modelli Slate, consultare la libreria NLP Watson.
Panoramica dei modelli di incorporazione IBM
La tabella seguente elenca i modelli di incorporamento IBM che è possibile utilizzare dall'API.
| Nome modello | ID modello API | PrezzoUSD/1,000 gettoni) | Numero massimo di token di input | Numero di dimensioni | Ulteriori informazioni |
|---|---|---|---|---|---|
| granite-embedding-107m-multilingual | |
$0.0001 | 512 | 384 | Scheda modello |
| granite-embedding-278m-multilingual | |
$0.0001 | 512 | 768 | Scheda modello |
| slate-125m-english-rtrvr-v2 | |
$0.0001 | 512 | 768 | Scheda modello |
| slate-125m-english-rtrvr | |
$0.0001 | 512 | 768 | Scheda modello |
| slate-30m-english-rtrvr-v2 | |
$0.0001 | 512 | 384 | Scheda modello |
| slate-30m-english-rtrvr | |
$0.0001 | 512 | 384 | Scheda modello |
Panoramica dei modelli di incorporazione di terze parti
La tabella seguente elenca i modelli di incorporamento di terze parti che è possibile utilizzare dall'API.
| Nome modello | ID modello API | di servizi | PrezzoUSD/1,000 gettoni) | Numero massimo di token di input | Numero di dimensioni | Ulteriori informazioni |
|---|---|---|---|---|---|---|
| all-minilm-l6-v2 | |
Comunità open source di elaborazione del linguaggio naturale (NLP) e computer vision (CV) | $0.0001 | 256 | 384 | - Scheda modello |
| all-minilm-l12-v2 | |
Comunità open source di elaborazione del linguaggio naturale (NLP) e computer vision (CV) | $0.0001 | 256 | 384 | - Scheda modello |
| multilingual-e5-large | |
Microsoft | $0.0001 | 512 | 1,024 | - Scheda modello " - Carta di ricerca |
- Per un elenco dei modelli forniti in ogni data center regionale, vedi Disponibilità regionale dei modelli di base.
- L'uso del modello è misurato in unità di risorse (RU). Ogni unità equivale a 1.000 token dall'input che viene inviato al modello di base. Per ulteriori informazioni, consultare la sezione Dettagli di fatturazione per gli asset di IA generativa.
Modelli di reranker
I modelli di reranker sono modelli cross-encoder che si usano per classificare i passaggi in ordine di maggiore o minore rilevanza per una query. A differenza dei modelli bi-encoder, i modelli cross-encoder elaborano un brano e una query insieme e generano un punteggio per la somiglianza dei due input. Il modello ripete questa fase di confronto delle somiglianze per ogni brano incluso. Questo metodo è la scelta migliore quando si dispone di una serie ridotta di brani da valutare e si vuole trovare la risposta migliore.
I modelli di reranker disponibili su watsonx.ai non possono essere utilizzati per generare incorporazioni di testo.
Il seguente modello di reranker può essere utilizzato dall'API di watsonx.ai:
Per ottenere un elenco dei modelli di reranker disponibili, utilizzare il metodo List the available foundation models nell'API watsonx.ai as a service. Specificare il parametro 'filters=function_rerank
curl -X GET \ 'https://{region}/ml/v1/foundation_model_specs?version=2024-07-25&filters=function_rerank'
Panoramica dei modelli di reranker
La tabella seguente elenca i modelli di reranker che è possibile utilizzare in watsonx.ai:
| Nome modello | ID modello API | di servizi | PrezzoUSD/1,000 gettoni) | Numero massimo di token di input | Ulteriori informazioni |
|---|---|---|---|---|---|
| ms-marco-minilm-l-12-v2 | |
Microsoft | $0.000005 | 512 | - Scheda modello |
- Per un elenco dei modelli forniti in ogni data center regionale, vedi Disponibilità regionale dei modelli di base.
- L'uso del modello è misurato in unità di risorse (RU). Ogni unità equivale a 1.000 token dall'input che viene inviato al modello di base. Per ulteriori informazioni, consultare la sezione Dettagli di fatturazione per gli asset di IA generativa.
Dettagli del modello solo encoder
È possibile utilizzare la libreria Python di watsonx.ai o l'API REST per inviare frasi o passaggi a uno dei modelli di fondazione di solo encoder supportati.
all-minilm-l6-v2
Il modello di incorporamento dell' all-minilm-l6-v2, creato dalla comunità open source di elaborazione del linguaggio naturale (NLP) e di visione artificiale (CV), è fornito da Hugging Face. Utilizzare il modello come codificatore di frasi e paragrafi brevi. Dato un testo in ingresso, il modello genera un vettore che cattura le informazioni semantiche del testo.
Il modello di incorporazione all-minilm-l6-v2 è simile al modello di incorporazione all-minilm-l12-v2, con la differenza che il modello all-minilm-l6-v2 ha sei strati di incorporazione invece dei dodici strati del modello all-minilm-l12-v2.
Utilizzo: Utilizzare i vettori frase generati dal modello di incorporazione all-minilm-l6-v2 per compiti quali il recupero di informazioni, il clustering e il rilevamento della somiglianza tra le frasi.
Livello di prezzo API: Classe C1. Per i dettagli sui prezzi, vedere la Tabella 3.
Numero di dimensioni: 384
Limiti dei token di ingresso : 128
Lingue naturali supportate: inglese
Informazioni sulla messa a punto: Questo modello di incorporazione è una versione del modello MiniLM-L6-H384-uncased preaddestrato di Microsoft, messo a punto su un set di dati che contiene 1 miliardo di coppie di frasi.
Architettura del modello: solo codificatore
Licenza: Apache 2.0 license
Ulteriori informazioni
all-minilm-l12-v2
Il modello di incorporamento dell' all-minilm-l12-v2, creato dalla comunità open source di elaborazione del linguaggio naturale (NLP) e di visione artificiale (CV), è fornito da Hugging Face. Utilizzare il modello come codificatore di frasi e paragrafi brevi. Dato un testo in ingresso, genera un vettore che cattura le informazioni semantiche del testo.
Il modello di incorporazione all-minilm-l12-v2 è simile al modello di incorporazione all-minilm-l6-v2, con la differenza che il modello all-minilm-l12-v2 ha dodici strati di incorporazione invece dei sei strati del modello all-minilm-l6-v2.
Uso: Utilizza i vettori di frasi generati dal modello di incorporamento all-minilm-l12-v2 per compiti quali il recupero di informazioni, il raggruppamento e il rilevamento della somiglianza tra frasi.
Livello di prezzo API: Classe C1. Per i dettagli sui prezzi, vedere la Tabella 3.
Numero di dimensioni: 384
Limiti dei token di ingresso : 128
Lingue naturali supportate: inglese
Informazioni sull'ottimizzazione dei dati: questo modello di integrazione è una versione del modello MiniLM-L12-H384-uncased preaddestrato di Microsoft, ottimizzato con coppie di frasi da più di 1 miliardo di frasi.
Architettura del modello: solo codificatore
Licenza: Apache 2.0 license
Ulteriori informazioni
granite-embedding-107m-multilingual
Il modello granite-embedding-107m-multilingual è un modello da 107 milioni di parametri della suite Granite Embeddings fornita da IBM. Il modello può essere utilizzato per generare incorporazioni di testo di alta qualità. Il modello viene addestrato utilizzando una combinazione di dataset di coppie di rilevanza open source con licenze permissive e favorevoli alle aziende e dataset generati e raccolti da IBM. Supporta 12 lingue: Inglese, tedesco, spagnolo, francese, giapponese, portoghese, arabo, ceco, italiano, coreano, olandese e cinese.
Utilizzo : Usare il modello granite-embedding-107m-multilingual per produrre un embedding per un dato input come una query, un brano o un documento. Il modello viene addestrato per massimizzare la somiglianza del coseno tra due testi in ingresso.
Livello di prezzo API: Classe C1. Per i dettagli sui prezzi, vedere la Tabella 2.
Numero di dimensioni: 384
Limiti token di immissione: 512
Lingue naturali supportate : Inglese, tedesco, spagnolo, francese, giapponese, portoghese, arabo, ceco, italiano, coreano, olandese e cinese
Informazioni sulla messa a punto : Il modello granite-embedding-107m-multilingual è una versione del modello XLM RoBERTa, che è una versione multilingue di RoBERTa preaddestrata su 2.5 TB di dati CommonCrawl filtrati. Il modello è stato continuamente addestrato su una miscela di set di dati multilingue per compiti basati sul recupero.
Architettura del modello: solo codificatore
Licenza: Apache 2.0 license
Ulteriori informazioni
granite-embedding-278m-multilingual
Il modello granite-embedding-278m-multilingual è un modello da 278 milioni di parametri della suite Granite Embeddings fornita da IBM. Il modello può essere utilizzato per generare incorporazioni di testo di alta qualità. Il modello viene addestrato utilizzando una combinazione di dataset di coppie di rilevanza open source con licenze permissive e favorevoli alle aziende e dataset generati e raccolti da IBM. Supporta 12 lingue: Inglese, tedesco, spagnolo, francese, giapponese, portoghese, arabo, ceco, italiano, coreano, olandese e cinese.
Utilizzo : Usare il modello granite-embedding-278m-multilingual per produrre un embedding per un dato input come una query, un brano o un documento. Il modello viene addestrato per massimizzare la somiglianza del coseno tra due testi in ingresso.
Livello di prezzo API: Classe C1. Per i dettagli sui prezzi, vedere la Tabella 2.
Numero di dimensioni: 768
Limiti token di immissione: 512
Lingue naturali supportate : Inglese, tedesco, spagnolo, francese, giapponese, portoghese, arabo, ceco, italiano, coreano, olandese e cinese
Informazioni sulla messa a punto : Il modello granite-embedding-107m-multilingual è una versione del modello XLM RoBERTa, che è una versione multilingue di RoBERTa preaddestrata su 2.5 TB di dati CommonCrawl filtrati. Il modello è stato continuamente addestrato su una miscela di set di dati multilingue per compiti basati sul recupero.
Architettura del modello: solo codificatore
Licenza: Apache 2.0 license
Ulteriori informazioni
ms-marco-minilm-l-12-v2
Il modello reranker di ms-marco-minilm-l-12-v2 è stato creato da Microsoft e fornito da Hugging Face. Utilizzate il modello come passepartout e ricopritore di documenti. Dato il testo della query e un insieme di passaggi del documento, classifica l'elenco dei passaggi dal più al meno correlati alla query.
Utilizzo: Utilizzare il modello di reranker ms-marco-minilm-l-12-v2 quando si dispone di un piccolo insieme di passaggi che si desidera valutare rispetto a una query e la precisione è essenziale. Ad esempio, quando si hanno meno di 100 passaggi e si vuole assegnare loro un punteggio in base alla somiglianza con il testo della query.
Livello di prezzo API: Classe 11. Per i dettagli sui prezzi, vedere la Tabella 4.
Limiti token di immissione: 512
Lingue naturali supportate: inglese
Informazioni sulla messa a punto: Il modello ms-marco-minilm-l-12-v2 è stato addestrato sul compito MS Marco Passage Ranking. MS MARCO (Microsoft Machine Reading Comprehension) è un set di dati su larga scala utilizzato per la comprensione automatica della lettura, la risposta alle domande e la classificazione dei passaggi.
Architettura del modello: solo codificatore
Licenza: Apache 2.0 license
Ulteriori informazioni
multilingual-e5-large
Il modello di incorporamento dell' multilingual-e5-large e è realizzato da Microsoft e fornito da Hugging Face.
L'architettura del modello di integrazione ha 24 livelli che vengono utilizzati in modo sequenziale per elaborare i dati.
Utilizzo: utilizzare per i casi di utilizzo in cui si desidera generare le incorporazioni di testo per il testo in una lingua diversa dall'inglese. Il modello multilingual-e5-large è utile per compiti quali il recupero di brani o informazioni, la similarità semantica, il bitext mining e il recupero di parafrasi.
Livello di prezzo API: Classe C1. Per i dettagli sui prezzi, vedere la Tabella 3.
Numero di dimensioni: 1,024
Limiti token di immissione: 512
Lingue naturali supportate: fino a 100 lingue. Vedere la scheda del modello per i dettagli.
Informazioni sulla messa a punto : Il modello multilingual-e5-large è una versione del modello XLM RoBERTa, che è una versione multilingue di RoBERTa preaddestrata su 2.5 TB di dati CommonCrawl filtrati. Il modello è stato continuamente addestrato su una miscela di set di dati multilingue.
Architettura del modello: solo codificatore
Licenza: Codice di condotta Microsoft Open Source
Ulteriori informazioni
slate-125m-english-rtrvr
I modelli di fondazione slate-125m-english-rtrvr-v2 e slate-125m-english-rtrvr sono forniti da IBM. I modelli di embedding IBM Slate 125m generano embedding per vari input come query, passaggi o documenti.
L'obiettivo di addestramento è massimizzare la similarità coseno tra una query e un passaggio. Questo processo produce due incorporazioni di frase, una che rappresenta la domanda e una che rappresenta il passaggio, consentendo il confronto delle due attraverso la similarità coseno.
Utilizzo: Da due a tre volte più lento ma con prestazioni leggermente migliori rispetto al modello di incorporazione IBM Slate 30m.
Livello di prezzo API: Classe C1. Per i dettagli sui prezzi, vedere la Tabella 2.
Numero di dimensioni: 768
Limiti token di immissione: 512
Lingue naturali supportate: inglese
Informazioni sull'ottimizzazione delle frasi: questa versione del modello è stata ottimizzata per essere migliore nelle attività basate sul richiamo delle frasi.
Architettura del modello: solo codificatore
Licenza: Condizioni di utilizzo
Ulteriori informazioni
slate-30m-english-rtrvr
I modelli di fondazione slate-30m-english-rtrvr-v2 e slate-30m-english-rtrvr sono versioni distillate del modello slate-125m-english-rtrvr, tutti forniti da IBM. Il modello di incorporazione IBM Slate viene addestrato per massimizzare la somiglianza del coseno tra due input di testo, in modo che le incorporazioni possano essere valutate in seguito in base alla somiglianza.
L'architettura del modello di inclusione ha 6 livelli che vengono utilizzati in modo sequenziale per elaborare i dati.
Utilizzo: Da due a tre volte più veloce e con punteggi di prestazioni leggermente inferiori rispetto al modello di incorporazione IBM Slate 125m.
Livello di prezzo API: Classe C1. Per i dettagli sui prezzi, vedere la Tabella 2.
Prova: Utilizzo di testo vettorizzato con attività di generazione aumentate dal richiamo
Numero di dimensioni: 384
Limiti token di immissione: 512
Lingue naturali supportate: inglese
Informazioni sull'ottimizzazione delle frasi: questa versione del modello è stata ottimizzata per essere migliore nelle attività basate sul richiamo delle frasi.
Architettura del modello: solo codificatore
Licenza: Condizioni di utilizzo
Ulteriori informazioni
Ulteriori informazioni
- Per ulteriori informazioni sull'utilizzo di modelli di incorporamento di testo ( IBM ) per convertire frasi e passaggi in incorporamenti di testo, vedere Generazione di incorporamenti di testo.
- Aggiunta di documenti vettoriali
- Passaggi di reranking utilizzando l'API
Argomento principale: Modelli di fondazione supportati