Preformazione specifica per il compito

Questa fase utilizza il framework RetroMAE, per rendere il nostro LM sottostante più orientato al recupero. Inizializziamo la nostra LM di base con slate.125m.english e continuiamo con il pre-addestramento RetroMAE, utilizzando i dati della Tabella 1. I nostri iper-parametri sono: tasso di apprendimento: 2e-5, numero di passi: 190000, GPU: 24 A100 40GB.

Nota: questa è la nostra LM di base per le 2 fasi successive.

Messa a punto con dati non supervisionati su larga scala

Questo modello viene inizializzato con il modello pre-addestrato RetroMAE e viene addestrato come segue.

Per l'addestramento di un modello di incorporazione utilizziamo un framework bi-encoder, come nella Figura 1. La LM preaddestrata RetroMAE viene messa a punto con <query, passage> coppie di testi utilizzando un obiettivo di perdita contrastiva. Abbiamo estratto coppie su larga scala da vari domini, come indicato nella Tabella 2. Il modello viene addestrato con diverse coppie, tra cui compiti di classificazione come NLI (Natural Language Inference) che consiste nel far corrispondere una premessa all'ipotesi corrispondente. I nostri iper-parametri sono: tasso di apprendimento: 2e-4; numero di passi: 35000; GPU: 8 A100_80GB, dimensione effettiva del batch: 16k coppie

Messa a punto con dati supervisionati su piccola scala e con negativi difficili da gestire

Infine, il modello viene messo a punto con coppie di addestramento supervisionate di alta qualità, la cui supervisione proviene dall'hard negative mining, per il compito di recupero. I checkpoint intermedi del modello vengono utilizzati iterativamente per estrarre gli hard negative specifici del set di dati, che vengono poi utilizzati per la messa a punto supervisionata. Questo processo mira a rendere il modello più robusto, consentendogli di imparare dai propri errori e aiutandolo a stabilizzarsi con dati molto più piccoli.

La messa a punto del modello avviene utilizzando un sottoinsieme di set di dati (individuati attraverso l'esecuzione di esperimenti di convalida su un set di dati non utilizzato) menzionati nella sezione Dati di addestramento, che sono i seguenti: AllNLI, Squad, Stackexchange, NQ, HotpotQA, Fever e 5M sottoinsieme da ciascuno di Specter, S2orc, WikiAnswers. Inoltre, generiamo sinteticamente le triple per creare coppie di buona qualità di domande-risposte, verifica dei fatti, ecc. utilizzando Mixtral-8x7B-Instruct-v0.1. Per fornire prestazioni migliori per i casi d'uso specifici di IBM, includiamo anche le coppie create dai dati di IBM Software Support e IBM Docs.

Gli iperparametri di addestramento sono: tasso di apprendimento: 2e-5; lunghezza max query: 64; lunghezza max passaggio: 512; passi max: 5000; dimensione effettiva del lotto: 512; GPU: 1A100_80GB

Baseline

Per un confronto equo, ci confrontiamo con le seguenti linee di base:

1. BM25 (un modello tradizionale basato su tf-idf)

2. ELSER (un algoritmo di ricerca commerciale fornito da Elastic)

3. all-MiniLM-l6-v2: un popolare modello di trasformatori di frasi open-source. Questo modello condivide la stessa architettura di slate.30m.english.rtrvr, è stato addestrato su un maggior numero di dati senza licenze commerciali. Per maggiori dettagli, consultare la scheda del modello huggingface

4. E5-base: un recente modello di trasformatore open-source con ottime prestazioni nel benchmark BEIR. Si tratta di un modello di dimensioni base, che ha la stessa architettura di slate.125m.english.rtrvr. [Riferimento: Wang et.al.., 2022: Text Embeddings by Weakly-Supervised Contrastive Pre-training]. Scheda modello Huggingface

5. E5-small: un modello più piccolo della famiglia open source E5. La dimensione di incorporazione di questo modello corrisponde a quella di slate.30m.rtrvr (384), ma ha 12 strati e quindi è più grande e leggermente più lento. [Riferimento: Wang et.al.., 2022: Text Embeddings by Weakly-Supervised Contrastive Pre-training]. Scheda modello Huggingface

6. BGE-base: un recente modello di trasformatore open-source con una delle migliori prestazioni sul benchmark BEIR per la dimensione di incorporazione 768. Scheda modello Huggingface

7. BGE-small: un recente modello di trasformatore open-source con una delle migliori prestazioni nel benchmark BEIR per la dimensione di incorporazione 384. Scheda modello Huggingface

Confrontiamo inoltre le prestazioni di questi modelli con le versioni precedenti dei modelli slate, slate.125m.english.rtrvr-012024 e slate.30m.english.rtrvr-012024.

Il nostro benchmark di valutazione: BEIR(scheda di reperimento di MTEB)

Il benchmark BEIR contiene 15 compiti di recupero open-source valutati in un'impostazione a zero colpi. Il BEIR si è concentrato sulla Diversità, includendo nove diversi compiti di recupero: Fact checking, citation prediction, duplicate question retrieval, argument retrieval, news retrieval, question answering, tweet retrieval, bio-medical IR e entity retrieval. Inoltre, include dataset provenienti da domini testuali diversi, dataset che coprono argomenti ampi (come Wikipedia) e argomenti specialistici (come le pubblicazioni COVID-19), diversi tipi di testo (articoli di notizie vs. Tweets), dataset di varie dimensioni (3.6k - 15M documenti) e dataset con diverse lunghezze di query (lunghezza media della query tra 3 e 192 parole) e di documenti (lunghezza media del documento tra 11 e 635 parole). Per la valutazione, BEIR utilizza la metrica Normalized Cumulative Discount Gain (in particolare, nDCG@10).

Lungo NQ

Long NQ è un set di dati IBM progettato per valutare l'intera pipeline RAG, basato su un sottoinsieme del set di dati NaturalQuestions. Il dev set è composto da 300 domande a risposta libera con un corpus di 178.891 passaggi da 2.345 documenti di Wikipedia. Long NQ fornisce anche i passaggi di Wikipedia oro che sono rilevanti per ogni domanda. Durante il recupero, il compito è quello di ottenere il passaggio aureo rilevante dal corpus per ogni domanda.

Risultati

Figura 2. Confronto delle prestazioni sul benchmark BEIR (scheda di recupero MTEB)

Figura 3 Confronto delle prestazioni sul set di dati Long NQ