Scheda modello IBM slate-30m-english-rtrvr

Pre - formazione specifica del compito

Questo stage utilizza il framework RetroMAE , per rendere il nostro LM sottostante più orientato al richiamo. Inizializziamo il nostro LM base con slate.30m.english e continuiamo con il pre - training RetroMAE , utilizzando i dati della tabella 1. I nostri iper parametri sono: velocità di apprendimento: 2e-5, numero di passi: 435000, GPU: 8 A100 (80GB) GPU. Nota: questo è il nostro LM di base per le seguenti 2 fasi.

Distillazione con coppie non supervisionate e supervisionate

Utilizziamo un framework bi - encoder per la formazione di un modello di incorporazione, come in Figura 1. Inizializziamo con il modello pre - addestrato RetroMAE e utilizziamo ulteriormente Knowledge Distillazione con coppie di testo <query, passage> utilizzando un obiettivo di perdita contrastante con negativi in batch. La distillazione della conoscenza allena la distribuzione della probabilità di uscita dello studente in modo che corrisponda il più possibile a quella dell'insegnante. Nel contesto dei modelli retriever, la distribuzione di output è il punteggio di similarità tra coppie di testo. In particolare, per ogni coppia di frasi <query, passage>, la distribuzione dei punteggi dell'insegnante tra le incorporazioni della query e del passaggio, cioè la somiglianza coseno tra le incorporazioni, viene distillata nello studente.

L'insegnante utilizzato per la distillazione è il "slate.125m.english.rtrvr” modello addestrato sugli stessi dati menzionati di seguito. L'insegnante viene formato utilizzando la fusione di modelli tra due modelli, ognuno dei quali utilizzava il pretraining e il finetuning RetroMAE , ma differendo nei dati di finetuning. Per ulteriori dettagli, fare riferimento alla scheda modello per slate.125m.english.rtrvr. Il flusso del trasferimento di conoscenze è illustrato pittoricamente nella figura 2.

Figura 2. Distillazione della conoscenza

Si estraggono coppie su larga scala da vari domini, come indicato nella sezione Training Data. Inoltre, includiamo anche coppie di alta qualità per il compito di recupero sui seguenti set di dati: SQuAD, coppie Natural Questions, Specter, Stack Exchange (Title, Body), S2ORC, SearchQA, HotpotQA e Fever. Gli iperparametri di distillazione sono: learning rate:7e-4, number of steps: 400000, effective batch size: 2048, GPU: 2 GPU A100_80GB .

Baseline

Per un confronto equo, si confronta con le seguenti linee di base:

1. BM25 (un modello tradizionale basato su tf-idf).
2. ELSER (un algoritmo di ricerca commerciale fornito da Elastic).
3. all-MiniLM-l6-v2: : un popolare modello di trasformatori di frasi open-source. Questo modello condivide la stessa architettura di slate.125m.english.rtvr, con una dimensione di inserimento più piccola (384) ed è stato addestrato su più dati senza licenze commerciali. Per maggiori dettagli, consultare la scheda del modello Hugging Facehttps://huggingface.co/sentence-transformers/all-MiniLM-L6-v2.
4. E5-base: un recente modello di trasformatore open source con prestazioni molto buone sul benchmark BEIR. Questo è un modello di base, che ha la stessa architettura di slate.125m.english.rtvr. [ Riferimento: Wang et.al., 2022: Incorporazioni di testo da pre - allenamento contrastivo debolmente supervisionato]. Scheda modello Huggingface (https://huggingface.co/intfloat/e5-base).
5. E5-small: un modello più piccolo all'interno della famiglia E5 open source. La dimensione di incorporazione di questo modello corrisponde a quella di all-minilm-l6-v2 (384), tuttavia ha 12 livelli e quindi è più grande e leggermente più lento. [ Riferimento: Wang et.al., 2022: Incorporazioni di testo da pre - allenamento contrastivo debolmente supervisionato]. Scheda modello Huggingface (https://huggingface.co/intfloat/e5-small).
6. BGE - base: un recente modello di trasformatore open-source con le migliori prestazioni sul benchmark BEIR per la dimensione di inserimento 768 (a partire da 01.20.2024). Scheda modello Huggingface (https://huggingface.co/BAAI/bge-base-en-v1.5).

Il nostro benchmark di valutazione: BEIR (scheda di recupero di MTEB)

Il benchmark BEIR contiene 15 attività di recupero open-source valutate con un'impostazione zero - shot. BEIR si è concentrata sulla diversità, includendo nove diverse attività di recupero: controllo dei fatti, previsione delle citazioni, recupero delle domande duplicate, recupero degli argomenti, recupero delle notizie, risposta alle domande, recupero dei tweet, IR biomedico e recupero delle entità. Inoltre, include dataset provenienti da diversi domini di testo, dataset che coprono argomenti ampi (come Wikipedia) e argomenti specializzati (come pubblicazioni COVID-19 ), diversi tipi di testo (articoli di notizie e tweet), dataset di varie dimensioni (documenti3.6k - 15M ) e dataset con lunghezze di query differenti (lunghezza media di query tra 3 e 192 parole) e lunghezze di documenti (lunghezza media di documenti tra 11 e 635 parole). BEIR utilizza la metrica Guadagno sconto cumulativo normalizzato (in particolare, nDCG@10) per la valutazione.

NQ lunga

Long NQ è un dataset IBM progettato per valutare la pipeline RAG completa, basata su un sottoinsieme del dataset NaturalQuestions . Il set di sviluppo ha 300 domande con un corpus di 178.891 passaggi da 2.345 documenti Wikipedia. Long NQ fornisce anche passaggi di Wikipedia in oro che sono rilevanti per ogni domanda. Durante il recupero, il compito è quello di ottenere il passaggio d'oro pertinente dal corpus per ogni domanda.

Risultati

Figura 3 Confronto delle prestazioni sul benchmark BEIR (scheda recupero MTEB)

Figura 4. Confronto delle prestazioni sul dataset NQ lungo