Aufgabenspezifische Vorschulung

In dieser Phase wird das RetroMAE-Framework verwendet, um die zugrundeliegende LM stärker auf das Abrufen von Daten auszurichten. Wir initialisieren unser Basis-LM mit slate.125m.english und fahren mit RetroMAE Pre-Training unter Verwendung der Daten in Tabelle 1 fort. Unsere Hyper-Parameter sind: Lernrate: 2e-5, Anzahl der Schritte: 190000, GPUs: 24 A100 40GB.

Hinweis: Dies ist unser Basis-LM für die folgenden 2 Stufen.

Feinabstimmung mit unüberwachten Daten in großem Maßstab

Dieses Modell wird mit dem RetroMAE vortrainierten Modell initialisiert und wie folgt trainiert.

Für das Training eines Einbettungsmodells verwenden wir einen Bi-Encoder, wie in Abbildung 1 dargestellt. Der RetroMAE vortrainierte LM wird mit <query, passage>Textpaaren unter Verwendung eines Kontrastverlustes feinabgestimmt. Wir ermitteln große Paare aus verschiedenen Bereichen, wie in Tabelle 2 angegeben. Das Modell wird mit verschiedenen Paaren trainiert, darunter Klassifizierungsaufgaben wie NLI (Natural Language Inference), bei denen eine Prämisse mit der entsprechenden Hypothese abgeglichen werden muss. Unsere Hyper-Parameter sind: Lernrate: 2e-4; Anzahl der Schritte: 35000; GPUs: 8 A100_80GB, effektive Stapelgröße: 16k Paare

Feinabstimmung mit überwachten Daten in kleinem Maßstab mit harten Negativen

Schließlich wird das Modell mit hochwertigen überwachten Trainingspaaren, die aus dem Hard Negative Mining stammen, für die Retrievalaufgabe feinabgestimmt. Die Kontrollpunkte des Zwischenmodells werden iterativ verwendet, um datensatzspezifische harte Negative zu ermitteln, die dann für die überwachte Feinabstimmung verwendet werden. Dieser Prozess zielt darauf ab, das Modell robuster zu machen, indem es aus seinen eigenen Fehlern lernt, und hilft bei der Stabilisierung mit viel kleineren Daten.

Zur Feinabstimmung des Modells verwenden wir eine Untergruppe von Datensätzen (die wir durch die Durchführung von Validierungsexperimenten mit einem zurückgehaltenen Datensatz gefunden haben), die im Abschnitt Trainingsdaten erwähnt werden: AllNLI, Squad, Stackexchange, NQ, HotpotQA, Fever und 5M Teilmenge von Specter, S2orc, WikiAnswers. Darüber hinaus generieren wir auch synthetisch Tripel, um qualitativ hochwertige Frage-Antwort-Paare, Faktenüberprüfungen usw. mit Mixtral-8x7B-Instruct-v0.1 zu erstellen. Um eine bessere Leistung für IBM-spezifische Anwendungsfälle zu erzielen, werden auch Paare aus IBM Software-Support-Daten und IBM Docs einbezogen.

Training Hyper-Parameter sind Lernrate: 2e-5; max query length: 64; max passage length: 512; max steps: 5000; effective batch size: 512; GPUs: 1A100_80GB

Grundlinien

Um einen fairen Vergleich anzustellen, vergleichen wir mit den folgenden Grundlinien:

1. BM25 (ein traditionelles Modell auf der Grundlage von tf-idf)

2. ELSER (ein kommerzieller Suchalgorithmus, der von Elastic bereitgestellt wird)

3. all-MiniLM-l6-v2: ein beliebtes Open-Source-Satzumwandlungsmodell. Dieses Modell hat die gleiche Architektur wie slate.30m.english.rtrvr, wurde aber auf mehr Daten ohne kommerzielle Lizenzen trainiert. Weitere Einzelheiten entnehmen Sie bitte der Modellkarte von huggingface

4. E5-base: ein neueres Open-Source-Transformationsmodell mit sehr guter Leistung beim BEIR-Benchmark. Dies ist ein Basismodell, das dieselbe Architektur hat wie slate.125m.english.rtrvr. [Referenz: Wang et.al., 2022: Texteinbettungen durch schwach überwachtes kontrastives Vortraining]. Modellkarte Huggingface

5. E5-small: ein kleineres Modell innerhalb der quelloffenen E5 Familie. Die Einbettungsgröße dieses Modells entspricht der von slate.30m.rtrvr (384), allerdings hat es 12 Schichten und ist daher größer und etwas langsamer. [Referenz: Wang et.al., 2022: Texteinbettungen durch schwach überwachtes kontrastives Vortraining]. Modellkarte Huggingface

6. BGE-base: ein aktuelles Open-Source-Transformationsmodell mit einer der besten Leistungen beim BEIR-Benchmark für die Einbettungsgröße 768. Modellkarte Huggingface

7. BGE-small: ein aktuelles Open-Source-Transformationsmodell mit einer der besten Leistungen beim BEIR-Benchmark für die Einbettungsgröße 384. Modellkarte Huggingface

Wir vergleichen auch die Leistung dieser Modelle mit den älteren Versionen der Schiefermodelle, slate.125m.english.rtrvr-012024 und slate.30m.english.rtrvr-012024.

Unser Bewertungsmaßstab: BEIR(MTEBs Registerkarte für die Suche)

Der BEIR-Benchmark besteht aus 15 Open-Source-Retrievalaufgaben, die in einer Zero-Shot-Situation bewertet werden. BEIR konzentrierte sich auf Diversität und umfasste neun verschiedene Abrufaufgaben: Faktenüberprüfung, Vorhersage von Zitaten, Suche nach doppelten Fragen, Suche nach Argumenten, Suche nach Nachrichten, Beantwortung von Fragen, Suche nach Tweets, biologisch-medizinische IR und Suche nach Entitäten. Darüber hinaus enthält es Datensätze aus verschiedenen Textdomänen, Datensätze, die breite Themen (wie Wikipedia) und spezialisierte Themen (wie COVID-19 Publikationen) abdecken, verschiedene Texttypen (Nachrichtenartikel vs. Tweets), Datensätze unterschiedlicher Größe (3.6k - 15M Dokumente) und Datensätze mit unterschiedlichen Abfragelängen (durchschnittliche Abfragelänge zwischen 3 und 192 Wörtern) und Dokumentlängen (durchschnittliche Dokumentlänge zwischen 11 und 635 Wörtern). BEIR verwendet die Metrik Normalized Cumulative Discount Gain (insbesondere nDCG@10) zur Bewertung.

Lang NQ

Long NQ ist ein IBM-Datensatz, der für die Evaluierung der gesamten RAG-Pipeline entwickelt wurde und auf einer Teilmenge des NaturalQuestions-Datensatzes basiert. Das Dev-Set umfasst 300 beantwortbare Fragen mit einem Korpus von 178.891 Passagen aus 2.345 Wikipedia-Dokumenten. Long NQ bietet auch goldene Wikipedia-Passagen, die für jede Frage relevant sind. Beim Retrieval besteht die Aufgabe darin, für jede Frage die relevante Gold-Passage aus dem Korpus zu erhalten.

Ergebnisse

Abbildung 2: Leistungsvergleich beim BEIR-Benchmark (Registerkarte MTEB-Abfrage)

Abb. 3 Leistungsvergleich mit dem Long NQ-Datensatz