Carte modèle IBM slate-30m-english-rtrvr

Pré-formation spécifique à la tâche

Cette étape utilise l'infrastructure RetroMAE pour rendre notre LM sous-jacent plus orienté vers l'extraction. Nous initialisons notre module LM de base avec slate.30m.english et continuons avec le pré-entraînement RetroMAE , en utilisant les données du tableau 1. Nos hyperparamètres sont: taux d'apprentissage: 2e-5, nombre d'étapes: 435000, GPU: 8 A100 (80GB) GPU. Remarque: il s'agit de notre base LM pour les 2 étapes suivantes.

Distillation à l'aide de paires non surveillées et surveillées

Nous utilisons une structure à deux codeurs pour l'entraînement d'un modèle d'intégration, comme dans la figure 1. Nous nous initialisons avec le modèle pré-entraîné RetroMAE et employons davantage Knowledge Distillation avec des paires de texte <query, passage> à l'aide d'un objectif de perte contrastif avec des négatifs en lot. Connaissance Distillation entraîne la distribution de la probabilité de sortie de l'élève pour qu'elle corresponde le plus étroitement possible à celle de l'enseignant. Dans le contexte des modèles d'extracteur, la distribution de sortie correspond aux scores de similarité entre les paires de texte. Plus précisément, pour chaque paire de phrases <query, passage>, la distribution des scores de l'enseignant entre les incorporations de requête et de passage, c'est-à-dire la similarité cosinus entre les incorporations, est distillée dans l'élève.

L'enseignant utilisé pour la distillation est le modèle "slate.125m.english.rtrvr” entraîné sur les mêmes données mentionnées ci-dessous. Le professeur est formé à l'aide de la fusion de modèles entre deux modèles, chacun utilisant le préapprentissage et le finetuning RetroMAE , mais différant dans les données de finetuning. Pour plus de détails, reportez-vous à la carte modèle pour slate.125m.english.rtrvr. Le flux du transfert de connaissances est illustré de façon pictoriale à la figure 2.

Figure 2. Distillation des connaissances

Nous exploitons des paires à grande échelle provenant de divers domaines, comme indiqué dans la section Données d'apprentissage. En outre, nous incluons également des paires de haute qualité pour la tâche d'extraction sur les ensembles de données suivants : SQuAD, paires Natural Questions, Specter, Stack Exchange (Title, Body), S2ORC, SearchQA, HotpotQA et Fever. Les hyperparamètres de distillation sont: apprentissage rate:7e-4, nombre d'étapes: 400000, taille de lot effective: 2048, GPU: 2 GPU A100_80GB .

Lignes de base

Pour une comparaison équitable, nous comparons avec les versions de référence suivantes:

1. BM25 (modèle traditionnel basé sur tf-idf).
2. ELSER (un algorithme de recherche commerciale fourni par Elastic).
3. all-MiniLM-l6-v2: un modèle populaire de transformateurs de phrases open source. Ce modèle partage la même architecture que slate.125m.english.rtvr, avec une plus petite dimension d'imbrication (384) et a été entraîné sur plus de données sans licences commerciales. Pour plus de détails, voir la carte modèle " Hugging Facehttps://huggingface.co/sentence-transformers/all-MiniLM-L6-v2
4. E5-base: un modèle récent de transformateur open source avec de très bonnes performances sur le test de performances BEIR. Il s'agit d'un modèle de taille de base, qui possède la même architecture que slate.125m.english.rtvr. [ Référence: Wang et.al., 2022: Texte Embeddings by ???-??? Contrastive Pre-training ]. Carte modèle Huggingface (https://huggingface.co/intfloat/e5-base).
5. E5-small: modèle plus petit au sein de la famille open source E5 . La dimension d'imbrication de ce modèle correspond à celle de all-minilm-l6-v2 (384), mais elle comporte 12 couches et est donc plus grande et légèrement plus lente. [ Référence: Wang et.al., 2022: Texte Embeddings by ???-??? Contrastive Pre-training ]. Carte modèle Huggingface (https://huggingface.co/intfloat/e5-small).
6. BGE-base: un modèle récent de transformateur open source avec les meilleures performances sur le test de performances BEIR pour la taille d'imbrication 768 (à partir du 01.20.2024). Carte modèle Huggingface (https://huggingface.co/BAAI/bge-base-en-v1.5).

Notre point de repère d'évaluation: BEIR (onglet d'extraction de MTEB)

Le test de référence BEIR contient 15 tâches d'extraction open source évaluées dans un cadre zéro. BEIR s'est concentré sur la diversité, y compris neuf tâches d'extraction différentes: la vérification des faits, la prédiction des citations, la récupération des questions en double, la récupération des arguments, la récupération des nouvelles, la réponse aux questions, la récupération des tweets, l'IR bio-médicale et la récupération des entités. En outre, il comprend des jeux de données provenant de divers domaines de texte, des jeux de données qui couvrent de vastes sujets (comme Wikipedia) et des sujets spécialisés (comme les publications COVID-19 ), différents types de texte (articles de presse et tweets), des jeux de données de différentes tailles (3.6k - 15M documents) et des jeux de données avec des longueurs de requête différentes (longueur moyenne de requête comprise entre 3 et 192 mots) et des longueurs de document (longueur moyenne de document comprise entre 11 et 635 mots). BEIR utilise l'indicateur Normalized Cumulative Discount Gain (en particulier, nDCG@10) pour l'évaluation.

NQ longue

Long NQ est un jeu de données IBM conçu pour évaluer le pipeline RAG complet, basé sur un sous-ensemble de l'ensemble de données NaturalQuestions . L'ensemble de développement a 300 questions à répondre avec un corpus de 178 891 passages de 2 345 documents Wikipédia. Long NQ fournit également des passages de Wikipédia en or qui sont pertinents pour chaque question. Lors de la récupération, la tâche consiste à obtenir le passage d'or pertinent du corpus pour chaque question.

Résultats

Figure 3 Comparaison des performances sur l'indice de référence BEIR (onglet Extraction MTEB)

Figure 4 Comparaison des performances sur le jeu de données NQ long