IBM slate-30m-english-rtrvr-v2 carte modèle

Pré-entraînement spécifique à une tâche

Cette étape utilise le cadre RetroMAE, pour rendre notre LM sous-jacente plus orientée vers la recherche. Nous initialisons notre LM de base avec “slate.30m.english” et poursuivons avec RetroMAE le pré-entraînement, en utilisant les données du tableau 1. Ici, au lieu d'utiliser uniquement les étiquettes des données, nous distillons également les prédictions de l'encodeur RetroMAE utilisé par slate.125m.english.rtrvr. Nos hyperparamètres sont les suivants : taux d'apprentissage : 2e-5, nombre de pas : 435000, GPUs : 8 A100 (80GB) GPUs.

Remarque : il s'agit de notre LM de base pour les deux étapes suivantes.

Distillation à l'aide de paires non supervisées et supervisées

Nous utilisons un cadre bi-encodeur pour l'apprentissage d'un modèle d'intégration, comme le montre la figure 1. Nous initialisons avec le modèle pré-entraîné RetroMAE, et employons ensuite la distillation de connaissances avec des paires de textes <requête, passage> en utilisant un objectif de pertecontrastive avec des négatifs en lot. La distillation des connaissances entraîne la distribution des probabilités de sortie de l'étudiant pour qu'elle corresponde le plus possible à celle de l'enseignant. Dans le contexte des modèles de recherche, la distribution de sortie est constituée des scores de similarité entre les paires de textes. Plus précisément, pour chaque paire de phrases < requête, passage>, la distribution des scores de l'enseignant entre les intégrations de requête et passage, c'est-à-dire la similarité cosinus entre les intégrations, est distillée dans l'étudiant.

Le professeur utilisé pour la distillation est le modèle "slate.125m.english.rtrvr” entraîné sur les mêmes données que celles mentionnées ci-dessous. Le modèle de l'enseignant a été formé à l'aide d'un paradigme en plusieurs étapes où un modèle prétraîné RetroMAE a vu des données non supervisées lors de la phase de préformation, puis a été affiné sur des données plus propres, extraites ou étiquetées avec de l'or pendant quelques centaines d'étapes. Pour garantir la robustesse des ensembles de données, ce modèle ajusté a ensuite été fusionné avec un autre modèle formé avec différents hyperparamètres sur les mêmes données. Pour plus de détails, veuillez vous référer à la carte modèle slate.125m.english.rtrvr.

Le flux de transfert de connaissances est illustré à la figure 2.

Figure 2. Distillation des connaissances

Nous extrayons des paires à grande échelle de différents domaines, comme indiqué dans la section Données d'entraînement. En outre, nous incluons également des paires de haute qualité pour la tâche d'extraction sur les ensembles de données suivants : SQuAD, Questions naturelles, Specter, paires Stack Exchange (Titre, Corps), S2ORC, SearchQA, HotpotQA, Fever, et Miracl. Pour ces ensembles de données supervisés, nous incluons également les Hard Negatives extraits avec une version précédente du modèle slate.125m.english.rtrvr. En outre, nous générons synthétiquement des triples pour créer des paires de bonne qualité de questions-réponses, de vérifications factuelles, etc. en utilisant `Mixtral-8x7B-Instruct-v0.1`. Afin d'améliorer les performances pour les cas d'utilisation spécifiques à IBM, nous incluons également des paires créées à partir de IBM Software Support data et IBM Docs.

Les hyperparamètres de distillation sont les suivants : apprentissage rate:7e-4, nombre d'étapes : 500000, taille effective du lot : 2048, GPUs : 4 A100_80GB GPUs.

Lignes de base

Pour une comparaison équitable, nous comparons avec les lignes de base suivantes :

1. BM25 (un modèle traditionnel basé sur tf-idf)

2. ELSER (un algorithme de recherche commercial fourni par Elastic)

3. all-MiniLM-l6-v2: un modèle populaire de transformateur de phrases à source ouverte. Ce modèle partage la même architecture que slate.30m.english.rtrvr, et a été entraîné sur un plus grand nombre de données sans licence commerciale. Pour plus de détails, veuillez consulter la carte modèle du visage de câlin

4. E5-base: un modèle de transformateur open-source récent avec de très bonnes performances sur le benchmark BEIR. Il s'agit d'un modèle de base, qui a la même architecture que slate.125m.english.rtrvr. [Référence : Wang et.al..., 2022 : Text Embeddings by Weakly-Supervised Contrastive Pre-training]. Carte modèle Huggingface

5. E5-small: un modèle plus petit au sein de la famille E5 open source. La dimension d'encastrement de ce modèle correspond à celle de slate.30m.rtrvr (384), mais il comporte 12 couches et est donc plus grand et légèrement plus lent. [Référence : Wang et.al..., 2022 : Text Embeddings by Weakly-Supervised Contrastive Pre-training]. Carte modèle Huggingface

6. BGE-base : un modèle de transformateur à source ouverte récent qui présente l'une des meilleures performances sur le benchmark BEIR pour une taille d'intégration de 768. Carte modèle Huggingface

7. BGE-small : un modèle de transformateur à source ouverte récent qui présente l'une des meilleures performances sur le benchmark BEIR pour la taille d'intégration 384. Carte modèle Huggingface

Nous comparons également les performances de ces modèles avec les anciennes versions des modèles d'ardoise, slate.125m.english.rtrvr-012024 et slate.30m.english.rtrvr-012024.

Notre évaluation de référence : BEIR(onglet de recherche de MTEB)

Le benchmark BEIR contient 15 tâches d'extraction de sources ouvertes évaluées dans un contexte d'essai zéro. Le BEIR s'est concentré sur la diversité, y compris neuf tâches de recherche différentes : vérification des faits, prédiction des citations, recherche de questions en double, recherche d'arguments, recherche de nouvelles, réponse aux questions, recherche de tweets, RI bio-médicale et recherche d'entités. En outre, il inclut des ensembles de données provenant de divers domaines textuels, des ensembles de données qui couvrent des sujets généraux (comme Wikipedia) et des sujets spécialisés (comme les publications COVID-19), différents types de texte (articles d'actualité vs. Tweets), des ensembles de données de différentes tailles (3.6k - 15M documents), et des ensembles de données avec différentes longueurs de requêtes (longueur moyenne des requêtes entre 3 et 192 mots) et longueurs de documents (longueur moyenne des documents entre 11 et 635 mots). BEIR utilise l'indicateur Normalized Cumulative Discount Gain (en particulier, nDCG@10) pour l'évaluation.

Long NQ

Long NQ est un IBM ensemble de données conçu pour évaluer l'ensemble du pipeline RAG, basé sur un sous-ensemble de l'ensemble de données NaturalQuestions. L'ensemble de démonstration comprend 300 questions auxquelles il est possible de répondre et un corpus de 178 891 passages tirés de 2 345 documents Wikipédia. Long NQ fournit également des passages de Wikipédia en or qui sont pertinents pour chaque question. Lors de la recherche, il s'agit d'obtenir le passage en or pertinent du corpus pour chaque question.

Résultats

Figure 3 Comparaison des performances sur le benchmark BEIR (onglet de recherche MTEB)

Figure 4 Comparaison des performances sur l'ensemble de données Long NQ