IBM slate-125m-english-rtrvr-v2 carte modèle

Pré-entraînement spécifique à une tâche

Cette étape utilise le cadre RetroMAE, pour rendre notre LM sous-jacent plus orienté vers la recherche. Nous initialisons notre LM de base avec slate.125m.english et poursuivons avec RetroMAE le pré-entraînement, en utilisant les données du tableau 1. Nos hyperparamètres sont les suivants : taux d'apprentissage : 2e-5, nombre de pas : 190000, GPUs : 24 A100 40GB.

Remarque : il s'agit de notre LM de base pour les deux étapes suivantes.

Ajustement fin à l'aide de données non supervisées à grande échelle

Ce modèle est initialisé avec le modèle pré-entraîné RetroMAE et est entraîné comme suit.

Nous utilisons un cadre bi-encodeur pour l'apprentissage d'un modèle d'intégration, comme le montre la figure 1. Le RetroMAE LM pré-entraîné est affiné avec des <query, passage> paires de textes à l'aide d'un objectif de perte de contraste. Nous extrayons des paires à grande échelle de différents domaines, comme indiqué dans le tableau 2. Le modèle est entraîné avec diverses paires, y compris des tâches de classification telles que la NLI (Natural Language Inference) qui consiste à faire correspondre une prémisse à l'hypothèse correspondante. Nos hyperparamètres sont les suivants : taux d'apprentissage : 2e-4; nombre de pas : 35000 ; GPUs : 8 A100_80GB, taille effective du lot : 16k paires

Ajustement fin avec des données supervisées à petite échelle avec des négatifs durs

Enfin, le modèle est affiné à l'aide de paires d'entraînement supervisées de haute qualité, la supervision provenant de l'extraction de données négatives dures, pour la tâche de recherche. Les points de contrôle intermédiaires du modèle sont utilisés de manière itérative pour extraire des données négatives spécifiques au jeu de données, qui sont ensuite utilisées pour un réglage fin supervisé. Ce processus vise à rendre le modèle plus robuste en lui permettant d'apprendre de ses propres erreurs et aide à se stabiliser avec des données beaucoup plus petites.

Nous affinons le modèle en utilisant un sous-ensemble d'ensembles de données (tels que trouvés en effectuant des expériences de validation sur un ensemble de données retenu) mentionnés dans la section Données d'entraînement, qui sont les suivants : AllNLI, Squad, Stackexchange, NQ, HotpotQA, Fever et 5M sous-ensemble de chacun des ensembles de données Specter, S2orc, WikiAnswers. En outre, nous générons synthétiquement des triples pour créer des paires de questions-réponses de bonne qualité, des vérifications factuelles, etc. en utilisant Mixtral-8x7B-Instruct-v0.1. Pour améliorer les performances des cas d'utilisation spécifiques à IBM, nous incluons également des paires créées à partir des données de IBM Software Support et de IBM Docs.

Les hyperparamètres de formation sont le taux d'apprentissage : 2e-5; longueur maximale de la requête : 64 ; longueur maximale du passage : 512 ; étapes maximales : 5000 ; taille effective du lot : 512 ; GPUs : 1A100_80GB

Lignes de base

Pour une comparaison équitable, nous comparons avec les lignes de base suivantes :

1. BM25 (un modèle traditionnel basé sur tf-idf)

2. ELSER (un algorithme de recherche commercial fourni par Elastic)

3. all-MiniLM-l6-v2: un modèle populaire de transformateur de phrases à source ouverte. Ce modèle partage la même architecture que slate.30m.english.rtrvr, et a été entraîné sur un plus grand nombre de données sans licence commerciale. Pour plus de détails, veuillez consulter la carte modèle du visage de câlin

4. E5-base: un modèle de transformateur open-source récent avec de très bonnes performances sur le benchmark BEIR. Il s'agit d'un modèle de base, qui a la même architecture que slate.125m.english.rtrvr. [Référence : Wang et.al..., 2022 : Text Embeddings by Weakly-Supervised Contrastive Pre-training]. Carte modèle Huggingface

5. E5-small: un modèle plus petit au sein de la famille E5 open source. La dimension d'encastrement de ce modèle correspond à celle de slate.30m.rtrvr (384), mais il comporte 12 couches et est donc plus grand et légèrement plus lent. [Référence : Wang et.al..., 2022 : Text Embeddings by Weakly-Supervised Contrastive Pre-training]. Carte modèle Huggingface

6. BGE-base : un modèle de transformateur à source ouverte récent qui présente l'une des meilleures performances sur le benchmark BEIR pour une taille d'intégration de 768. Carte modèle Huggingface

7. BGE-small : un modèle de transformateur à source ouverte récent qui présente l'une des meilleures performances sur le benchmark BEIR pour la taille d'intégration 384. Carte modèle Huggingface

Nous comparons également les performances de ces modèles avec les anciennes versions des modèles d'ardoise, slate.125m.english.rtrvr-012024 et slate.30m.english.rtrvr-012024.

Notre évaluation de référence : BEIR(onglet de recherche de MTEB)

Le benchmark BEIR contient 15 tâches d'extraction de sources ouvertes évaluées dans un contexte de zéro essai. Le BEIR s'est concentré sur la diversité, y compris neuf tâches de recherche différentes : vérification des faits, prédiction des citations, recherche de questions en double, recherche d'arguments, recherche de nouvelles, réponse aux questions, recherche de tweets, RI bio-médicale et recherche d'entités. En outre, il inclut des ensembles de données provenant de divers domaines textuels, des ensembles de données qui couvrent des sujets généraux (comme Wikipedia) et des sujets spécialisés (comme les publications COVID-19), différents types de texte (articles d'actualité vs. Tweets), des ensembles de données de différentes tailles (3.6k - 15M documents), et des ensembles de données avec différentes longueurs de requêtes (longueur moyenne des requêtes entre 3 et 192 mots) et longueurs de documents (longueur moyenne des documents entre 11 et 635 mots). BEIR utilise l'indicateur Normalized Cumulative Discount Gain (en particulier, nDCG@10) pour l'évaluation.

Long NQ

Long NQ est un IBM ensemble de données conçu pour évaluer l'ensemble du pipeline RAG, basé sur un sous-ensemble de l'ensemble de données NaturalQuestions. L'ensemble de démonstration comprend 300 questions auxquelles il est possible de répondre et un corpus de 178 891 passages tirés de 2 345 documents Wikipédia. Long NQ fournit également des passages de Wikipédia en or qui sont pertinents pour chaque question. Lors de la recherche, il s'agit d'obtenir le passage en or pertinent du corpus pour chaque question.

Résultats

Figure 2. Comparaison des performances sur le benchmark BEIR (onglet de recherche MTEB)

Figure 3 Comparaison des performances sur l'ensemble de données Long NQ