IBM slate-30m-english-rtrvr-v2 tarjeta modelo

Formación previa específica

Esta etapa utiliza el marco RetroMAE, para que nuestro LM subyacente esté más orientado a la recuperación. Inicializamos nuestro LM base con “slate.30m.english” y continuamos con RetroMAE pre-entrenamiento, utilizando los datos de la Tabla 1. Aquí, en lugar de utilizar únicamente las etiquetas duras de los datos, también destilamos las predicciones del codificador RetroMAE utilizado por slate.125m.english.rtrvr. Nuestros hiperparámetros son: velocidad de aprendizaje: 2e-5, número de pasos: 435000, GPUs: 8 A100 (80GB) GPUs.

Nota: esta es nuestra LM base para las 2 etapas siguientes.

Destilación por pares supervisada y no supervisada

Para entrenar un modelo de incrustación, utilizamos un marco de bicodificación, como en la figura 1. We initialize with the RetroMAE pre-trained model, and further employ Knowledge Distillation with <consulta, pasaje> text pairs using a pérdida por contraste objective with in-batch negatives. La destilación de conocimientos entrena la distribución de probabilidades de salida del alumno para que se ajuste lo más posible a la del profesor. En el contexto de los modelos recuperadores, la distribución de salida son las puntuaciones de similitud entre pares de texto. En concreto, para cada par de frases < consulta, pasaje>, la distribución de las puntuaciones del profesor entre las incrustaciones de consulta y paso, es decir, la similitud coseno entre las incrustaciones, se destila en el alumno.

El maestro utilizado para la destilación es el modelo "slate.125m.english.rtrvr” entrenado en los mismos datos mencionados a continuación. El modelo del profesor se entrenó utilizando un paradigma multietapa en el que un modelo RetroMAE preentrenado vio datos no supervisados en la etapa de preentrenamiento, y luego se afinó en datos más limpios, minados o etiquetados con oro durante unos cientos de pasos. Para garantizar la solidez de los conjuntos de datos, este modelo ajustado se fusionó con otro modelo entrenado con diferentes hiperparámetros en los mismos datos. Para más detalles, consulte la slate.125m.english.rtrvr.

El flujo de transferencia de conocimientos se muestra en la figura 2.

Figura 2. Destilación de conocimientos

Extraemos pares a gran escala de varios dominios, como se indica en la sección Datos de entrenamiento. Además, también incluimos pares de alta calidad para la tarea de recuperación en los siguientes conjuntos de datos: SQuAD, Natural Questions, Specter, Stack Exchange (Title, Body) pairs, S2ORC, SearchQA, HotpotQA, Fever, y Miracl. Para estos conjuntos de datos supervisados, también incluimos Hard Negatives extraídos con una versión anterior del modelo slate.125m.english.rtrvr. Además, también generamos triplas sintéticamente para crear pares de buena calidad de pregunta-respuesta, verificación de hechos, etc. utilizando `Mixtral-8x7B-Instruct-v0.1`. Para proporcionar un mejor rendimiento para los casos de uso específicos de IBM, también incluimos pares creados a partir de datos de IBM Software Support y IBM Docs.

Los hiperparámetros de destilación son: aprendizaje rate:7e-4, número de pasos: 500000, tamaño efectivo del lote: 2048, GPUs: 4 A100_80GB GPUs.

Líneas base

Para que la comparación sea justa, nos comparamos con las siguientes líneas de base:

1. BM25 (un modelo tradicional basado en tf-idf)

2. ELSER (un algoritmo de búsqueda comercial proporcionado por Elastic)

3. all-MiniLM-l6-v2: un popular modelo de transformadores de sentencias de código abierto. Este modelo comparte la misma arquitectura que slate.30m.english.rtrvr, se ha entrenado con más datos sin licencias comerciales. Para más detalles, consulte la ficha del modelo huggingface

4. E5-base: un reciente modelo de transformador de código abierto con muy buen rendimiento en el benchmark BEIR. Se trata de un modelo de tamaño base, que tiene la misma arquitectura que slate.125m.english.rtrvr. [Referencia: Wang et.al., 2022: Text Embeddings by Weakly-Supervised Contrastive Pre-training]. Tarjeta modelo Huggingface

5. E5-small: un modelo más pequeño dentro de la familia E5 de código abierto. La dimensión de incrustación de este modelo coincide con la de slate.30m.rtrvr (384) sin embargo tiene 12 capas, y por lo tanto es más grande y ligeramente más lento. [Referencia: Wang et.al., 2022: Text Embeddings by Weakly-Supervised Contrastive Pre-training]. Tarjeta modelo Huggingface

6. BGE-base: un reciente modelo de transformador de código abierto con uno de los mejores rendimientos en la prueba de referencia BEIR para el tamaño de incrustación 768. Tarjeta modelo Huggingface

7. BGE-small: un reciente modelo de transformador de código abierto con uno de los mejores rendimientos en la prueba de referencia BEIR para el tamaño de incrustación 384. Tarjeta modelo Huggingface

También comparamos el rendimiento de estos modelos con las versiones antiguas de los modelos de pizarra, slate.125m.english.rtrvr-012024 y slate.30m.english.rtrvr-012024.

Nuestra referencia de evaluación: BEIR(ficha de recuperación de MTEB)

La referencia BEIR consta de 15 tareas de recuperación de código abierto evaluadas en un entorno de disparo cero. BEIR se centró en la Diversidad, incluyendo nueve tareas de recuperación diferentes: Comprobación de hechos, predicción de citas, recuperación de preguntas duplicadas, recuperación de argumentos, recuperación de noticias, respuesta a preguntas, recuperación de tweets, RI biomédica y recuperación de entidades. Además, incluye conjuntos de datos de diversos dominios textuales, conjuntos de datos que abarcan temas amplios (como Wikipedia) y temas especializados (como COVID-19), diferentes tipos de texto (artículos de noticias frente a Tweets), conjuntos de datos de diferentes tamaños (3.6k - 15M documentos), y conjuntos de datos con diferentes longitudes de consulta (longitud media de consulta entre 3 y 192 palabras) y longitudes de documento (longitud media de documento entre 11 y 635 palabras). BEIR utiliza la métrica de ganancia acumulada normalizada de descuento (en concreto, nDCG@10) para la evaluación.

Largo NQ

Long NQ es un conjunto de datos IBM diseñado para evaluar el proceso RAG completo, basado en un subconjunto del conjunto de datos NaturalQuestions. El dev set tiene 300 preguntas con respuesta y un corpus de 178.891 pasajes de 2.345 documentos de Wikipedia. Long NQ también proporciona pasajes de Wikipedia de oro que son relevantes para cada pregunta. Durante la recuperación, la tarea consiste en obtener el pasaje de oro pertinente del corpus para cada pregunta.

Resultados

Figura 3. Comparación del rendimiento en la prueba de referencia BEIR (pestaña de recuperación MTEB)

Figura 4. Comparación de resultados en el conjunto de datos Long NQ