Tarjeta modelo IBM slate-30m-english-rtrvr

Formación previa específica de la tarea

Esta etapa utiliza la infraestructura RetroMAE , para que el LM subyacente esté más orientado a la recuperación. Inicializamos nuestro LM base con slate.30m.english y continuamos con el entrenamiento previo RetroMAE , utilizando los datos de la Tabla 1. Nuestros hiperparámetros son: tasa de aprendizaje: 2e-5, número de pasos: 435000, GPU: 8 A100 (80GB) GPU. Nota: esta es nuestra LM base para las siguientes 2 etapas.

Destilación utilizando pares no supervisados y supervisados

Utilizamos un marco bi-codificador para entrenar un modelo de incrustación, como en la Figura 1. Inicializamos con el modelo entrenado previamente RetroMAE y empleamos adicionalmente la destilación de conocimientos con pares de texto <query, passage> utilizando un objetivo de pérdida contrastiva con negativos por lotes. La destilación del conocimiento entrena la distribución de la probabilidad de salida del estudiante para que coincida con la del profesor lo más cerca posible. En el contexto de los modelos de recuperador, la distribución de salida es la puntuación de similitud entre pares de texto. Específicamente, para cada par de frases <query, passage>, la distribución de las puntuaciones del profesor entre las incorporaciones de la consulta y el pasaje, es decir, la similitud coseno entre las incorporaciones, se destila en el estudiante.

El profesor utilizado para la destilación es el modelo "slate.125m.english.rtrvr” entrenado sobre los mismos datos mencionados a continuación. El profesor se forma utilizando la fusión de modelos entre dos modelos, cada uno de los cuales utiliza RetroMAE de preentrenamiento y finetuning, pero difiere en los datos de finetuning. Para obtener más detalles, consulte la tarjeta de modelo para slate.125m.english.rtrvr. El flujo de transferencia de conocimiento se muestra pictóricamente en la Figura 2.

Figura 2. Destilación de conocimientos

Extraemos pares a gran escala de varios dominios, como se indica en la sección Datos de entrenamiento. Además, también incluimos pares de alta calidad para la tarea de recuperación en los siguientes conjuntos de datos: SQuAD, pares Natural Questions, Specter, Stack Exchange (Title, Body), S2ORC, SearchQA, HotpotQA y Fever. Los hiperparámetros de destilación son: learning rate:7e-4, número de pasos: 400000, tamaño de lote efectivo: 2048, GPU: 2 A100_80GB GPU.

Líneas base

Para una comparación justa, comparamos con las líneas base siguientes:

1. BM25 (un modelo tradicional basado en tf-idf).
2. ELSER (un algoritmo de búsqueda comercial proporcionado por Elastic).
3. all-MiniLM-l6-v2: un popular modelo de transformadores de frases de código abierto. Este modelo comparte la misma arquitectura que slate.125m.english.rtvr, con una dimensión de integración más pequeña (384) y se ha entrenado en más datos sin licencias compatibles con el comercio. Para más detalles, consulte la ficha del modelo Hugging Facehttps://huggingface.co/sentence-transformers/all-MiniLM-L6-v2).
4. E5-base: un modelo de transformador de código abierto reciente con un rendimiento muy bueno en la prueba de referencia BEIR. Se trata de un modelo de tamaño base, que tiene la misma arquitectura que slate.125m.english.rtvr. [Referencia: Wang et.al., 2022: Text Embeddings de Debily-Supervisado Contrastive Pre-training]. Tarjeta modelo Huggingface (https://huggingface.co/intfloat/e5-base).
5. E5-small: un modelo más pequeño dentro de la familia E5 de código abierto. La dimensión de inclusión de este modelo coincide con la de all-minilm-l6-v2 (384), sin embargo tiene 12 capas y, por lo tanto, es más grande y ligeramente más lenta. [Referencia: Wang et.al., 2022: Text Embeddings de Debily-Supervisado Contrastive Pre-training]. Tarjeta modelo Huggingface (https://huggingface.co/intfloat/e5-small).
6. BGE-base: un modelo de transformador de código abierto reciente con el mejor rendimiento en la referencia BEIR para el tamaño de incorporación 768 (a partir de 01.20.2024). Tarjeta modelo Huggingface (https://huggingface.co/BAAI/bge-base-en-v1.5).

Nuestro índice de referencia de evaluación: BEIR (pestaña de recuperación de MTEB)

La prueba de referencia BEIR contiene 15 tareas de recuperación de código abierto evaluadas bajo un valor de disparo cero. BEIR se centró en la diversidad, incluyendo nueve tareas de recuperación diferentes: comprobación de hechos, predicción de citas, recuperación de preguntas duplicadas, recuperación de argumentos, recuperación de noticias, respuesta a preguntas, recuperación de tuits, IR bio-médica y recuperación de entidades. Además, incluye conjuntos de datos de diversos dominios de texto, conjuntos de datos que cubren temas amplios (como Wikipedia) y temas especializados (como publicaciones COVID-19 ), diferentes tipos de texto (artículos de noticias frente a Tweets), conjuntos de datos de varios tamaños (documentos3.6k - 15M ) y conjuntos de datos con diferentes longitudes de consulta (longitud media de consulta entre 3 y 192 palabras) y longitudes de documento (longitud media de documento entre 11 y 635 palabras). BEIR utiliza la métrica de ganancia de descuento acumulativo normalizado (específicamente, nDCG@10) para la evaluación.

NQ largo

Long NQ es un conjunto de datos de IBM diseñado para evaluar el conducto RAG completo, basado en un subconjunto del conjunto de datos NaturalQuestions . El conjunto de desarrolladores tiene 300 preguntas respondibles con un corpus de 178.891 pasajes de 2.345 documentos de Wikipedia. Long NQ también proporciona pasajes de Wikipedia en oro que son relevantes para cada pregunta. Durante la recuperación, la tarea es obtener el pasaje de oro relevante del corpus para cada pregunta.

Resultados

Figura 3. Comparación de rendimiento en la prueba de referencia BEIR (pestaña Recuperación de MTEB)

Figura 4. Comparación de rendimiento en el conjunto de datos Long NQ