IBM slate-125m-english-rtrvr-v2 modelo de tarjeta

Formación previa específica

Esta etapa utiliza el marco RetroMAE, para que nuestro LM subyacente esté más orientado a la recuperación. Inicializamos nuestro LM base con slate.125m.english y continuamos con RetroMAE pre-entrenamiento, utilizando los datos de la Tabla 1. Nuestros hiperparámetros son: velocidad de aprendizaje: 2e-5, número de pasos: 190000, GPUs: 24 A100 40GB.

Nota: esta es nuestra LM base para las 2 etapas siguientes.

Ajuste fino con datos no supervisados a gran escala

Este modelo se inicializa con el modelo preentrenado RetroMAE y se entrena de la siguiente manera.

Para entrenar un modelo de incrustación, utilizamos un marco de bicodificación, como en la figura 1. El RetroMAE LM preentrenado se ajusta con <query, passage> pares de textos utilizando un objetivo de pérdida contrastiva. Extraemos pares a gran escala de varios dominios, como se indica en la Tabla 2. El modelo se entrena con diversos pares, incluidas tareas de clasificación como NLI (Natural Language Inference), que consiste en emparejar una premisa con la hipótesis correspondiente. Nuestros hiperparámetros son: velocidad de aprendizaje: 2e-4; número de pasos: 35000; GPUs: 8 A100_80GB, tamaño efectivo del lote: 16k pares

Ajuste fino con datos supervisados a pequeña escala con negativos duros

Por último, el modelo se perfecciona con pares de entrenamiento supervisado de alta calidad, con supervisión procedente de minería negativa dura, para la tarea de recuperación. Los puntos de control intermedios del modelo se utilizan de forma iterativa para extraer negativos duros específicos del conjunto de datos, que luego se utilizan para el ajuste fino supervisado. Este proceso tiene por objeto hacer que el modelo sea más robusto al permitirle aprender de sus propios errores y ayuda a estabilizarse con datos mucho más pequeños.

Afinamos el modelo utilizando un subconjunto de conjuntos de datos (encontrados mediante la realización de experimentos de validación en un conjunto de datos retenido) mencionados en la sección Datos de entrenamiento, que son los siguientes: AllNLI, Squad, Stackexchange, NQ, HotpotQA, Fever y 5M subconjunto de cada uno de Specter, S2orc, WikiAnswers. Además, también generamos triples sintéticamente para crear pares de buena calidad de pregunta-respuesta, verificación de hechos, etc. utilizando Mixtral-8x7B-Instruct-v0.1. Para proporcionar un mejor rendimiento para los casos de uso específicos de IBM, también incluimos pares creados a partir de datos de IBM Software Support y IBM Docs.

Los hiperparámetros de entrenamiento son tasa de aprendizaje: 2e-5; longitud máxima de consulta: 64; longitud máxima de pasaje: 512; pasos máximos: 5000; tamaño efectivo del lote: 512; GPUs: 1A100_80GB

Líneas base

Para que la comparación sea justa, nos comparamos con las siguientes líneas de base:

1. BM25 (un modelo tradicional basado en tf-idf)

2. ELSER (un algoritmo de búsqueda comercial proporcionado por Elastic)

3. all-MiniLM-l6-v2: un popular modelo de transformadores de sentencias de código abierto. Este modelo comparte la misma arquitectura que slate.30m.english.rtrvr, se ha entrenado con más datos sin licencias comerciales. Para más detalles, consulte la ficha del modelo huggingface

4. E5-base: un reciente modelo de transformador de código abierto con muy buen rendimiento en el benchmark BEIR. Se trata de un modelo de tamaño base, que tiene la misma arquitectura que slate.125m.english.rtrvr. [Referencia: Wang et.al., 2022: Text Embeddings by Weakly-Supervised Contrastive Pre-training]. Tarjeta modelo Huggingface

5. E5-small: un modelo más pequeño dentro de la familia E5 de código abierto. La dimensión de incrustación de este modelo coincide con la de slate.30m.rtrvr (384) sin embargo tiene 12 capas, y por lo tanto es más grande y ligeramente más lento. [Referencia: Wang et.al., 2022: Text Embeddings by Weakly-Supervised Contrastive Pre-training]. Tarjeta modelo Huggingface

6. BGE-base: un reciente modelo de transformador de código abierto con uno de los mejores rendimientos en la prueba de referencia BEIR para el tamaño de incrustación 768. Tarjeta modelo Huggingface

7. BGE-small: un reciente modelo de transformador de código abierto con uno de los mejores resultados en la prueba de referencia BEIR para el tamaño de incrustación 384. Tarjeta modelo Huggingface

También comparamos el rendimiento de estos modelos con las versiones antiguas de los modelos de pizarra, slate.125m.english.rtrvr-012024 y slate.30m.english.rtrvr-012024.

Nuestra referencia de evaluación: BEIR(ficha de recuperación de MTEB)

La referencia BEIR consta de 15 tareas de recuperación de código abierto evaluadas en un entorno de disparo cero. BEIR se centró en la Diversidad, incluyendo nueve tareas de recuperación diferentes: Comprobación de hechos, predicción de citas, recuperación de preguntas duplicadas, recuperación de argumentos, recuperación de noticias, respuesta a preguntas, recuperación de tweets, RI biomédica y recuperación de entidades. Además, incluye conjuntos de datos de diversos dominios textuales, conjuntos de datos que abarcan temas amplios (como Wikipedia) y temas especializados (como COVID-19), diferentes tipos de texto (artículos de noticias frente a Tweets), conjuntos de datos de diferentes tamaños (3.6k - 15M documentos), y conjuntos de datos con diferentes longitudes de consulta (longitud media de consulta entre 3 y 192 palabras) y longitudes de documento (longitud media de documento entre 11 y 635 palabras). BEIR utiliza la métrica de ganancia acumulada normalizada de descuento (en concreto, nDCG@10) para la evaluación.

Largo NQ

Long NQ es un conjunto de datos IBM diseñado para evaluar toda la cadena RAG, basado en un subconjunto del conjunto de datos NaturalQuestions. El dev set tiene 300 preguntas con respuesta y un corpus de 178.891 pasajes de 2.345 documentos de Wikipedia. Long NQ también proporciona pasajes de Wikipedia de oro que son relevantes para cada pregunta. Durante la recuperación, la tarea consiste en obtener el pasaje de oro pertinente del corpus para cada pregunta.

Resultados

Figura 2. Comparación del rendimiento en la prueba de referencia BEIR (pestaña de recuperación MTEB)

Figura 3. Comparación de resultados en el conjunto de datos Long NQ