작업별 사전 교육

이 단계에서는 RetroMAE 프레임워크를 사용하여 기본 LM을 보다 검색 지향적으로 만듭니다. 기본 LM을 “slate.30m.english”로 초기화하고 표 1의 데이터를 사용하여 RetroMAE 사전 학습을 계속 진행합니다. 여기에서는 데이터의 하드 레이블만 사용하는 대신 RetroMAE 인코더에서 사용하는 slate.125m.english.rtrvr의 예측도 추출합니다. 하이퍼 매개변수는 학습 속도입니다: 2e-5, 단계 수: 435000, GPU: 8 A100 (80GB) GPU.

참고: 다음 2단계에 대한 기본 LM입니다.

비지도 및 지도 쌍을 사용한 증류법

그림 1에서와 같이 임베딩 모델 학습을 위해 바이 인코더 프레임워크를 사용합니다. 사전 학습된 RetroMAE 모델로 초기화하고, 일괄 네거티브가 포함된 질문, 구절 텍스트 쌍을 사용하여 대비 손실 목표를 사용한 지식 증류를 추가로 사용합니다. 지식 증류는 학생의 출력 확률 분포를 교사의 확률 분포와 최대한 가깝게 일치하도록 학습합니다. 리트리버 모델의 맥락에서 출력 분포는 텍스트 쌍 간의 유사도 점수입니다. Specifically, for each pair of sentences < 쿼리, 구절>, the distribution of the teacher’s scores between the embeddings of 쿼리 and 통과, i.e., the cosine similarity between the embeddings, is distilled into the student.

증류에 사용된 교사는 아래에 언급된 동일한 데이터로 학습된 "slate.125m.english.rtrvr” 모델입니다. 교사 모델은 다단계 패러다임을 사용하여 훈련되었으며, RetroMAE 사전 훈련된 모델이 사전 훈련 단계에서 비지도 데이터를 본 다음 수백 단계에 걸쳐 더 깨끗하고 채굴되거나 골드 라벨이 붙은 데이터로 미세 조정되었습니다. 데이터 세트 전반의 견고성을 보장하기 위해 이 미세 조정된 모델을 동일한 데이터에 대해 다른 하이퍼 파라미터로 학습된 다른 모델과 융합했습니다. 자세한 내용은 slate.125m.english.rtrvr 모델 카드를 참조하세요.

지식 전달의 흐름은 그림 2에 나와 있습니다.

그림 2. 지식 증류

학습 데이터 섹션에서 설명한 대로 다양한 도메인에서 대규모 쌍을 마이닝합니다. 또한, 다음 데이터 세트에 대한 검색 작업을 위한 고품질 쌍도 포함되어 있습니다: SQuAD, 자연 질문, 유령, 스택 교환(제목, 본문) 쌍, S2ORC, SearchQA, HotpotQA, Fever 및 Miracl이 있습니다. 이러한 감독 데이터 세트의 경우, 이전 버전의 slate.125m.english.rtrvr 모델로 채굴된 하드 네거티브도 포함되어 있습니다. 또한 `Mixtral-8x7B-Instruct-v0.1`을 사용하여 질문-답변, 사실 확인 등의 양질의 쌍을 만들기 위해 합성적으로 트리플을 생성하기도 합니다. IBM 특정 사용 사례에 더 나은 성능을 제공하기 위해 IBM 소프트웨어 지원 데이터와 IBM Docs에서 생성된 쌍도 포함합니다.

증류 하이퍼파라미터: 학습 rate:7e-4, 단계 수: 500000, 유효 배치 크기: 2048, GPU: 4 A100_80GB GPU.

기준선

공정한 비교를 위해 다음 기준선과 비교합니다:

1. BM25(tf-idf 기반 기존 모델)

2. ELSER(Elastic에서 제공하는 상용 검색 알고리즘)

3. all-MiniLM-l6-v2: 인기있는 오픈 소스 문장 변환기 모델입니다. 이 모델은 slate.30m.english.rtrvr와 동일한 아키텍처를 공유하며 상업용 라이선스 없이 더 많은 데이터로 학습되었습니다. 자세한 내용은 허깅페이스 모델 카드를 참조하세요

4. E5-base: BEIR 벤치마크에서 매우 우수한 성능을 보이는 최신 오픈 소스 트랜스포머 모델입니다. 기본 사이즈 모델이며, slate.125m.english.rtrvr와 동일한 아키텍처를 가지고 있습니다. [참고: 왕 et.al.., 2022: 약한 감독 대비 사전 학습을 통한 텍스트 임베딩]. 허깅페이스 모델 카드

5. E5-small: 오픈 소스 E5 제품군 내의 더 작은 모델입니다. 이 모델의 임베딩 크기는 slate.30m.rtrvr(384)와 일치하지만 레이어가 12개이므로 더 크고 약간 느립니다. [참고: 왕 et.al.., 2022: 약한 감독 대비 사전 학습을 통한 텍스트 임베딩]. 허깅페이스 모델 카드

6. BGE-base: 768 임베딩 크기에 대해 BEIR 벤치마크에서 최고의 성능을 자랑하는 최신 오픈 소스 변압기 모델입니다. 허깅페이스 모델 카드

7. BGE-small: 384 임베디드 크기에서 BEIR 벤치마크에서 최고의 성능을 자랑하는 최신 오픈 소스 변압기 모델입니다. 허깅페이스 모델 카드

또한 이 모델들의 성능을 이전 버전의 슬레이트 모델인 slate.125m.english.rtrvr-012024 및 slate.30m.english.rtrvr-012024와 비교합니다.

평가 벤치마크: BEIR(MTEB의 검색 탭)

BEIR 벤치마크는 제로 샷 설정에서 평가된 15개의 오픈 소스 검색 작업으로 구성되어 있습니다. BEIR은 9가지 검색 작업을 포함해 다양성에 중점을 두었습니다: 사실 확인, 인용 예측, 중복 질문 검색, 논거 검색, 뉴스 검색, 질문 답변, 트윗 검색, 바이오-의료 IR, 기업 검색 등입니다. 또한 다양한 텍스트 도메인의 데이터 세트, 광범위한 주제(예: Wikipedia)와 전문 주제(예: COVID-19 출판물), 다양한 텍스트 유형(뉴스 기사 vs. 트윗), 다양한 크기의 데이터 세트(3.6k - 15M 문서), 다양한 쿼리 길이(평균 쿼리 길이 3~192단어) 및 문서 길이(평균 문서 길이 11~635단어)를 가진 데이터 세트 등 다양한 데이터 세트가 있습니다. BEIR은 정규화된 누적 할인 이득(구체적으로는 nDCG@10) 지표를 평가에 사용합니다.

긴 NQ

Long NQ는 전체 RAG 파이프라인을 평가하기 위해 설계된 IBM 데이터 집합으로, NaturalQuestions 데이터 집합의 하위 집합을 기반으로 합니다. 개발자 세트에는 2,345개의 Wikipedia 문서에 포함된 178,891개의 구절로 구성된 300개의 답변 가능한 질문이 있습니다. 또한 각 문제와 관련된 골드 위키백과 구절도 제공합니다. 검색하는 동안 모든 문제에 대해 말뭉치에서 관련 골드 통로를 얻는 것이 과제입니다.

결과

그림 3. BEIR 벤치마크에서의 성능 비교(MTEB 검색 탭)

그림 4. Long NQ 데이터 세트의 성능 비교