작업별 사전 교육

이 단계에서는 기본 LM을 보다 검색 지향적으로 만들기 위해 RetroMAE 프레임워크를 사용합니다. 표 1의 데이터를 사용하여 slate.125m.english로 기본 LM을 초기화하고 RetroMAE 사전 학습을 계속 진행합니다. 하이퍼 매개변수는 학습률입니다: 2e-5, 단계 수: 190000, GPU: 24 A100 40GB.

참고: 다음 2단계에 대한 기본 LM입니다.

대규모 비지도 데이터로 미세 조정하기

이 모델은 사전 학습된 모델인 RetroMAE로 초기화되며 다음과 같이 학습됩니다.

그림 1에서와 같이 임베딩 모델 학습을 위해 바이 인코더 프레임워크를 사용합니다. RetroMAE 사전 학습된 LM은 <query, passage> 텍스트 쌍으로 대비 손실 목표를 사용하여 미세 조정합니다. 표 2에 표시된 것처럼 다양한 도메인에서 대규모 쌍을 채굴합니다. 이 모델은 전제를 해당 가설과 일치시키는 NLI(자연어 추론)와 같은 분류 작업을 포함하여 다양한 쌍으로 학습됩니다. 하이퍼 매개변수는 학습률입니다: 2e-4; 단계 수: 35000; GPU: 8 A100_80GB, 유효 배치 크기: 16k 쌍

하드 네거티브가 있는 소규모 감독 데이터로 미세 조정하기

마지막으로, 검색 작업을 위해 하드 네거티브 마이닝을 통해 감독을 받는 고품질 감독 훈련 쌍으로 모델을 미세 조정합니다. 중간 모델 체크포인트는 반복적으로 데이터 세트별 하드 네거티브를 마이닝하는 데 사용되며, 이후 감독된 미세 조정에 사용됩니다. 이 프로세스는 모델이 스스로 실수를 통해 학습하게 함으로써 모델을 더욱 견고하게 만들고 훨씬 적은 데이터로 안정화하는 데 도움이 됩니다.

학습 데이터 섹션에서 언급한 데이터 세트의 하위 집합(보류된 데이터 세트에 대한 검증 실험을 수행하여 찾은)을 사용하여 다음과 같이 모델을 미세 조정합니다: AllNLI, Squad, Stackexchange, NQ, HotpotQA, Fever 및 5M Specter, S2orc, WikiAnswers 각각에서 하위 집합을 사용합니다. 또한 Mixtral-8x7B-Instruct-v0.1을 사용하여 질문-답변, 사실 확인 등의 양질의 쌍을 만들기 위해 합성적으로 트리플을 생성하기도 합니다. IBM 특정 사용 사례에 더 나은 성능을 제공하기 위해 IBM 소프트웨어 지원 데이터와 IBM Docs에서 생성된 쌍도 포함합니다.

학습 하이퍼파라미터는 학습 속도입니다: 2e-5; 최대 쿼리 길이: 64; 최대 통로 길이: 512; 최대 단계: 5000; 유효 배치 크기: 512; GPU: 1A100_80GB

기준선

공정한 비교를 위해 다음 기준선과 비교합니다:

1. BM25 (tf-idf 기반 기존 모델)

2. ELSER(Elastic에서 제공하는 상용 검색 알고리즘)

3. all-MiniLM-l6-v2: 인기있는 오픈 소스 문장 변환기 모델입니다. 이 모델은 slate.30m.english.rtrvr와 동일한 아키텍처를 공유하며 상업용 라이선스 없이 더 많은 데이터로 학습되었습니다. 자세한 내용은 huggingface 모델 카드를 참조하세요.

4. E5-base: BEIR 벤치마크에서 매우 우수한 성능을 보이는 최신 오픈 소스 트랜스포머 모델입니다. 기본 사이즈 모델이며, slate.125m.english.rtrvr와 동일한 아키텍처를 가지고 있습니다. [참고: 왕 et.al.., 2022: 약한 감독 대비 사전 학습을 통한 텍스트 임베딩]. 허깅페이스 모델 카드

5. E5-small: 오픈 소스 E5 제품군 내의 더 작은 모델입니다. 이 모델의 임베딩 크기는 slate.30m.rtrvr(384)와 일치하지만 레이어가 12개이므로 더 크고 약간 느립니다. [참고: 왕 et.al.., 2022: 약한 감독 대비 사전 학습을 통한 텍스트 임베딩]. 허깅페이스 모델 카드

6. BGE-base: 768 임베딩 크기에 대해 BEIR 벤치마크에서 최고의 성능을 자랑하는 최신 오픈 소스 변압기 모델입니다. 허깅페이스 모델 카드

7. BGE-small: 384 임베디드 크기에서 BEIR 벤치마크에서 최고의 성능을 자랑하는 최신 오픈 소스 변압기 모델입니다. 허깅페이스 모델 카드

또한 이 모델들의 성능을 이전 버전의 슬레이트 모델인 slate.125m.english.rtrvr-012024 및 slate.30m.english.rtrvr-012024와 비교하기도 합니다.

평가 기준: BEIR( MTEB 검색 탭 )

BEIR 벤치마크는 제로 샷 설정에서 평가된 15개의 오픈 소스 검색 작업으로 구성되어 있습니다. BEIR은 9가지 검색 작업을 포함해 다양성에 중점을 두었습니다: 팩트 체크, 인용 예측, 중복 질문 검색, 논거 검색, 뉴스 검색, 질문 답변, 트윗 검색, 바이오-의료 IR, 기업 검색 등입니다. 또한 다양한 텍스트 도메인의 데이터 세트, 광범위한 주제(예: Wikipedia)와 전문 주제(예: COVID-19 출판물), 다양한 텍스트 유형(뉴스 기사 vs. 트윗), 다양한 크기의 데이터 세트(3.6k - 15M 문서), 쿼리 길이(평균 쿼리 길이 3~192단어) 및 문서 길이(평균 문서 길이 11~635단어)가 다른 데이터 세트 등 다양한 데이터 세트가 있습니다. BEIR은 정규화된 누적 할인 이득(구체적으로는 nDCG@10) 메트릭을 사용하여 평가합니다.

긴 NQ

Long NQ는 전체 RAG 파이프라인을 평가하기 위해 설계된 IBM 데이터 집합으로, NaturalQuestions 데이터 집합의 하위 집합을 기반으로 합니다. 개발자 세트에는 2,345개의 Wikipedia 문서에 포함된 178,891개의 구절로 구성된 300개의 답변 가능한 질문이 있습니다. 또한 각 문제와 관련된 골드 위키백과 구절도 제공합니다. 검색하는 동안 모든 문제에 대해 말뭉치에서 관련 골드 통로를 얻는 것이 과제입니다.

결과

그림 2. BEIR 벤치마크에서의 성능 비교(MTEB 검색 탭)

그림 3. Long NQ 데이터 세트의 성능 비교