RAG 실험 설정 사용자 지정

최적화 지표

최적의 RAG 패턴을 검색할 때 최대화할 측정 기준을 선택하십시오. 최적화 지표와 그 구현 방법에 대한 자세한 내용은 RAG 지표를 참고하세요.

• 답변 충실도는 생성된 응답이 벡터 저장소에서 검색된 컨텍스트와 얼마나 일치하는지를 측정합니다. 점수는 생성된 응답 토큰 중 벡터 저장소에서 검색된 문맥에 포함된 토큰의 수를 세는 어휘 메트릭스를 사용하여 계산됩니다. 높은 점수는 응답이 검색된 맥락을 잘 나타낸다는 것을 의미합니다. 높은 충실도 점수가 반드시 답변의 정확성을 나타내는 것은 아닙니다. 측정 기준이 어떻게 구현되는지에 대한 자세한 정보는 충실도를 참고하세요.
• 답의 정확도는 벤치마크 파일에 제공된 정답과 비교하여 생성된 답의 정확도를 측정합니다. 여기에는 검색된 맥락의 관련성과 생성된 응답의 품질이 포함됩니다. 점수는 생성된 응답에 포함된 실제 응답 토큰의 수를 세는 어휘 메트릭스를 사용하여 계산됩니다. 측정 기준이 어떻게 구현되는지에 대한 자세한 정보는 정확성을 참고하세요.
• 컨텍스트 정확도는 벡터 스토어에서 검색된 컨텍스트가 벤치마크에서 제공된 실제 컨텍스트와 어느 정도 일치하는지를 나타냅니다. 점수는 검색된 챕터들 중에서 실제 맥락의 순위에 따라 계산됩니다. 실제 상황과 가장 근접한 것이 목록의 맨 위에 있을수록 점수가 높아집니다. 이 측정 지표가 어떻게 구현되는지에 대한 자세한 정보는 [컨텍스트 정확성](최적화 지표에 대한 자세한 정보는 RAG 지표를 참조하십시오.

검색 방법

관련 데이터를 검색하는 방법을 선택합니다. 검색 방법은 문서를 필터링하고 순위를 매기는 방식이 다릅니다.

• 창 검색 방법은 원본 문서에 있는 내용에 따라 검색된 덩어리 앞뒤에 추가 덩어리를 배치하는 것입니다. 이 방법은 원래 검색된 덩어리에서 누락되었을 수 있는 더 많은 맥락을 포함하는 데 유용합니다. 창 검색은 다음과 같이 작동합니다
  • 검색 : 벡터 저장소에서 가장 관련성이 높은 문서 덩어리를 찾습니다.
  • 확장 : 발견된 각 챕터에 대해, 문맥을 제공하기 위해 주변의 챕터를 가져옵니다.
  • 각 청크는 메타데이터에 그 순서 번호를 저장합니다.
  • 청크를 검색한 후, 청크 메타데이터를 사용하여 동일한 문서에서 인접한 청크를 가져옵니다. 예를 들어, window_size 가 2라면, 그 앞에 2개의 청크를 추가하고 그 뒤에 2개의 청크를 추가합니다.
  • 병합 : 창 안에 있는 중복되는 텍스트를 결합하여 중복을 제거합니다.
  • 메타데이터 처리 : 동일한 키를 유지하고 값을 목록으로 그룹화하여 메타데이터 사전을 병합합니다.
  • 반환 : 병합된 창을 새로운 덩어리로 출력하여 원래 창을 대체합니다.
• 간단한 검색 방법으로 벡터 저장소에서 가장 관련성이 높은 덩어리를 찾습니다.

포함할 파운데이션 모델

기본적으로, RAG용 AutoAI 를 지원하는 모든 이용 가능한 기초 모델이 실험을 위해 선택됩니다. AutoAI 가 RAG 패턴 생성을 위해 고려할 기초 모델 목록을 수동으로 편집할 수 있습니다. 각 모델에 대해, 모델 세부사항을 클릭하면 모델에 대한 세부사항을 보거나 내보낼 수 있습니다.

사용 가능한 기초 모델 목록과 설명은 작업별 기초 모델을 참조하세요.

완성할 수 있는 최대 RAG 패턴

실험 단계에서 완료할 RAG 패턴의 수를 최대 20개까지 지정할 수 있습니다. 숫자가 높을수록 더 많은 패턴을 비교하고 더 높은 점수를 받은 패턴을 얻을 수 있지만, 더 많은 컴퓨팅 자원을 소비합니다.

입력 언어 일치

기본적으로 AutoAI 은 프롬프트에 사용되는 언어를 자동으로 감지하여 모델에 동일한 언어로 응답하도록 지시합니다. 입력 언어를 지원하지 않는 모델은 RAG 패턴 검색에서 우선 순위가 낮아집니다. 사용 가능한 모든 모델을 고려하고 영어로만 응답을 생성하려면 이 설정을 해제하세요.

청킹

분할 설정은 벡터 저장소에 입력되기 전에 색인된 문서가 어떻게 더 작은 조각으로 나뉘는지를 결정합니다. 데이터를 챕터별로 묶으면 문서의 해당 챕터를 검색할 때 가장 관련성이 높은 챕터를 검색할 수 있습니다. 이를 통해 생성 모델은 가장 관련성 있는 데이터만 처리할 수 있습니다.

AutoAI RAG는 Langchain의 재귀적 텍스트 분할기를 사용하여 문서를 여러 개의 덩어리로 나눕니다. 이 방법은 문서를 계층적으로 분해하는 효과를 냅니다. 요청된 분할 크기보다 작은 분할이 될 때까지 가능한 한 모든 단락(그리고 문장, 그리고 단어)을 함께 유지하려고 합니다. 재귀적 챕터링 방법에 대한 자세한 내용은 랭체인 문서의 문자별로 재귀적으로 분할된 검색을 참고하세요.

데이터를 가장 잘 분할하는 방법은 사용 사례에 따라 다릅니다. 작은 단위는 텍스트와 더 세분화된 상호작용을 가능하게 해, 관련 콘텐츠에 대한 집중적인 검색을 가능하게 하는 반면, 큰 단위는 더 많은 맥락을 제공할 수 있습니다. 챕터 나누기 사용 사례의 경우, 다음에 대한 옵션을 하나 이상 지정하십시오

• 각 데이터 덩어리에 포함될 문자 수입니다.
• 데이터를 묶기 위해 겹쳐야 하는 문자 수입니다. 숫자는 청킹 크기보다 작아야 합니다.

선택된 옵션은 실험 단계에서 탐색되고 비교됩니다.

임베딩 모델

임베딩 모델은 챕터와 쿼리를 벡터로 인코딩하여 의미적 의미를 포착하는 검색 강화 생성 솔루션에 사용됩니다. 벡터화된 입력 데이터 청크는 벡터 저장소에 수집됩니다. 쿼리가 주어지면, 벡터화된 표현이 벡터 저장소에서 관련 덩어리를 검색하는 데 사용됩니다.

AutoAI 의 RAG 실험에 사용할 수 있는 임베딩 모델 목록은 watsonx.ai 에서 지원하는 인코더 모델을 참고하세요.