RAG 액셀러레이터와의 Q&A
RAG Accelerator를 이용한 Q&A를 통해 검색 증강 생성(RAG)을 설정하여 제공된 문서의 정보를 바탕으로 사실에 입각한 정확한 출력을 생성해 보세요.
리소스 허브에 로그인한 다음 RAG Accelerator 샘플 프로젝트로 Q&A를 만드세요.
RAG 액셀러레이터와의 Q&A는 다음과 같은 과정을 포함하는 고급 RAG 패턴과 구현을 제공합니다
- 문서 처리 : 벡터 인덱스를 생성하기 위한 문서의 변환, 처리, 색인화.
- 답변 생성 : 벡터 검색 결과를 기반으로 한 검색 기반의 질문 답변 생성.
- 입력/출력 로깅 : 질문, 검색된 덩어리, 메타데이터, 답변을 보조 로그 인덱스에 기록합니다.
- 사용자 피드백 수집: 사용자 피드백이 일치하는 입력/출력 로그 항목에 추가됩니다.
- 콘텐츠 분석 : 부정적인 사용자 피드백을 받은 답변을 개선하기 위해 개선이 필요한 특정 콘텐츠에 대한 보고서입니다.
- 인적 개입 : 전문가 프로필을 포함한 벡터 인덱스를 사용하여 만족스럽지 못한 답변에 대응할 최고의 전문가를 식별합니다.
다음 그림은 RAG Accelerator를 통한 Q&A 프로세스가 주기적으로 이루어져서 사용자 피드백에 따라 문서 내용이 업데이트되는 방식을 보여줍니다.
문서 처리
문서 처리 및 색인화를 위한 노트북은 다음 벡터 데이터베이스 중 하나에서 벡터 색인으로 문서 변환, 분할, 색인화를 자동화합니다
- watsonx.data Milvus
- watsonx Elastic Search Enterprise 또는 IBM Cloud Databases for Elasticsearch Platinum을 통한 검색.
벡터화할 문서 모음 예는 이 문서의 ZIP 파일 버전입니다. watsonx as a Service watsonx 외부에서 생성한 기존 벡터 인덱스를 다른 도구(예: Elastic 커넥터 및 파이프라인, Spark 파이프라인 또는 자체 프로세스)와 함께 실행하도록 노트북을 사용자 지정할 수 있습니다.
답변 생성
Q&A Python 를 위한 노트북은 Python 기능 코드를 정의하고, 배포 공간에 잘 정의된 URL 접미사를 붙여 배포를 자동화합니다. RAG Python 의 기능 코드는 파라미터 세트에 의해 구성됩니다. 이 기능은 질문을 입력으로 받아 벡터 인덱스를 쿼리하여 질문에 대한 답변과 가장 관련성이 높은 청크, 그리고 원본 문서에 대한 링크를 포함한 청크 메타데이터를 검색합니다. 이 기능은 가장 관련성이 높은 덩어리를 구성된 프롬프트 템플릿에 추가하고, 생성된 답변, 계산된 충실도 점수, 메타데이터와 함께 검색된 덩어리를 반환합니다.
입력/출력 로깅
RAG Python 기능을 사용한 Q&A의 각 호출에 대해, 프롬프트 입력 및 출력 텍스트의 로깅을 활성화할 수 있습니다. 모든 개인 식별 정보는 로그인 전에 문자열에서 제거됩니다. 로그 인덱스는 벡터 데이터베이스의 문서에 대한 벡터 인덱스와 분리되어 있습니다.
입력/출력 로깅이 활성화되어 있는 경우, 사용자가 질문을 입력할 때 미리 입력된 질문으로 완성 제안 기능을 활성화할 수 있습니다. 사용자가 최근에 답변한 질문에 근거하여 완료를 수락하면, 답변이 로그 인덱스에서 검색되므로 시간과 GPU 추론 및 검색 비용이 절약됩니다.
사용자 피드백 수집
사용자 피드백은 이해관계자들이 솔루션이 사용자에게 얼마나 잘 작동하는지, 사용자가 어떤 주제에 관심을 갖고 있는지, 그리고 솔루션이 콘텐츠에 기반한 질문에 얼마나 잘 답변하는지 이해하는 데 도움이 됩니다. 답변에 대한 사용자 피드백을 수집하기 위해 RAG Python 기능을 사용하여 Q&A를 다시 호출하도록 애플리케이션을 구성할 수 있습니다. 그 다음, 만족도 점수와 선택적 코멘트에 대한 사용자 피드백이 후속 분석을 위해 Q&A 로그 기록에 추가됩니다.
컨텐츠 분석
사용자 피드백 분석 노트북을 구성하고 직접 실행하거나 작업으로 실행할 수 있습니다. 노트북은 지정된 시간 간격 또는 시작일과 종료일에 대한 로그 데이터를 쿼리합니다. 노트북은 로그 데이터를 데이터 프레임에 로드하고 BERTopic 또는 Watson 자연어 처리의 비지도 주제 탐지를 사용하여 답변을 생성하기 위해 가장 자주 검색된 문서 주제를 결정합니다. 노트북은 주제별로 사용자 만족도를 분석하고 시각화하며, 낮은 점수를 받은 답변에 대한 질문, 답변, 사용자 피드백 코멘트를 포함합니다. 이러한 통찰력을 바탕으로 이해관계자와 지식 콘텐츠 소유자는 더 나은 답변을 이끌어낼 수 있는 콘텐츠 개선을 추진할 수 있습니다.
인간의 개입
사용자가 답변에 만족하지 못하는 경우, 더 나은 답변을 제공할 수 있는 전문가에게 연락하도록 애플리케이션을 구성할 수 있습니다. 전문가 프로파일링 노트북을 구성하여 전문가 프로파일 문서를 처리하고 그 정보를 기반으로 색인을 만들 수 있습니다. 예를 들어, 응용 프로그램은 전문가에게 질문을 전달하고, 사용자에게 전문가의 답변을 보내며, 지식 기반 소유자에게 가능한 콘텐츠 개선에 대해 알릴 수 있습니다.
자세히 알아보기
상위 주제: AI 솔루션 가속기