RAG 패턴 저장하기
검색-증강 생성(RAG) 실험 파이프라인을 저장하면 RAG 패턴을 사용하여 색인, 검색, 생성에 사용할 수 있는 노트북이 자동으로 생성됩니다.
RAG 패턴을 자동 생성된 노트북으로 저장하기
실험을 실행한 후에는 최적화된 지표에 대한 성능에 따라 순위표에서 생성된 패턴의 순위를 검토할 수 있습니다. 패턴이 마음에 들면 이를 저장해 프로젝트 에셋으로 저장된 노트북을 하나 또는 두 개 생성할 수 있습니다. Milvus 를 실험적으로 만들면, AI 자산으로 즉시 배포할 수 있는 옵션도 있습니다.
저장된 RAG 패턴에 대해 생성되는 노트북은 다음과 같이 실험에 사용된 벡터 스토어에 따라 달라집니다:
- 인덱스 노트북은 문서 컬렉션의 벡터 인덱스를 채우고, 업데이트하고, 유지 관리합니다. 모든 AutoAI RAG 패턴은 인덱싱 노트북을 생성할 수 있습니다.
- 추론 노트북은 증강 검색 기능을 통해 대규모 언어 모델에 대한 추론을 위한 엔드포인트를 제공합니다. Milvus 데이터베이스를 벡터 저장소로 사용하는 실험만이 추론 노트북을 생성합니다.
Milvus 실험을 위해, AI 서비스는 파이프라인을 패키징하여 즉시 배포 공간에 배포합니다. 여기서 엔드포인트에 대해 추론할 수 있습니다.
인덱싱 및 추론 노트북 생성하기
파이프라인을 검토한 후, 다음 단계에 따라 파이프라인을 저장하고 관련 노트북을 생성하세요.
- 실험 순위표에서 파이프라인의 이름을 클릭하여 세부 정보를 확인합니다.
- 저장 을 클릭하십시오. 패널에는 자동 생성된 노트북이 나열됩니다. 예를 들어, 다음 이미지는 인메모리 크로마 데이터베이스를 벡터 저장소로 사용하여 만든 패턴의 저장 패널을 보여줍니다.
- 작성을 클릭하십시오.
- 연결된 프로젝트에서 노트북을 열어 코드를 검토하거나 실행하세요. 예를 들어, 인덱싱 노트북은 다음과 같습니다:
노트북을 검토하거나 인증 자격 증명을 추가해 노트북을 실행할 수 있습니다.
색인 노트북 검토하기
인덱스 노트북에는 문서 컬렉션의 벡터 데이터베이스 인덱스를 구축하기 위한 Python 코드가 포함되어 있습니다.
노트북에는 주석이 달려 있어 단계와 코드를 검토할 수 있습니다:
- 벡터화할 데이터 검색
- 데이터 청크
- 임베딩 만들기
- 벤치마크 데이터 읽기
- 벤치마크 데이터를 사용하여 검색 품질 평가하기
추론 노트북 검토하기
추론 노트북에는 다음과 같은 Python 코드가 포함되어 있습니다:
- 각 사용자 쿼리에 대해 색인된 문서에서 관련 구절을 검색합니다
- 검색된 구절을 대규모 언어 모델에 공급하여 생성된 응답에 사용하여 각 사용자 쿼리에 대한 응답을 생성합니다
노트북에는 주석이 달려 있어 단계와 코드를 검토할 수 있습니다:
- 실험에서 확인된 RAG 패턴을 사용하여 추론 Python 함수 빌드하기
- 함수를 추론 엔드포인트로 배포하기
- 생성된 응답의 입력으로 관련 구절 검색 테스트하기
추론 노트북을 실행하여 RAG 패턴을 사용하여 질문에 대한 답을 검색하고 생성하세요.
RAG 패턴을 배포 가능한 AI 서비스로 저장
RAG 패턴을 배포 가능한 AI 서비스로 저장할 수 있습니다. 인공지능 서비스:
- Python 배포 가능한 RAG 패턴의 논리를 포착하는 함수입니다.
- 프로젝트 자산을 생성합니다.
- 선택적으로 자산의 사본을 배포 공간으로 승격시키고 배포를 생성하여 엔드포인트에 액세스하고 패턴을 추론할 수 있도록 합니다.
AI 서비스를 생성하고 배포하려면:
- RAG 패턴의 경우, 다른 이름으로 저장을 선택합니다.
- 목표를 검색 및 생성 으로 선택합니다.
- 자산 유형으로 AI 서비스를 선택합니다.
- 배포 공간에 프로모션과 AI 서비스( depl0y ) 를 선택합니다.
- 만들기 및 배포 를 클릭합니다.
- 기존 배치 영역을 선택하거나 새로 작성하십시오.
배포 과정이 완료되면, 배포 이름을 클릭하여 테스트용 AI 서비스를 엽니다. 배포에서 다음을 수행할 수 있습니다:
- 애플리케이션에서 RAG 패턴을 사용하려면 API 참조 탭 에서 엔드포인트와 코드 조각을 가져옵니다.
- 테스트 탭으로 전환하여 RAG 패턴에 사용할 새로운 질문을 JSON 형식으로 입력하거나 업로드합니다. 평가 문제에서 사용한 것과 동일한 JSON 형식을 사용하되, 답은 제공하지 마십시오.
자세한 정보는 AI 서비스 배포를 참고하세요
자세히 알아보기
Prompt Lab 에서 이 실험의 색인된 문서를 사용하여 기초 모델에 대한 프롬프트를 작성하십시오. AutoAI 의 Rag 색인 사용을 참조하여 문서와 대화하세요.
상위 주제: RAG 실험 만들기