프롬프트 랩을 사용하여 검색 증강 생성(RAG)을 사용하는 생성형 AI 애플리케이션을 만들 때 빠른 경로 또는 배포 노트북을 사용하여 애플리케이션을 AI 서비스로 배포할 수 있습니다.
프로세스 개요
다음 그래픽은 프롬프트 랩을 사용하여 AI 서비스를 배포하는 두 가지 방법을 보여줍니다:
- 빠른 경로를 사용하여 직접 홍보하고 배포할 수 있습니다.
- 배포 노트북을 사용합니다.
프롬프트 랩에서 벡터 인덱스에 연결을 추가하여 RAG 애플리케이션을 만들 수 있습니다. AI 서비스를 배포하려면 빠른 경로를 사용하여 AI 서비스를 배포 공간으로 직접 승격하고 온라인 배포를 만들 수 있습니다.
또는 사용 사례에 따라 코드를 사용자 지정하는 데 사용할 수 있는 배포 노트북에 작업을 저장할 수도 있습니다. 배포 노트북에는 AI 서비스를 만들고 배포하기 위해 자동 생성된 코드가 포함되어 있습니다. AI 서비스는 유사도 검색을 실행하여 쿼리와 일치하는 문서를 계산하고 쿼리 결과를 사용하여 모델을 추론하기 위한 로직을 캡처합니다. AI 서비스에는 배포 가능한 코드 단위인 생성 기능도 포함되어 있습니다. 생성 기능은 배포 공간으로 승격되어 배포를 생성합니다.
배포는 다른 애플리케이션에서 액세스할 수 있는 REST API 엔드포인트로 노출됩니다. 배포된 AI 서비스를 추론에 사용하기 위해 REST API 엔드포인트에 요청을 보낼 수 있습니다. 배포된 AI 서비스는 요청을 처리하고 응답을 반환합니다.
프롬프트 랩에서 AI 서비스를 배포하기 위한 작업
다음은 AI 서비스를 만들고, 배포하고, 관리하기 위해 따라야 하는 단계입니다:
- 배포 방법을 선택합니다: 빠른 경로 또는 배포 노트북을 사용하여 프롬프트 랩에서 AI 서비스를 만들고 배포할 수 있습니다. 사용 사례에 가장 적합한 방법을 선택하세요.
- AI 서비스 배포 테스트하기: 배포된 AI 서비스를 테스트하여 온라인 추론 또는 일괄 채점을 수행합니다.
- AI 서비스를 관리합니다: 배포 세부 정보에 액세스하고 업데이트합니다. 사용자 인터페이스에서 또는 프로그래밍 방식으로 배포를 확장하거나 삭제합니다.
빠른 경로로 AI 서비스 배포
프롬프트 랩을 사용하여 문서와 채팅하고 벡터 인덱스를 제공하여 RAG 애플리케이션을 구축할 수 있습니다. 빠른 경로를 사용하여 작업을 AI 서비스로 배포하면 RAG 애플리케이션의 로직이 자동으로 AI 서비스 자산에 캡처되고 자산에 대한 온라인 배포가 자동으로 만들어집니다.
자세한 내용은 빠른 경로로 AI 서비스 배포하기를 참조하세요.
배포 노트북으로 AI 서비스 배포하기
RAG 애플리케이션의 프로그래밍 로직을 사용자 지정하려면 프롬프트 랩을 사용하여 배포 노트북에 작업을 저장할 수 있습니다. 배포 노트북에 작업을 저장하면 watsonx.ai 자동으로 배포 노트북을 생성하여 AI 서비스에서 RAG 애플리케이션의 로직을 캡처합니다.
배포 노트북에는 AI 서비스 자산을 배포 공간으로 승격하고 자산에 대한 배포를 생성하기 위해 자동 생성된 코드가 포함되어 있습니다. 배포 노트북을 편집하여 사용 사례에 맞게 온라인 배포 대신 AI 서비스 자산을 배포하는 일괄 배포를 만드는 등 사용자 지정할 수 있습니다.
자세한 내용은 노트북으로 AI 서비스 배포하기를 참조하세요.
자세히 알아보기
상위 주제: AI 서비스 배포