AI 서비스는 생성형 AI 사용 사례의 로직을 캡처하는 데 사용할 수 있는 배포 가능한 코드 단위입니다. AI 서비스가 성공적으로 배포되면 애플리케이션에서 추론하는 데 엔드포인트를 사용할 수 있습니다.
AI 서비스로 제너레이티브 AI 애플리케이션 배포하기
Python 함수는 머신러닝 에셋을 배포하는 전통적인 방법이지만, AI 서비스는 스트리밍과 같은 제너레이티브 AI 애플리케이션을 위한 코드를 배포하는 보다 유연한 옵션을 제공합니다.
고정된 스키마로 입력해야 하는 예측 머신 러닝 모델 배포를 위한 표준 Python 함수와 달리, AI 서비스는 다양한 입력에 대한 유연성을 제공하고 사용자 정의가 가능합니다.
AI 서비스는 코드 기능을 배포할 수 있는 안전한 솔루션을 제공합니다. 예를 들어, 인증에 필요한 무기명 토큰과 같은 자격 증명은 서비스의 작업 자격 증명에서 생성되고 해당 토큰은 AI 서비스 자산에서 사용할 수 있게 됩니다. 이 토큰을 사용하여 연결 자산을 가져오고, 데이터 자산을 다운로드하는 등의 작업을 수행할 수 있습니다.
프롬프트 랩으로 AI 서비스 배포
프롬프트 랩과 같은 시각적 도구를 사용하여 표준 형식의 AI 서비스를 자동으로 생성할 수 있습니다. 그런 다음 사용 사례에 맞게 AI 서비스를 수정할 수 있습니다. 예를 들어 검색 증강 생성(RAG)을 사용하는 에셋을 배포하는 경우 프롬프트 랩을 사용하여 AI 서비스의 벡터 인덱스에서 답을 검색하는 로직을 캡처하고 AI 서비스를 배포할 수 있습니다.
자세한 내용은 프롬프트 랩으로 AI 서비스 배포하기를 참조하세요.
직접 코딩으로 AI 서비스 배포
생성형 AI 애플리케이션을 처음부터 구축할 때, AI 서비스를 사용하여 애플리케이션의 프로그래밍 로직을 캡처하고 이를 추론용 엔드포인트와 함께 배포할 수 있습니다. 예를 들어 LangChain, LlamaIndex, 등과 같은 프레임워크로 RAG 애플리케이션을 구축하는 경우, AI 서비스를 사용하여 AI 서비스의 벡터 인덱스에서 답을 검색하는 로직을 캡처하고 AI 서비스를 배포할 수 있습니다.
자세한 내용은 직접 코딩으로 AI 서비스 배포하기를 참조하세요.
자세히 알아보기
상위 주제: foundation model 자산 배포