제너레이티브 AI 에셋 배포
제너레이티브 AI 에셋을 배포하여 프로덕션에 사용하고 배포된 에셋을 모니터링합니다.
제너레이티브 AI 애플리케이션을 위한 배포 가능한 에셋 유형
watsonx.ai 사용하여 생성 AI 애플리케이션에 다음 에셋을 배포할 수 있습니다:
프롬프트 템플릿 배포
프롬프트 템플리트를 프로젝트 자산으로 저장한 후 배치 영역으로 승격할 수 있습니다. 배포 공간에서 프롬프트 템플릿을 프로덕션에 배포하고 추론을 위한 엔드포인트를 가져올 수 있습니다.
watsonx.governance 서비스가 있는 경우 통제 요구사항을 충족하기 위해 프롬프트 템플리트에 대한 배치 세부사항을 캡처하고 추적할 수도 있습니다.
자세한 내용은 프롬프트 템플릿 배포하기를 참조하세요.
AI 서비스 배포
AI 서비스는 검색 증강 생성(RAG)과 같은 생성적 AI 활용 사례의 논리를 포착하는 배치 가능한 코드 단위입니다. AI 서비스가 성공적으로 배포되면 애플리케이션에서 추론하는 데 엔드포인트를 사용할 수 있습니다.
에이전트 랩(Agent Lab), 웜스( Prompt Lab ), 웜스( AutoAI )와 같은 시각적 도구를 사용하여 복잡한 생성적 AI 솔루션을 배포하면 AI 서비스가 자동으로 생성됩니다. 예를 들어, 에이전트 랩(Agent Lab)이나 에이전트 생성 AI( Prompt Lab )를 사용하여 에이전트 또는 생성 AI 솔루션을 구축하고 배포하는 경우, 이 도구는 솔루션의 복잡성을 자동으로 감지하여 올바른 유형의 배포 자산을 제시합니다.
Prompt Lab 에서 저장된 프롬프트를 생성하고 배포하는 데 프롬프트 템플릿을 사용할 수 있지만, RAG와 같은 복잡한 사용 사례에 대한 생성적 AI 애플리케이션을 배포하는 데는 사용할 수 없습니다.
이러한 복잡한 사용 사례를 기반으로 생성적 AI 애플리케이션을 코딩하기로 선택한 경우, AI 서비스를 생성하고 특정 요구 사항을 충족하는지 확인해야 합니다. watsonx.ai 의 REST API 또는 Python 클라이언트 라이브러리를 사용하여 프로그래밍 방식으로 AI 서비스를 배포할 수 있습니다. AI 서비스를 배포한 후에는 추론을 위해 엔드포인트를 사용할 수 있습니다.
자세한 내용은 AI 서비스 배포하기를 참조하세요.
튜닝된 모델 배포
기초 모델을 조정하고 조정된 모델을 프로젝트 자산으로 저장한 후, 배포 공간으로 승격시킬 수 있습니다. 배포 공간에서 튜닝된 모델을 테스트하고 추론을 위한 엔드포인트를 얻을 수 있습니다.
자세한 내용은 튜닝된 모델 배포하기를 참고하세요.
사용자 지정 파운데이션 모델 배포
IBM 선별한 파운데이션 모델로 작업하는 것 외에도 자체 파운데이션 모델을 업로드하고 배포할 수 있습니다. 모델이 배포되고 watsonx.ai 에 등록된 후, Prompt Lab 에서 사용자 지정 모델을 추론하는 프롬프트를 만듭니다.
맞춤형 기초 모델을 배포하면 사용 사례에 적합한 AI 솔루션을 구현할 수 있는 유연성을 제공합니다.
자세한 내용은 사용자 정의 기초 모델 배포하기를 참고하세요.
온디맨드 기반 모델 배포
필요에 따라 전용 하드웨어에 기초 모델을 온디맨드 방식으로 배포하여 다양한 응용 프로그램과 서비스에서 기초 모델을 사용할 수 있도록 합니다. 이 접근 방식을 사용하면 광범위한 계산 리소스 없이도 이러한 강력한 기초 모델의 기능에 액세스할 수 있습니다. 온디맨드 방식으로 배포하는 파운데이션 모델은 이러한 모델을 추론에 사용할 수 있는 전용 배포 공간에서 호스팅됩니다.
자세한 내용은 온디맨드 기반 모델 배포를 참조하세요.
자세히 알아보기
상위 주제: watsonx.ai 런타임으로 에셋 배포하기