제너레이티브 AI 에셋을 배포하여 프로덕션에 사용하고 배포된 에셋을 모니터링합니다.
제너레이티브 AI 애플리케이션을 위한 배포 가능한 에셋 유형
watsonx.ai 사용하여 생성 AI 애플리케이션에 다음 에셋을 배포할 수 있습니다:
프롬프트 템플릿 배포
프롬프트 템플리트를 프로젝트 자산으로 저장한 후 배치 영역으로 승격할 수 있습니다. 배포 공간에서 프롬프트 템플릿을 프로덕션에 배포하고 추론을 위한 엔드포인트를 가져올 수 있습니다.
watsonx.governance 서비스가 있는 경우 통제 요구사항을 충족하기 위해 프롬프트 템플리트에 대한 배치 세부사항을 캡처하고 추적할 수도 있습니다.
자세한 내용은 프롬프트 템플릿 배포하기를 참조하세요.
AI 서비스 배포
AI 서비스는 검색 증강 생성(RAG)과 같은 생성형 AI 사용 사례의 로직을 캡처하는 데 사용할 수 있는 배포 가능한 코드 단위입니다. AI 서비스가 성공적으로 배포되면 애플리케이션에서 추론하는 데 엔드포인트를 사용할 수 있습니다.
프롬프트 템플릿을 사용하여 프롬프트 랩에서 저장된 프롬프트를 만들고 배포할 수는 있지만, 검색 증강 생성(RAG)을 사용하는 생성형 AI 애플리케이션을 배포하는 데는 사용할 수 없습니다. RAG 애플리케이션을 배포하려면 AI 서비스를 배포해야 합니다. AI 서비스는 RAG 애플리케이션을 배포하고 추론에 엔드포인트를 사용할 수 있는 옵션을 제공합니다.
자세한 내용은 AI 서비스 배포하기를 참조하세요.
튜닝된 모델 배포
foundation model 튜닝하고 튜닝된 모델을 프로젝트 자산으로 저장한 후에는 배포 공간으로 승격할 수 있습니다. 배포 공간에서 튜닝된 모델을 테스트하고 추론을 위한 엔드포인트를 얻을 수 있습니다.
자세한 내용은 조정된 foundation model 배포하기를 참조하세요.
사용자 지정 파운데이션 모델 배포
IBM 선별한 파운데이션 모델로 작업하는 것 외에도 자체 파운데이션 모델을 업로드하고 배포할 수 있습니다. 모델을 배포하고 watsonx.ai 등록한 후 프롬프트 랩에서 사용자 지정 모델을 추론하는 프롬프트를 생성합니다.
사용자 지정 foundation model 배포하면 사용 사례에 적합한 AI 솔루션을 유연하게 구현할 수 있습니다.
자세한 내용은 사용자 지정 foundation model 배포하기를 참조하세요.
온디맨드 기반 모델 배포
' foundation model '을 전용 하드웨어에 온디맨드 방식으로 배포하여 필요에 따라 다양한 애플리케이션과 서비스에서 ' foundation model '를 사용할 수 있도록 합니다. 이 접근 방식을 사용하면 광범위한 계산 리소스 없이도 이러한 강력한 기초 모델의 기능에 액세스할 수 있습니다. 온디맨드 방식으로 배포하는 파운데이션 모델은 이러한 모델을 추론에 사용할 수 있는 전용 배포 공간에서 호스팅됩니다.
자세한 내용은 온디맨드 기반 모델 배포를 참조하세요.
자세히 알아보기
상위 주제: watsonx.ai 런타임으로 에셋 배포하기