IBM watsonx.ai 조직 전용 전용 하드웨어에 온디맨드 방식으로 배포할 수 있도록 엄선된 파운데이션 모델 컬렉션을 제공합니다. 이 접근 방식을 사용하면 광범위한 계산 리소스 없이도 이러한 강력한 기초 모델의 기능에 액세스할 수 있습니다. 온디맨드 방식으로 배포하는 파운데이션 모델은 이러한 모델을 추론에 사용할 수 있는 전용 배포 공간에서 호스팅됩니다.
지원되는 파운데이션 모델
온디맨드 방식으로 배포할 수 있는 파운데이션 모델은 IBM 호스팅하며 시간당 과금 요율에 따라 요금이 청구됩니다. 이러한 모델은 단일 테넌트 모델입니다. 따라서 이러한 모델에 대한 배포는 회원님에게만 독점적으로 제공되며 추론을 위해 다른 사용자와 공유되지 않습니다. 배포가 활성화되어 있는 동안에는 시간당 요금이 청구됩니다. 자세한 내용은 온디맨드 배포 모델의 시간당 청구 요금을 참조하세요.
온디맨드 배포에 사용할 수 있는 모델 목록과 설명 및 청구 요금은 지원되는 파운데이션 모델을 참조하세요.
온디맨드 방식으로 배포된 foundation model 더 이상 사용되지 않는 경우에도 배포를 삭제할 때까지 계속 모델을 사용할 수 있습니다.
지원되는 배포 유형
온디맨드 방식으로 배포되는 파운데이션 모델에 대해서만 온라인 배포를 만들 수 있습니다. 일괄 배포는 지원되지 않습니다.
온디맨드 기반 모델 배포 시 고려 사항
배포 공간에 온디맨드 모델을 배포할 수 있는 foundation model 인스턴스는 하나만 배포할 수 있습니다. 모델에 더 많은 리소스가 필요한 경우 배포된 모델 에셋을 확장하여 더 많은 사본을 추가할 수 있습니다.
제한 및 제한 사항
온디맨드 방식으로 배포되는 기본 모델에 대한 높은 수요와 이를 수용하기 위한 제한된 리소스로 인해, watsonx.ai IBM Cloud 계정당 소형 모델 4개, 중형 모델 2개 또는 대형 모델 1개로 배포 제한이 있습니다.
온디맨드 방식으로 배포되는 파운데이션 모델에는 다음과 같은 제한 사항이 적용됩니다:
- 온디맨드 방식으로 배포된 foundation model 조정할 수 없습니다.
- 온디맨드 방식으로 배포되는 foundation model 프롬프트하고 프롬프트 템플릿으로 저장할 수 있습니다. 그러나 필요에 따라 배포되는 foundation model 대해서는 저장된 프롬프트 템플릿을 배포할 수 없습니다. 모델에서 검색 증강 생성(RAG)을 사용하는 경우 모델을 AI 서비스로 배포할 수 있습니다.
- 온디맨드 방식으로 배포되는 foundation model 대한 프롬프트 템플릿을 평가하거나 추적하는 데는 watsonx.governance 사용할 수 없습니다.
다음 단계
필요에 따라 foundation model 배포하는 방법을 선택합니다:
- 몇 가지 간단한 단계를 통해 리소스 허브에서 필요에 따라 파운데이션 모델을 배포하려면 리소스 허브에서 필요에 따라 파운데이션 모델 배포하기를 참조하세요.
- 프로그래밍 방식으로 기초 모델을 배포하려면 REST API를 사용하여 온디맨드 기초 모델 배포하기를 참조하세요.
상위 주제: 제너레이티브 AI 에셋 배포