영어 버전 문서로 돌아가기배치 스케일링
배치 스케일링
마지막 업데이트 날짜: 2024년 11월 21일
배치 영역에서 또는 프로그래밍 방식으로 모델 또는 기능에 대한 온라인 배치를 작성할 때 기본적으로 자산의 단일 사본이 배치됩니다. 확장성과 가용성을 늘리려면 배치의 구성을 편집하여 사본(복제본)의 수를 늘릴 수 있습니다. 더 많은 사본은 더 큰 볼륨의 스코어링 요청을 허용합니다.
배치는 다음과 같은 방법으로 확장될 수 있습니다.
- 배치 영역에서 배치의 구성을 업데이트하십시오.
- 프로그래밍 방식으로는 watsonx.ai 런타임 Python 클라이언트 라이브러리 또는 watsonx.ai 런타임 REST API를 사용합니다.
시작하기 전에
API 키를 생성하여 작업 자격 증명을 설정해야 합니다. 자세한 내용은 작업 자격 증명 관리하기를 참조하세요.
영역에서 온라인 배치의 사본 수 변경
- 배치 영역의 배치 탭을 클릭하십시오.
- 배치 이름에 대한 조치 메뉴에서 편집을 클릭하십시오.
- 배치 편집 대화 상자에서 사본 수를 변경하고 저장을 클릭하십시오.
프로그래밍 방식으로 배치의 복제본 수 늘리기
배치 스케일링의 작동하는 샘플을 프로그래밍 방식으로 보거나 실행하려는 경우에는 배치에 대한 메타데이터에서 복제본의 수를 늘릴 수 있습니다.
Python 예
이 예는 Python 클라이언트를 사용하여 복제본의 수를 3으로 설정합니다.
change_meta = {
client.deployments.ConfigurationMetaNames.HARDWARE_SPEC: {
"name":"S",
"num_nodes":3}
}
client.deployments.update(<deployment_id>, change_meta)
API에 이름 또는 ID를 제공해야 하므로 HARDWARE_SPEC 값에는 이름이 포함됩니다.
REST API 예
curl -k -X PATCH -d '[ { "op": "replace", "path": "/hardware_spec", "value": { "name": "S", "num_nodes": 2 } } ]' <Deployment end-point URL>
hardware_spec 값의 이름을 지정해야 하지만 인수가 스케일링에 적용되지 않습니다.
상위 주제: 예측 배치 관리