사용 사례에 따라 배포 공간에서 AI 서비스 자산에 대한 온라인 또는 일괄 배포를 만들 수 있습니다. watsonx.ai 사용자 인터페이스, REST API 또는 Python 클라이언트 라이브러리를 사용하여 AI 서비스를 배포하세요.
AI 서비스 배포 유형
사용 사례에 따라 AI 서비스 에셋을 온라인 또는 일괄 배포로 배포할 수 있습니다. AI 서비스에 사용되는 기능에 따라 배포 유형을 선택합니다.
- 온라인 채점(AI 서비스 '
generate()기능 포함) 또는 스트리밍 애플리케이션(AI 서비스 'generate_stream()' 기능 포함)을 위해 AI 서비스 에셋에 대한 온라인 배포를 생성해야 합니다. - 애플리케이션을 일괄 채점하려면 AI 서비스 자산에 대한 일괄 배포를 생성해야 합니다(AI 서비스에는 '
generate_batch()' 기능이 포함되어 있음).
사용자 인터페이스로 AI 서비스 배포하기
배포 공간의 사용자 인터페이스에서 AI 서비스 자산을 배포할 수 있습니다.
전제조건
AI 서비스를 배포하려면 작업 자격 증명을 설정해야 합니다. 자세한 내용은 작업 자격 증명 추가하기를 참조하세요.
AI 서비스 자산을 배포 공간으로 승격해야 합니다.
AI 서비스를 위한 온라인 배포 만들기
배포 공간 사용자 인터페이스에서 AI 서비스 자산에 대한 온라인 배포를 만들려면 다음 단계를 따르세요:
배포 공간에서 자산 탭으로 이동합니다.
에셋 목록에서 AI 서비스 에셋의 메뉴 아이콘을 클릭하고 배포를 선택합니다.
배포 유형으로 온라인을 선택합니다.
배포 이름을 입력하고 선택적으로 서비스 이름, 설명 및 태그를 입력합니다.
작성을 클릭하십시오.
AI 서비스를 위한 일괄 배포 만들기
배포 공간 사용자 인터페이스에서 AI 서비스 자산에 대한 일괄 배포를 만들려면 다음 단계를 따르세요:
배포 공간에서 자산 탭으로 이동합니다.
에셋 목록에서 AI 서비스 에셋의 메뉴 아이콘을 클릭하고 배포를 선택합니다.
배포 유형으로 일괄 처리를 선택합니다.
배포 이름을 입력하고 선택적으로 서비스 이름, 설명 및 태그를 입력합니다.
하드웨어 사양을 선택합니다:
- 초소형: CPU 1개 및 4GB RAM
- 소형: CPU 2개 및 8GB RAM
- 중간: CPU 4개 및 16GB RAM
- 대형: 8 CPU 및 32GB RAM
- 초대형: 16 CPU 및 64GB RAM
작성을 클릭하십시오.
Python 클라이언트 라이브러리로 AI 서비스 배포하기
Python 클라이언트 라이브러리를 사용하여 AI 서비스 자산에 대한 온라인 또는 일괄 배포를 생성할 수 있습니다.
온라인 배포 만들기
다음 예는 watsonx.ai Python 클라이언트 라이브러리를 사용하여 AI 서비스에 대한 온라인 배포를 만드는 방법을 보여줍니다:
deployment_details = client.deployments.create(
artifact_id=ai_service_id,
meta_props={
client.deployments.ConfigurationMetaNames.NAME: "ai-service - online test",
client.deployments.ConfigurationMetaNames.ONLINE: {},
client.deployments.ConfigurationMetaNames.HARDWARE_SPEC: {
"id": client.hardware_specifications.get_id_by_name("XS")
},
},
)
deployment_id = client.deployments.get_uid(deployment_details)
print("The deployment id:", deployment_id)
일괄 배포 만들기
다음 예는 watsonx.ai Python 클라이언트 라이브러리를 사용하여 AI 서비스에 대한 일괄 배포를 만드는 방법을 보여줍니다:
deployment_details = client.deployments.create(
artifact_id=ai_service_id,
meta_props={
client.deployments.ConfigurationMetaNames.NAME: f"ai-service - batch",
client.deployments.ConfigurationMetaNames.BATCH: {},
client.deployments.ConfigurationMetaNames.HARDWARE_SPEC: {
"id": client.hardware_specifications.get_id_by_name("XS")
},
},
)
deployment_id = client.deployments.get_uid(deployment_details)
print("The batch deployment id:", deployment_id)
REST API로 AI 서비스 배포
' /ml/v4/deployments watsonx.ai REST API 엔드포인트를 사용하여 AI 서비스 자산에 대한 온라인 또는 일괄 배포를 생성할 수 있습니다.
온라인 배포 만들기
다음 예는 REST API를 사용하여 AI 서비스에 대한 온라인 배포를 만드는 방법을 보여줍니다:
# POST /ml/v4/deployments
response = requests.post(
f'{HOST}/ml/v4/deployments?version={VERSION}',
headers=headers,
verify=False,
json={
"space_id": space_id,
"name": "genai flow online",
"custom": {
"key1": "value1",
"key2": "value2",
"model": "meta-llama/llama-3-8b-instruct"
},
"asset": {
"id": asset_id
},
"online": {}
}
)
일괄 배포 만들기
다음 예는 REST API를 사용하여 AI 서비스에 대한 일괄 배포를 만드는 방법을 보여줍니다:
response = requests.post(
f'{HOST}/ml/v4/deployments?version={VERSION}',
headers=headers,
verify=False,
json={
"hardware_spec": {
"id": "........",
"num_nodes": 1
},
"space_id": space_id,
"name": "ai service batch dep",
"custom": {
"key1": "value1",
"key2": "value2",
"model": "meta-llama/llama-3-8b-instruct"
},
"asset": {
"id": asset_id
},
"batch": {}
}
)
print(f'POST {HOST}/ml/v4/deployments?version={VERSION}', response.status_code)
print(json.dumps(response.json(), indent=2))
dep_id = response.json()["metadata"]["id"]
print(f"{dep_id=}")
자세히 알아보기
상위 주제: 직접 코딩으로 AI 서비스 배포하기