시작하기 전에

1. 온디맨드 방식으로 파운데이션 모델을 배포하려면 작업 자격 증명을 설정하거나 활성화해야 합니다. 자세한 내용은 작업 자격 증명 관리하기를 참조하세요.
2. 온디맨드 foundation model 배포하기 위한 요구 사항 및 고려 사항을 검토하세요.

모델 에셋 만들기

' /ml/v4/models 엔드포인트를 사용하여 온디맨드로 배포하려는 foundation model 대한 에셋을 만들 수 있습니다.

다음 코드 스니펫은 온디맨드 foundation model 배포하기 위해 watsonx.ai 런타임 리포지토리에서 에셋을 생성하는 방법을 보여 줍니다. 모델을 배포할 때 이 코드에서 생성된 에셋 ID를 사용합니다.

curl -X POST "https://<cluster url>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer <replace with your token>" \
-H "content-type: application/json" \
--data '{
    "type": "curated_foundation_model_1.0",
    "version": "1.0",
    "name": "granite",
    "space_id": "<Space id for deployment>",
    "foundation_model": {
        "model_id": "ibm/granite-13b-chat-v2-curated"
    }
}'

온디맨드 foundation model 배포 만들기

' /ml/v4/deployments 엔드포인트를 사용하여 배포 공간에서 온디맨드 방식으로 foundation model 배포할 수 있습니다. 배포하려면 모델 에셋을 생성할 때 생성된 에셋 ID를 사용해야 합니다. 자세한 내용은 모델 에셋 생성을 참조하세요.

다음 코드 스니펫은 온디맨드 방식으로 foundation model 배포하기 위해 온라인 배포를 만드는 방법을 보여줍니다:

curl -X POST "https://<cluster url>/ml/v4/deployments?version=2024-01-29" \
-H "Authorization: Bearer <replace with your token>" \
-H "content-type: application/json" \
--data '{
  "asset": {
    "id": <Asset id created>
  },
  "online": {
    "parameters": {
      "serving_name": "llma"
    }
  },
  "description": "<Description>,
  "name": "mi",
  "space_id": <Space id for deployment>
}'

curl -X GET "https://<replace with your cloud hostname>/ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&project_id=<replace with your project ID>" \
-H "Authorization: Bearer <replace with your token>" 

"deployed_asset_type": "curated_foundation_model"

온디맨드 방식으로 배포된 파운데이션 모델 테스트

온라인 추론을 위해 온디맨드 방식으로 배포된 foundation model 테스트할 수 있습니다.

다음 코드 스니펫은 온라인 추론을 위해 온디맨드 방식으로 배포되는 foundation model 테스트하는 방법을 보여줍니다:

curl -X POST "https://<replace with your cloud hostname>/ml/v1/deployments/<replace with your deployment ID>/text/generation?version=2024-01-29" \
-H "Authorization: Bearer <replace with your token>" \
-H "content-type: application/json" \
--data '{
 "input": "Hello, what is your name",
 "parameters": {
    "max_new_tokens": 200,
    "min_new_tokens": 20
 }
}'

온디맨드 방식으로 배포된 파운데이션 모델 관리하기

REST API를 사용하여 온디맨드 방식으로 배포된 foundation model 액세스, 업데이트, 확장 또는 삭제할 수 있습니다.

curl -X GET "https://<replace with yourcloud hostname>/ml/v4/deployments?version=2024-01-29&space_id=<replace with your space ID>&type=curated_foundation_model" \
-H "Authorization: Bearer <replace with your token>" 

curl -X PATCH "https://<replace with your cloud hostname>//ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&project_id=<replace with your space ID>" \
-H "Authorization: Bearer <replace with your token>" \
-H "content-type: application/json" \
--data '[{
 "op": "replace",
 "path": "/name",
 "value": "<replace with updated deployment name>"
}]'

curl -X PATCH "<replace with your cloud hostname>/ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&space_id=<replace with your space ID>" \
-H "Authorization: Bearer $token" \
-H "content-type: application/json" \
--data '[{
 "op": "replace",
 "path": "/hardware_request",
 "value": {"num_nodes": 2}                
}]'

curl -vk -X DELETE "https://<replace with your cloud hostname>/ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&space_id=<replace with your space ID>" -H "Authorization: Bearer <replace with your token>"

샘플 노트북

다음 샘플 노트북은 프로그래밍 방식으로 온디맨드 방식으로 배포되는 기초 모델에 대한 프롬프트를 보여 줍니다. 노트북을 실행하기 전에 foundation model 온디맨드 방식으로 배포해야 합니다.

자세히 알아보기

• 지원되는 파운데이션 모델
• Prompt Lab
• 리소스 허브에서 온디맨드 방식으로 파운데이션 모델 배포.
• 온디맨드 모델 배포를 위한 시간당 청구 요금

상위 주제: 전용 파운데이션 모델 배포