REST API를 사용하여 필요에 따라 기초 모델을 배포하고 관리하기

배포 상태 폴링

배포 ID를 사용하여 배포 상태를 폴링할 수 있습니다. 상태가 초기화 에서 준비로 변경되면 배포를 사용할 준비가 된 것입니다.

다음 코드 샘플은 REST API를 사용하여 배포 상태를 폴링하는 방법을 보여줍니다:

curl -X GET "https://<replace with your cloud hostname>/ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&project_id=<replace with your project ID>" \
-H "Authorization: Bearer <replace with your token>" 

출력:

"deployed_asset_type": "curated_foundation_model"

텍스트 응답 생성

다음 코드 샘플은 /ml/v1/deployments/<deployment ID>/text/generation API 엔드포인트를 사용하여 텍스트 응답을 생성하는 방법을 보여줍니다

다음 코드 스니펫은 온라인 추론을 위해 필요에 따라 배포되는 기초 모델을 테스트하는 방법을 보여줍니다

curl -X POST "https://<replace with your cloud hostname>/ml/v1/deployments/<replace with your deployment ID>/text/generation?version=2024-01-29" \
-H "Authorization: Bearer <replace with your token>" \
-H "content-type: application/json" \
--data '{
 "input": "Hello, what is your name",
 "parameters": {
    "max_new_tokens": 200,
    "min_new_tokens": 20
 }
}'

배포된 모델에 액세스하기

REST API를 사용하여 배포 공간에 온디맨드 방식으로 배포된 모든 파운데이션 모델 목록을 검색하려면 쿼리 매개 변수 ' type=curated_foundation_model'을 설정하면 됩니다.

다음 코드 샘플은 배포 공간에서 온디맨드 방식으로 배포되는 모든 기초 모델에 액세스하기 위해 REST API를 사용하는 방법을 보여 줍니다:

curl -X GET "https://<replace with yourcloud hostname>/ml/v4/deployments?version=2024-01-29&space_id=<replace with your space ID>&type=curated_foundation_model" \
-H "Authorization: Bearer <replace with your token>" 

배포 업데이트하기

이름, 설명, 태그 등 배포에 필요한 배포 메타데이터를 업데이트하세요.

다음 코드 샘플은 주문형으로 배포된 재단 모델의 이름을 업데이트하는 방법을 보여줍니다

curl -X PATCH "https://<replace with your cloud hostname>//ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&project_id=<replace with your space ID>" \
-H "Authorization: Bearer <replace with your token>" \
-H "content-type: application/json" \
--data '[{
 "op": "replace",
 "path": "/name",
 "value": "<replace with updated deployment name>"
}]'

배포 확장하기

배포 공간에는 기초 모델의 인스턴스 하나만 온디맨드 모델로 배포할 수 있습니다. 증가하는 수요를 처리하기 위해 추가 복사본을 만들어 배포를 확장할 수 있습니다.

다음 코드 샘플은 배포를 위해 복제본 수를 확장하는 방법을 보여줍니다:

curl -X PATCH "<replace with your cloud hostname>/ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&space_id=<replace with your space ID>" \
-H "Authorization: Bearer $token" \
-H "content-type: application/json" \
--data '[{
 "op": "replace",
 "path": "/hardware_request",
 "value": {"num_nodes": 2}                
}]'

배치 삭제

청구 요금을 멈추기 위해 더 이상 필요하지 않은 배포된 기초 모델을 삭제할 수 있습니다.

다음 코드 샘플은 REST API를 사용하여 온디맨드 방식으로 배포된 기초 모델을 삭제하는 방법을 보여줍니다

curl -vk -X DELETE "https://<replace with your cloud hostname>/ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&space_id=<replace with your space ID>" -H "Authorization: Bearer <replace with your token>"