watsonx.ai 사용자 인터페이스에서 배포 생성하기

다음 단계에 따라 사용자 지정 foundation model 대한 배포를 만들 수 있습니다:

1. 배포 공간 또는 프로젝트에서 자산 탭으로 이동합니다.

2. 에셋 목록에서 모델을 찾고 메뉴 아이콘 ' '을 클릭한 다음 배포를 선택합니다.

3. 배포 이름을 입력하고 선택적으로 서비스 이름, 설명 및 태그를 입력합니다.

   참고:

   • 서비스 이름 필드를 사용하여 배포 ID 대신 배포 이름을 지정합니다.
   • 서빙 이름은 네임스페이스 내에서 고유해야 합니다.
   • 서빙 이름에는 다음 문자만 포함되어야 합니다:a-z,0-9,_]로만 구성되어야 하며 최대 36자이어야 합니다.
   • 사용자 지정 foundation model 주기적으로 사용하는 워크플로에서는 배포할 때마다 모델에 동일한 서비스 이름을 할당하는 것이 좋습니다. 이렇게 하면 모델을 삭제했다가 다시 배포한 후에도 코드에서 동일한 엔드포인트를 계속 사용할 수 있습니다.

4. 모델에 맞는 구성 및 소프트웨어 사양을 선택합니다.

5. 선택 사항: 일부 기본 모델 파라미터를 재정의하려면 모델 배포 파라미터를 클릭한 다음 새 파라미터 값을 입력합니다:

   • 데이터 유형: float16 또는 bfloat16을 선택하여 모델의 데이터 유형을 지정합니다.
   • 최대 배치 크기: 모델의 최대 배치 크기를 입력합니다.
   • 최대 동시 요청 수: 모델에 대해 수행할 수 있는 최대 동시 요청 수를 입력합니다.
   • 최대 새 토큰 수: 추론 요청을 위해 모델에 생성할 수 있는 최대 토큰 수를 입력합니다.
   • 최대 시퀀스 길이: 모델의 최대 시퀀스 길이를 입력합니다.

6. 작성을 클릭하십시오.

프로그래밍 방식으로 배포 만들기

watsonx.ai API를 사용하려면 무기명 토큰이 필요합니다. 자세한 내용은 프로그래머틱 액세스를 위한 자격증명를 참조하세요.

사용자 지정 foundation model 프로그래밍 방식으로 배포합니다:

1. 모델 배포를 시작합니다. 스페이스에 배포하는 예제는 이 코드를 참조하세요:

   curl -X POST "https://<your cloud hostname>/ml/v4/deployments?version=2024-01-29" \
   -H "Authorization: Bearer $TOKEN" \
   -H "content-type: application/json" \
   --data '{
     "asset":{
       "id":<your custom foundation model asset id>
     },
     "online":{
       "parameters":{
         "serving_name":"test_custom_fm",
         "foundation_model": {
             "max_sequence_length": 4096
         }
       }
     },
     "hardware_request": {
       "size": "<configuration size>",
       "num_nodes": 1
     },
     "description": "Testing deployment using custom foundation model",
     "name":"custom_fm_deployment",
     "space_id":<your space id>
   }'
   

   size 매개변수는 gpu_s, gpu_m 또는 gpu_l가 될 수 있습니다.
   프로젝트 배포의 경우 space_id 대신 project_id을 사용합니다.

   배포 ID는 API 응답의 metadata.id 필드에 반환됩니다.

2. 배포 ID를 사용하여 배포 상태를 폴링합니다. 프로젝트에 배포된 모델의 상태를 폴링하는 방법의 예는 이 코드를 참조하세요.

   curl -X GET "https://<your cloud hostname>/ml/v4/deployments/<your deployment ID>?version=2024-01-29&project_id=<your project ID>" \
   -H "Authorization: Bearer $TOKEN"
   

   deployed_asset_type은 custom_foundation_model로 반환됩니다. 상태가 initializing에서 ready로 변경될 때까지 기다립니다.

다음 단계

사용자 지정 foundation model 프롬프트

상위 주제: 사용자 지정 파운데이션 모델 배포