시작하기 전에

사용자 지정 foundation model 배포하려면 작업 자격 증명을 사용하도록 설정해야 합니다. 자세한 내용은 작업 자격 증명 추가하기를 참조하세요.

모델에 연결 추가하기

배포 공간 또는 프로젝트에서 모델에 연결을 추가할 수 있습니다. 프로그래밍 방식으로 연결을 추가하려면 Python 클라이언트를 사용하여 연결 만들기 또는 API를 사용하여 연결 만들기 문서를 참조하세요.

모델 에셋 만들기

사용자 지정 foundation model 에셋을 만들려면

1. 배포 공간 또는 프로젝트에서 자산으로 이동한 다음 자산 가져오기를 클릭합니다.

2. 사용자 지정 foundation model 선택합니다.

3. 모델이 있는 클라우드 스토리지에 대한 연결을 선택합니다.

4. 모델이 포함된 폴더를 선택합니다.

   

5. 필수 정보를 입력하십시오. 모델 매개변수에 대한 항목을 제출하지 않으면 기본값이 사용됩니다.

   

6. 가져오기를 클릭하십시오.

사용 가능한 모델 파라미터에 대한 자세한 내용은 사용자 지정 파운데이션 모델의 글로벌 파라미터를 참조하세요.

프로그래밍 방식으로 사용자 지정 foundation model 에셋 만들기

사용 가능한 모델 파라미터에 대한 자세한 내용은 사용자 지정 파운데이션 모델의 글로벌 파라미터를 참조하세요. 모델 매개변수에 대한 항목을 제출하지 않으면 기본값이 사용됩니다.

배포 공간에 모델 에셋을 추가하는 예제 코드를 참조하세요:

curl -X POST "https://<your cloud hostname>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
    "type": "custom_foundation_model_1.0",
    "framework": "custom_foundation_model",
    "version": "1.0",
    "name": "<asset name>",
    "software_spec": {
        "name": "<name of software specification>"
    },
    "space_id": "<your space ID>",
    "foundation_model": {
        "model_id": "<model ID>",
        "parameters": [
        {
            "name": "dtype",
            "default": "float16",
            "type": "string",
            "display_name": "Data Type",
            "options": ["float16","bfloat16"]
        },
        {
            "name": "max_batch_size",
            "default": 256,
            "type": "number",
            "display_name": "Max Batch Size"
        }],

        "model_location": {
            "type": "connection_asset",
            "connection": {
                "id": "<your connection ID>"
            },
            "location": {
                "bucket": "<bucket where the model is located>",
                "file_path": "<subpath to model files, if required>"
            }
        }
    }
}'

프로젝트에 모델 에셋을 추가하는 예제 코드를 참조하세요:

curl -X POST "https://<your cloud hostname>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
    "type": "custom_foundation_model_1.0",
    "framework": "custom_foundation_model",
    "version": "1.0",
    "name": "<asset name>",
    "software_spec": {
        "name": "<name of software specification>"
    },
    "project_id": "<your project ID>",
    "foundation_model": {
        "model_id": "<model ID>",
        "parameters": [
        {
            "name": "dtype",
            "default": "float16",
            "type": "string",
            "display_name": "Data Type",
            "options": ["float16","bfloat16"]
        },
        {
            "name": "max_batch_size",
            "default": 256,
            "type": "number",
            "display_name": "Max Batch Size"
        }],

        "model_location": {
            "type": "connection_asset",
            "connection": {
                "id": "<your connection ID>"
            },
            "location": {
                "bucket": "<bucket where the model is located>",
                "file_path": "<subpath to model files, if required>"
            }
        }
    }
}'

사용자 지정 파운데이션 모델을 위한 글로벌 파라미터

전역 매개 변수를 사용하여 사용자 지정 파운데이션 모델을 배포할 수 있습니다. 다음 표에 지정된 범위 내에서 기본 모델 매개변수의 값을 설정합니다. 그렇게 하지 않으면 배포가 실패하고 추론이 불가능할 수 있습니다.

다음 단계

사용자 지정 foundation model 배포

상위 주제: 사용자 지정 foundation model 배포