開始前に

カスタムfoundation modelをデプロイできるようにするには、タスク認証情報を有効にする必要があります。 詳細については、タスク認証情報の追加を参照してください。

モデルに接続を追加する

配置スペースまたはプロジェクトのどちらからでも、モデルへの接続を追加できます。 プログラムで接続を追加するには、Pythonクライアントを使って接続を作成する、またはAPIを使って接続を作成するを参照してください。

モデル資産の作成

カスタムfoundation model資産を作成するには

1. ディプロイメント スペースまたはプロジェクトで、Assets に移動し、Import assets をクリックします。

2. カスタムfoundation modelを選択します。

3. モデルが置かれているクラウドストレージへの接続を選択します。

4. モデルを含むフォルダを選択します。

   

5. 必要な情報を入力します。 モデルパラメータに何も入力しない場合は、デフォルト値が使用されます。

   

6. インポート をクリックします。

利用可能なモデルパラメータについては、カスタム基礎モデルのグローバルパラメータを参照してください。

プログラムでカスタムfoundation model資産を作成する

利用可能なモデルパラメータについては、カスタム基礎モデルのグローバルパラメータを参照してください。 モデルパラメータに何も入力しない場合は、デフォルト値が使用されます。

配置スペースにモデル アセットを追加するコード例を参照してください：

curl -X POST "https://<your cloud hostname>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
    "type": "custom_foundation_model_1.0",
    "framework": "custom_foundation_model",
    "version": "1.0",
    "name": "<asset name>",
    "software_spec": {
        "name": "<name of software specification>"
    },
    "space_id": "<your space ID>",
    "foundation_model": {
        "model_id": "<model ID>",
        "parameters": [
        {
            "name": "dtype",
            "default": "float16",
            "type": "string",
            "display_name": "Data Type",
            "options": ["float16","bfloat16"]
        },
        {
            "name": "max_batch_size",
            "default": 256,
            "type": "number",
            "display_name": "Max Batch Size"
        }],

        "model_location": {
            "type": "connection_asset",
            "connection": {
                "id": "<your connection ID>"
            },
            "location": {
                "bucket": "<bucket where the model is located>",
                "file_path": "<subpath to model files, if required>"
            }
        }
    }
}'

プロジェクトにモデルアセットを追加するサンプルコードを参照してください：

curl -X POST "https://<your cloud hostname>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '{
    "type": "custom_foundation_model_1.0",
    "framework": "custom_foundation_model",
    "version": "1.0",
    "name": "<asset name>",
    "software_spec": {
        "name": "<name of software specification>"
    },
    "project_id": "<your project ID>",
    "foundation_model": {
        "model_id": "<model ID>",
        "parameters": [
        {
            "name": "dtype",
            "default": "float16",
            "type": "string",
            "display_name": "Data Type",
            "options": ["float16","bfloat16"]
        },
        {
            "name": "max_batch_size",
            "default": 256,
            "type": "number",
            "display_name": "Max Batch Size"
        }],

        "model_location": {
            "type": "connection_asset",
            "connection": {
                "id": "<your connection ID>"
            },
            "location": {
                "bucket": "<bucket where the model is located>",
                "file_path": "<subpath to model files, if required>"
            }
        }
    }
}'

カスタム基礎モデルのグローバルパラメータ

グローバル・パラメーターを使用して、カスタム・ファウンデーション・モデルを展開することができます。 ベースモデルパラメータの値を、以下の表で指定された範囲内で設定します。 そうしないと、配備に失敗して推論ができなくなるかもしれない。

今後のステップ

カスタムfoundation modelの展開

親トピック foundation modelのデプロイ