開始前に

1. 基礎モデルをオンデマンドでデプロイするには、タスク認証情報を設定するか、有効にする必要があります。 詳細については、タスク資格情報の管理を参照のこと。
2. foundation modelをオンデマンドで展開するための要件と考慮事項を確認する。

モデル資産の作成

/ml/v4/modelsエンドポイントを使用して、オンデマンドでデプロイしたいfoundation modelモデルのアセットを作成することができます。

次のコードスニペットは、foundation modelをオンデマンドでデプロイするためのアセットをwatsonx.aiRuntime リポジトリに作成する方法を示しています。 モデルをデプロイする際には、このコードによって生成されたアセットIDを使用してください。

curl -X POST "https://<cluster url>/ml/v4/models?version=2024-01-29" \
-H "Authorization: Bearer <replace with your token>" \
-H "content-type: application/json" \
--data '{
    "type": "curated_foundation_model_1.0",
    "version": "1.0",
    "name": "granite",
    "space_id": "<Space id for deployment>",
    "foundation_model": {
        "model_id": "ibm/granite-13b-chat-v2-curated"
    }
}'

オンデマンドfoundation modelのデプロイメントの作成

/ml/v4/deploymentsエンドポイントを使用すると、デプロイメントスペースにfoundation modelモデルをオンデマンドでデプロイできます。 配置用のモデル アセットを作成したときに生成されたアセット ID を使用する必要があります。 詳細については、モデル資産の作成を参照してください。

次のコードスニペットは、foundation modelをオンデマンドでデプロイするためのオンラインデプロイメントの作成方法を示しています：

curl -X POST "https://<cluster url>/ml/v4/deployments?version=2024-01-29" \
-H "Authorization: Bearer <replace with your token>" \
-H "content-type: application/json" \
--data '{
  "asset": {
    "id": <Asset id created>
  },
  "online": {
    "parameters": {
      "serving_name": "llma"
    }
  },
  "description": "<Description>,
  "name": "mi",
  "space_id": <Space id for deployment>
}'

curl -X GET "https://<replace with your cloud hostname>/ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&project_id=<replace with your project ID>" \
-H "Authorization: Bearer <replace with your token>" 

"deployed_asset_type": "curated_foundation_model"

オンデマンドで展開される基礎モデルのテスト

オンライン推論用にオンデマンドで展開されるfoundation modelをテストすることができます。

次のコード・スニペットは、オンライン推論のためにオンデマンドでデプロイされるfoundation modelをテストする方法を示しています：

curl -X POST "https://<replace with your cloud hostname>/ml/v1/deployments/<replace with your deployment ID>/text/generation?version=2024-01-29" \
-H "Authorization: Bearer <replace with your token>" \
-H "content-type: application/json" \
--data '{
 "input": "Hello, what is your name",
 "parameters": {
    "max_new_tokens": 200,
    "min_new_tokens": 20
 }
}'

オンデマンドで展開される基盤モデルの管理

REST APIを使用して、オンデマンドでデプロイされたfoundation modelモデルにアクセス、更新、拡張、削除できます。

curl -X GET "https://<replace with yourcloud hostname>/ml/v4/deployments?version=2024-01-29&space_id=<replace with your space ID>&type=curated_foundation_model" \
-H "Authorization: Bearer <replace with your token>" 

curl -X PATCH "https://<replace with your cloud hostname>//ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&project_id=<replace with your space ID>" \
-H "Authorization: Bearer <replace with your token>" \
-H "content-type: application/json" \
--data '[{
 "op": "replace",
 "path": "/name",
 "value": "<replace with updated deployment name>"
}]'

curl -X PATCH "<replace with your cloud hostname>/ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&space_id=<replace with your space ID>" \
-H "Authorization: Bearer $token" \
-H "content-type: application/json" \
--data '[{
 "op": "replace",
 "path": "/hardware_request",
 "value": {"num_nodes": 2}                
}]'

curl -vk -X DELETE "https://<replace with your cloud hostname>/ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&space_id=<replace with your space ID>" -H "Authorization: Bearer <replace with your token>"

サンプル・ノートブック

次のサンプル・ノートブックは、オンデマンドでプログラム的に展開される基礎モデルに対するプロンプトを示します。 ノートブックを実行する前に、 foundation modelをオンデマンドでデプロイする必要があります。

詳細情報

• サポートされるファ基盤モデル
• Prompt Lab
• リソースハブからオンデマンドでファウンデーションモデルを展開。
• デプロイ・オンデマンド・モデルの時間課金レート

親トピック 専用ファンデーションモデルの展開