REST API を使用して、オンデマンドで基盤モデルを展開および管理

配備状況のポーリング

配置 ID を使用して配置ステータスをポーリングできます。 When the status changes from 初期化 to 準備万端, your deployment is ready to use.

次のコードサンプルは、REST API を使用してデプロイメントステータスをポーリングする方法を示しています：

curl -X GET "https://<replace with your cloud hostname>/ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&project_id=<replace with your project ID>" \
-H "Authorization: Bearer <replace with your token>" 

出力:

"deployed_asset_type": "curated_foundation_model"

テキスト形式の応答を生成する

次のコードサンプルは、 /ml/v1/deployments/<deployment ID>/text/generation API エンドポイントを使用してテキスト形式の応答を生成する方法を示しています

次のコードスニペットは、オンライン推論用にオンデマンドで展開された基盤モデルテスト方法を示しています

curl -X POST "https://<replace with your cloud hostname>/ml/v1/deployments/<replace with your deployment ID>/text/generation?version=2024-01-29" \
-H "Authorization: Bearer <replace with your token>" \
-H "content-type: application/json" \
--data '{
 "input": "Hello, what is your name",
 "parameters": {
    "max_new_tokens": 200,
    "min_new_tokens": 20
 }
}'

デプロイされたモデルへのアクセス

REST APIを使用して、デプロイメントスペースにオンデマンドでデプロイされているすべてのファウンデーションモデルのリストを取得するには、クエリパラメータ 'type=curated_foundation_model を設定します。

次のコードサンプルは、REST API を使用して、デプロイメントスペースにオンデマンドでデプロイされているすべての基盤モデルにアクセスする方法を示しています：

curl -X GET "https://<replace with yourcloud hostname>/ml/v4/deployments?version=2024-01-29&space_id=<replace with your space ID>&type=curated_foundation_model" \
-H "Authorization: Bearer <replace with your token>" 

配置の更新

名前、説明、タグなど、配置に必要な配置メタデータを更新します。

次のコードサンプルは、オンデマンドで展開された基盤モデルの名前を更新する方法を示しています

curl -X PATCH "https://<replace with your cloud hostname>//ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&project_id=<replace with your space ID>" \
-H "Authorization: Bearer <replace with your token>" \
-H "content-type: application/json" \
--data '[{
 "op": "replace",
 "path": "/name",
 "value": "<replace with updated deployment name>"
}]'

配備の拡大

デプロイメントスペース、オンデマンド基盤モデル 1つのインスタンスのみデプロイできます。 需要の増加に対応するために、追加のコピーを作成することで配備を拡張できます。

次のコードサンプルは、デプロイのレプリカ数をスケールする方法を示しています：

curl -X PATCH "<replace with your cloud hostname>/ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&space_id=<replace with your space ID>" \
-H "Authorization: Bearer $token" \
-H "content-type: application/json" \
--data '[{
 "op": "replace",
 "path": "/hardware_request",
 "value": {"num_nodes": 2}                
}]'

デプロイメントの削除

課金停止のため、デプロイした基盤モデルを必要がなくなった時点で削除することができます。

次のコードサンプルは、オンデマンドでデプロイされた基盤モデルをREST APIで削除する方法を示しています

curl -vk -X DELETE "https://<replace with your cloud hostname>/ml/v4/deployments/<replace with your deployment ID>?version=2024-01-29&space_id=<replace with your space ID>" -H "Authorization: Bearer <replace with your token>"