カスタム・foundation modelのデプロイメントを作成する

watsonx.ai ユーザー インターフェイスからデプロイメントを作成する

Copy link to section

カスタムfoundation modelの配置を作成するには、次の手順に従います：

1. デプロイメント スペースまたはプロジェクトで、[アセット]タブに移動します。

2. アセットリストからモデルを見つけ、メニューアイコン「」をクリックし、「Deploy」を選択します。

3. 配置の名前を入力し、オプションでサービング名、説明、タグを入力します。

   注:

   • 配置 ID の代わりに配置名を指定するには、[配置名]フィールドを使用します。
   • サービング名は名前空間内で一意でなければならない。
   • サービング名には、以下の文字のみを含める必要があります：a-z,0-9,_]を含み、最大36文字でなければなりません。
   • カスタムfoundation modelを定期的に使用するワークフローでは、モデルをデプロイするたびに同じサービング名を割り当てることを検討してください。 こうすることで、モデルを削除して再デプロイした後も、コード内で同じエンドポイントを使い続けることができます。

4. お使いのモデルの構成とソフトウェア仕様を選択してください。

5. オプション: 基本モデル パラメータの一部を上書きしたい場合は、モデル展開パラメータをクリックし、新しいパラメータ値を入力します：

   • データ型: float16またはbfloat16を選択して、モデルのデータ型を指定します。
   • 最大バッチサイズ： モデルの最大バッチサイズを入力してください。
   • 最大同時リクエスト数:モデルに対して行うことができる最大同時リクエスト数を入力します。
   • Max new tokens:推論要求に対してモデル用に作成できるトークンの最大数を入力します。
   • 最大シーケンス長: モデルの最大シーケンス長を入力してください。

6. 「作成」 をクリックします。

プログラムでデプロイメントを作成する

Copy link to section

watsonx.ai APIを使用するには、ベアラートークンが必要です。 詳細については、プログラム・アクセスのための認証情報を参照してください。

カスタム・foundation modelをプログラムでデプロイするには：

1. モデルの展開を開始する。 宇宙への配備の例については、このコードを参照のこと：

   curl -X POST "https://<your cloud hostname>/ml/v4/deployments?version=2024-01-29" \
   -H "Authorization: Bearer $TOKEN" \
   -H "content-type: application/json" \
   --data '{
     "asset":{
       "id":<your custom foundation model asset id>
     },
     "online":{
       "parameters":{
         "serving_name":"test_custom_fm",
         "foundation_model": {
             "max_sequence_length": 4096
         }
       }
     },
     "hardware_request": {
       "size": "<configuration size>",
       "num_nodes": 1
     },
     "description": "Testing deployment using custom foundation model",
     "name":"custom_fm_deployment",
     "space_id":<your space id>
   }'
   Copy to clipboardクリップボードにコピーされましたShow more

   size パラメータは、 gpu_xs、 gpu_s、 gpu_m、または gpu_l とすることができます。
   For project deployments, instead of space_id use project_id.

   デプロイメントIDはAPIレスポンスのmetadata.idフィールドに返されます。

2. 配置 ID を使用して配置ステータスをポーリングする。 プロジェクトにデプロイされたモデルのステータスをポーリングする方法の例については、このコードを参照してください。

   curl -X GET "https://<your cloud hostname>/ml/v4/deployments/<your deployment ID>?version=2024-01-29&project_id=<your project ID>" \
   -H "Authorization: Bearer $TOKEN"
   Copy to clipboardクリップボードにコピーされました

   deployed_asset_typeはcustom_foundation_modelとして返されます。 ステータスがinitializingからreadyに変わるまで待つ。

次のステップ

Copy link to section

カスタム・foundation modelのプロンプト

親トピック: カスタム基礎モデルの展開