カスタムfoundation modelを配置した後、配置を管理および更新できます。
デプロイメントスペースの UIまたはプログラムから、デプロイされたfoundation modelモデルを管理および更新できます。
デプロイメントスペースからカスタムfoundation modelのデプロイメントを管理する
配置スペースで、カスタム モデル配置へのアクセス、更新、スケーリ ング、削除、パフォーマンスの監視を行うことができます。
配置スペースから配置の詳細にアクセスする
配置の詳細を確認または更新するには、次の手順に従います:
- 配置スペースの[配置]タブから、配置名をクリックします。
- カスタムfoundation modelの配置に関連する情報にアクセスするには、[配置の詳細]タブをクリックします。
配置スペースから配置の詳細を更新する
名前、サービング名、説明、ハードウェア仕様など、カスタムfoundation model展開の詳細を更新できます。 詳細については、配置を更新するを参照してください。
デプロイメントスペースでのデプロイのスケーリング
配置に作成するコピーの数を増やすことで、配置を拡張できます。 詳細については、配置をスケーリングするを参照してください。
デプロイメント・スペースからのデプロイメントの削除
カスタムfoundation modelのデプロイメントが不要になったら削除して、リソースを解放することができます。 詳細は、配置を削除するを参照してください。
カスタムfoundation modelを定期的に使用するワークフローでは、モデルをデプロイするたびに同じサービング名を割り当てることを検討してください。 こうすることで、モデルを削除して再デプロイした後も、コード内で同じエンドポイントを使い続けることができます。
デプロイメントスペースからデプロイメントのパフォーマンスを監視する
watsonx.governanceインスタンスをプロビジョニングし、公平性、品質、ドリフト、説明可能性のモニターを設定することで、パフォーマンスを測定し、モデルの予測を理解するために、カスタムfoundation modelの展開を評価することができます。 詳しくは、 watsonx.governanceを使ったスペースでのデプロイメントの評価をご覧ください。
カスタムfoundation modelのデプロイをプログラムで管理する
前提条件
カスタムモデルのデプロイメントにプログラムでアクセスし、更新、スケー ル、削除、パフォーマンスの監視を行うことができます。
watsonx.ai APIを使用するには、ベアラートークンが必要です。 詳細については、プログラム・アクセスのための認証情報を参照してください。
プログラムによる配置の更新
配置をプログラムで更新または削除するには、まず、配置済みモデルのリストを取得し、配置の正しいメタデータを見つけます。
デプロイ済みモデルのリスト取得
指定したプロジェクトIDのデプロイメントのリストを取得します。 カスタム基盤モデルを指すすべてのデプロイメントをフィルタリングするには、type=custom_foundation_model
クエリパラメータを使用します。 このコード例を参照:
curl -X GET "https://<your cloud hostname>/ml/v4/deployments?version=2024-01-29&project_id=<your project ID>&type=custom_foundation_model" \
-H "Authorization: Bearer $TOKEN"
デプロイされたモデルで更新できるフィールド:
name
description
tags
serving_name
asset
hardware_spec
software_spec
/online/parameters
/online/parameters/serving_name
/online/parameters/foundation_model
例:
curl -X PATCH "https://<your cloud hostname>//ml/v4/deployments/<your deployment ID>?version=2024-01-29&project_id=<your project ID>" \
-H "Authorization: Bearer $TOKEN" \
-H "content-type: application/json" \
--data '[{
"op": "replace",
"path": "/name",
"value": "<updated deployment name>"
}]'
デプロイメントをプログラムで削除する
foundation modelのデプロイメントを削除したい場合は、次のコードを使用します:
curl -vk -X DELETE "https://<your cloud hostname>/ml/v4/deployments/<your deployment ID>?version=2024-01-29&project_id=<your project ID>" -H "Authorization: Bearer $TOKEN"
デプロイメントスペースからデプロイメントのパフォーマンスを監視する
watsonx.governanceインスタンスをプロビジョニングし、公平性、品質、ドリフト、説明可能性のモニターを設定することで、パフォーマンスを測定し、モデルの予測を理解するために、カスタムfoundation modelの展開を評価することができます。 詳しくは、 watsonx.governanceを使ったスペースでのデプロイメントの評価をご覧ください。
デプロイメントをプログラムで拡張する
詳細は、プログラムによる配置のスケーリングを参照してください。
今後のステップ
親トピック: カスタム基礎モデルの展開