基礎モデルのオンデマンド展開

対応基礎モデル

オンデマンドでデプロイ可能なファウンデーション・モデルは、IBMがホストし、時間課金に基づいて請求されます。 これらのモデルはシングル・テナント・モデルである。 従って、これらのモデルのデプロイはあなた専用であり、推論のために他のユーザーと共有されることはありません。 派遣がアクティブである限り、1時間単位の料金が課金されます。 詳しくは、デプロイ・オンデマンド・モデルの時間課金料金をご覧ください。

オンデマンドでデプロイ可能なモデルのリスト、説明、課金料金については、サポートされている基盤モデルを参照してください。

オンデマンドでデプロイされている基盤モデル非推奨になった場合でも、 デプロイメント削除するまでそのモデルを使用し続けることができます。

サポートされるデプロイメントタイプ

オンライン配備を作成できるのは、オンデマンドで配備される基盤モデルだけです。 バッチデプロイはサポートされていません。

基礎モデルをオンデマンドで展開するための考慮事項

デプロイメント・スペース、オンデマンドで配置できる基盤モデルインスタンスを 1 つだけ配置できます。 モデルにより多くのリソースが必要な場合、デプロイされたモデル資産をスケールすることによって、より多くのコピーを追加することができます。

制限と制約

オンデマンドでデプロイされる基盤モデルへの需要が高く、それに対応するためのリソースが限られているため、watsonx.aiでは、IBM Cloudアカウント 1 つにつき、小型モデル 4 つ、中型モデル 2 つ、または大型モデル 1 つをデプロイの上限としています。

オンデマンドで展開される基盤モデルには、以下の制限が適用されます：

• オンデマンドでデプロイされる基盤モデルモデルをチューニングすることはできない。
• オンデマンドでデプロイされる基盤モデルモデルをプロンプトテンプレートとして保存することができます。 ただし、オンデマンドでデプロイされる基盤モデル用に保存されたプロンプトテンプレートをデプロイすることはできません。 あなたのモデルがRAG(Retrieval Augmented Generation)を使用している場合、あなたのモデルをAIサービスとして展開することができます。
• watsonx.governance を使用して、オンデマンドでデプロイされる基盤モデルモデルのプロンプトテンプレートを評価または追跡することはできません。

次のステップ

基盤モデルオンデマンドで展開する方法を選択する：

• いくつかの簡単な手順でResource hubからオンデマンドで基盤モデルをデプロイするには、Resource hubからオンデマンドで基盤モデルをデプロイするを参照してください。
• 基礎モデルをプログラムでデプロイするには、REST APIを使用した基礎モデルのオンデマンドデプロイを参照してください。

親トピック ジェネレーティブAI資産の展開