IBM watsonx.aiは、厳選された基盤モデルのコレクションを、組織専用の専用ハードウェア上にオンデマンドでデプロイできるようにします。 このアプローチを使用することで、大規模な計算リソースを必要とせずに、これらの強力な基礎モデルの機能にアクセスすることができます。 オンデマンドでデプロイされたFoundationモデルは、専用のデプロイメントスペースにホストされ、推論に使用することができます。
対応基礎モデル
オンデマンドでデプロイ可能なファウンデーション・モデルは、IBMがホストし、時間課金に基づいて請求されます。 これらのモデルはシングル・テナント・モデルである。 従って、これらのモデルのデプロイはあなた専用であり、推論のために他のユーザーと共有されることはありません。 派遣がアクティブである限り、1時間単位の料金が課金されます。 詳しくは、デプロイ・オンデマンド・モデルの時間課金料金をご覧ください。
オンデマンドでデプロイ可能なモデルのリスト、説明、課金料金については、サポートされている基盤モデルを参照してください。
オンデマンドでデプロイされているfoundation modelが非推奨になった場合でも、デプロイを削除するまでそのモデルを使用し続けることができます。
サポートされるデプロイメントタイプ
オンライン配備を作成できるのは、オンデマンドで配備される基盤モデルだけです。 バッチデプロイはサポートされていません。
基礎モデルをオンデマンドで展開するための考慮事項
配置スペースには、オンデマンドで配置できるfoundation modelのインスタンスを 1 つだけ配置できます。 モデルにより多くのリソースが必要な場合、デプロイされたモデル資産をスケールすることによって、より多くのコピーを追加することができます。
制限と制約
オンデマンドでデプロイされる基盤モデルへの需要が高く、それに対応するためのリソースが限られているため、watsonx.aiでは、IBM Cloudアカウント 1 つにつき、小型モデル 4 つ、中型モデル 2 つ、または大型モデル 1 つをデプロイの上限としています。
オンデマンドで展開される基盤モデルには、以下の制限が適用されます：
- オンデマンドでデプロイされるfoundation modelモデルをチューニングすることはできない。
- オンデマンドでデプロイされるfoundation modelモデルをプロンプトテンプレートとして保存することができます。 ただし、オンデマンドでデプロイされるfoundation model用に保存されたプロンプトテンプレートをデプロイすることはできません。 あなたのモデルがRAG(Retrieval Augmented Generation)を使用している場合、あなたのモデルをAIサービスとして展開することができます。
- watsonx.governanceを使用して、オンデマンドでデプロイされるfoundation modelモデルのプロンプト テンプレートを評価または追跡することはできません。
今後のステップ
foundation modelをオンデマンドで展開する方法を選択する：
- いくつかの簡単な手順でResource hubからオンデマンドで基盤モデルをデプロイするには、Resource hubからオンデマンドで基盤モデルをデプロイするを参照してください。
- 基礎モデルをプログラムでデプロイするには、REST APIを使用した基礎モデルのオンデマンドデプロイを参照してください。
親トピック ジェネレーティブAI資産の展開