ジェネレーティブAIアセットをプロダクションで使用するためにデプロイし、デプロイされたアセットを監視する。
生成的AIアプリケーションのための配置可能な資産の種類
watsonx.aiを使用すると、ジェネレーティブAIアプリケーション用に以下のアセットをデプロイできます：
プロンプトテンプレートの展開
プロンプト・テンプレートをプロジェクト資産として保存した後、それをデプロイメント・スペースにプロモートできます。 デプロイメントスペースから、プロンプトテンプレートを本番環境にデプロイし、推論用のエンドポイントを取得できます。
watsonx.governance サービスを使用している場合は、ガバナンス要件を満たすために、プロンプト・テンプレートのデプロイメントの詳細をキャプチャーして追跡することもできます。
詳細は、プロンプトテンプレートの展開を参照のこと。
AIサービスの展開
AIサービスは、RAG（Retrieval Augmented Generation）のような生成的AIのユースケースのロジックをキャプチャするために使用できる、デプロイ可能なコードの単位です。 AIサービスが正常にデプロイされたら、アプリケーションからの推論にエンドポイントを使用できます。
プロンプトテンプレートを使用して、プロンプトラボで保存されたプロンプトを作成およびデプロイすることはできますが、RAG（Retrieval Augmented Generation）を使用するジェネレーティブAIアプリケーションをデプロイするために使用することはできません。 RAGアプリケーションをデプロイするには、AIサービスをデプロイする必要がある。 AIサービスは、RAGアプリケーションを展開し、推論にエンドポイントを使用するオプションを提供します。
詳細については、AIサービスの導入を参照してください。
チューニングされたモデルの展開
foundation modelをチューニングし、チューニングしたモデルをプロジェクト・アセットとして保存したら、それをデプロイメント・スペースに昇格させることができます。 デプロイメントスペースから、チューニングされたモデルをテストし、推論用のエンドポイントを取得することができる。
詳細については、チューニングされたfoundation modelのデプロイを参照してください。
カスタム基盤モデルの展開
IBMがキュレーションした基盤モデルで作業するだけでなく、独自の基盤モデルをアップロードしてデプロイすることもできます。 モデルがデプロイされ、watsonx.ai に登録されたら、プロンプトラボからカスタムモデルを推論するプロンプトを作成します。
カスタム・foundation modelを導入することで、ユースケースに適したAIソリューションを柔軟に導入することができます。
詳細については、カスタムfoundation modelのデプロイを参照してください。
基礎モデルのオンデマンド展開
専用ハードウェア上にオンデマンドでfoundation modelを展開し、必要に応じてさまざまなアプリケーションやサービスでfoundation modelを利用できるようにする。 このアプローチを使用することで、大規模な計算リソースを必要とせずに、これらの強力な基礎モデルの機能にアクセスすることができます。 オンデマンドでデプロイされたFoundationモデルは、専用のデプロイメントスペースにホストされ、推論に使用することができます。
詳しくは、基礎モデルをオンデマンドで展開するを参照してください。