AIサービスは、ジェネレーティブAIのユースケースのロジックをキャプチャするために使用できる、デプロイ可能なコード単位である。 AIサービスが正常にデプロイされたら、アプリケーションからの推論にエンドポイントを使用できます。
AIサービスによる生成的AIアプリケーションの展開
Python関数は機械学習資産をデプロイする伝統的な方法だが、AIサービスはストリーミングのような生成的AIアプリケーションのコードをデプロイする、より柔軟なオプションを提供する。
予測機械学習モデルをデプロイするための標準的なPython関数とは異なり、固定スキーマでの入力を必要とするが、AIサービスは複数の入力に対する柔軟性を提供し、カスタマイズを可能にする。
AIサービスは、あなたのコード機能を展開するための安全なソリューションを提供します。 例えば、認証に必要なベアラートークンなどの認証情報は、サービスによってタスククレンデンシャルから生成され、トークンはAIサービスアセットで利用できるようになる。 このトークンを使用して、接続アセットを取得したり、データアセットをダウンロードしたりすることができます。
ダイレクト・コーディングによるAIサービスの展開
ジェネレーティブAIアプリケーションを一から構築する場合、AIサービスを使用してアプリケーションのプログラミング・ロジックをキャプチャし、推論用のエンドポイントとともにデプロイすることができる。 例えば、LangChain, LlamaIndex,などのフレームワークを使ってRAGアプリケーションを構築する場合、AIサービスを使うことで、ベクトル・インデックスから答えを取り出すロジックをAIサービスに取り込み、AIサービスをデプロイすることができる。
詳しくは、ダイレクト・コーディングによるAIサービスの導入を参照。
詳細情報
親トピック foundation model資産の展開