Before you run a retrieval-augmented generation experiment in AutoAI, you must choose a vector database to store and retrieve data.
AutoAIRAG実験では、2つのベクターストアオプションから選択できます:
- インメモリChromaデータベース
- ミルヴァス・データベース
クロマ・ベクター・データベース
メモリ内のChromaベクターストアは、コンピュータのRAM上にデータを保存します。 ベクトル化された文書のインデックスは、データの検索や取得が高速です。 メモリ制約のため、インメモリデータベースは小規模から中規模のデータセット向けに構築されている。
ベクターストアへの接続を指定しない場合、ベクター化されたコンテンツはデフォルトのインメモリChromaデータベースに保存されます。 そのため、クロマオプションはRAGパターンを展開するための有効な制作方法ではない。
Milvus ベクトルデータベース
Milvus のベクターストアデータベースは、拡張性と分散アーキテクチャを備えています。 最適化された索引付けを行い、多くの索引付けアルゴリズムと距離メトリクスをサポートすることで、データ検索において高いパフォーマンスを発揮する。 大規模なデータセット用に構築されており、Chroma データベースよりも耐久性に優れています。
ベクトル化されたコンテンツは、将来のパターンのために持続する。 詳細は、 Milvus の操作を参照してください。
Milvus を暗号化ソリューションで使用する場合は、命名規則とデータベーススキーマのルールを理解してください
- コレクション名には次の形式を使用する:
autoai_rag_a0b1c2d3_ymdHMS>
。y年、m月、d日、H時、M分、S秒。 - Milvus データベースは、このスキーマを使用しています
フィールド | タイプ |
---|---|
ドキュメントID | VarChar |
開始インデックス | Int64 |
シーケンス番号 | Int64 |
テキスト | VarChar |
PK | Int64 |
ベクトル | FloatVector |
今後のステップ
高速パスに従って 、RAGパターンの検索を自動化する
親トピック AutoAIでRAG実験を構築する