Choix d'un magasin de vecteurs pour une expérience RAG
Avant d'exécuter une expérience de génération augmentée par récupération dans AutoAI,, vous devez choisir une base de données vectorielle pour stocker et récupérer les données.
Pour les expériences AutoAI RAG, vous avez le choix entre trois options de stockage de vecteurs :
- Base de données Chroma en mémoire
- Base de données Milvus
- Elasticsearch
Si vous utilisez une mémoire vectorielle dans une solution codée, utilisez ce format pour les noms de collection : autoai_rag_a0b1c2d3_ymdHMS> où y-year, m-month, d-day, H-hours, M-minute, S-second.
Base de données de vecteurs chromatiques
Un Chroma vector store en mémoire stocke les données dans la mémoire vive de votre ordinateur. L'index des documents vectorisés est rapide pour l'interrogation et l'extraction des données. En raison des contraintes de mémoire, la base de données en mémoire est conçue pour des ensembles de données de taille petite à moyenne.
Si vous ne spécifiez pas de connexion à un magasin de vecteurs, le contenu vectorisé est enregistré dans la base de données Chroma par défaut, en mémoire. Le contenu ne persiste pas au-delà de l'expérience, de sorte que l'option Chroma n'est pas une méthode de production viable pour déployer un motif RAG.
Milvus base de données vectorielles
Une base de données Milvus vector store possède une architecture évolutive et distribuée. Il offre des performances élevées en matière de recherche de données lorsqu'il dispose d'une indexation optimisée et prend en charge de nombreux algorithmes d'indexation et de métriques de distance. Elle est conçue pour les grands ensembles de données et est plus durable qu'une base de données Chroma.
Le contenu vectorisé est conservé pour les modèles futurs. Pour plus de détails, voir Travailler avec Milvus.
Une base de données Milvus utilise ce schéma :
| Zone | Type |
|---|---|
| document_id | VarChar |
| index_début | Int64 |
| Sequence_Number | Int64 |
| texte | VarChar |
| CP | Int64 |
| vecteur | FloatVector |
Elasticsearch base de données vectorielles
Elasticsearch est un moteur de recherche et d'analyse qui offre des capacités de recherche dans les magasins de produits vectoriels. Comme Milvus, il est conçu pour les grands ensembles de données et possède une architecture durable et évolutive. L'utilisation de la base de données vectorielles Elasticsearch est avantageuse pour les requêtes complexes, car elle possède de fortes capacités de recherche et de filtrage en raison de son ancrage dans les moteurs de recherche.
Etapes suivantes
Suivez le chemin rapide pour automatiser la recherche d'un motif RAG.
Sujet parent : Construire des expériences RAG avec AutoAI