Choix d'un magasin de vecteurs pour une expérience RAG
Avant d'exécuter une expérience de génération augmentée par récupération dans AutoAI,, vous devez choisir une base de données vectorielle pour stocker et récupérer les données.
Pour les expériences AutoAI RAG, vous pouvez choisir entre deux options de stockage de vecteurs :
- Base de données Chroma en mémoire
- Base de données Milvus
Base de données de vecteurs chromatiques
Un Chroma vector store en mémoire stocke les données dans la mémoire vive de votre ordinateur. L'index des documents vectorisés est rapide pour l'interrogation et l'extraction des données. En raison des contraintes de mémoire, la base de données en mémoire est conçue pour des ensembles de données de taille petite à moyenne.
Si vous ne spécifiez pas de connexion à un magasin de vecteurs, le contenu vectorisé est enregistré dans la base de données Chroma par défaut, en mémoire. Le contenu ne persiste pas au-delà de l'expérience, de sorte que l'option Chroma n'est pas une méthode de production viable pour déployer un motif RAG.
Milvus base de données vectorielles
Une base de données Milvus vector store possède une architecture évolutive et distribuée. Il offre des performances élevées en matière de recherche de données lorsqu'il dispose d'une indexation optimisée et prend en charge de nombreux algorithmes d'indexation et de métriques de distance. Elle est conçue pour les grands ensembles de données et est plus durable qu'une base de données Chroma.
Le contenu vectorisé est conservé pour les modèles futurs. Pour plus de détails, voir Travailler avec Milvus.
Si vous utilisez Milvus dans une solution codée, familiarisez-vous avec les règles relatives aux conventions de dénomination et au schéma de la base de données :
- Les noms de collection utilisent le format suivant :
autoai_rag_a0b1c2d3_ymdHMS>
où a-année, m-mois, j-jour, H-heures, M-minutes, S-secondes. - Une base de données Milvus utilise ce schéma :
Zone | Type |
---|---|
document_id | VarChar |
index_début | Int64 |
Sequence_Number | Int64 |
texte | VarChar |
CP | Int64 |
vecteur | FloatVector |
Etapes suivantes
Suivez le chemin rapide pour automatiser la recherche d'un motif RAG
Sujet parent : Construire des expériences RAG avec AutoAI