Elegir un almacén de vectores para un experimento GAR
Antes de ejecutar un experimento de generación aumentada por recuperación en AutoAI, debe elegir una base de datos vectorial para almacenar y recuperar datos.
Para los experimentos de AutoAI RAG, puede elegir entre tres opciones de almacén de vectores:
- Base de datos Chroma en memoria
- Base de datos Milvus
- Elasticsearch
Si utiliza un almacén vectorial en una solución codificada, utilice este formato para los nombres de las colecciones: autoai_rag_a0b1c2d3_ymdHMS> donde y-año, m-mes, d-día, H-horas, M-minuto, S-segundo.
Base de datos de vectores cromáticos
Un almacén vectorial Chroma en memoria almacena los datos en la RAM de tu ordenador. El índice de documentos vectorizados es rápido para consultar y recuperar datos. Debido a las limitaciones de memoria, la base de datos en memoria está pensada para conjuntos de datos de tamaño pequeño o mediano.
Si no se especifica una conexión a un almacén de vectores, el contenido vectorizado se guarda en la base de datos Chroma en memoria por defecto. El contenido no persiste más allá del experimento, por lo que la opción Chroma no es un método de producción viable para desplegar un patrón RAG.
Milvus base de datos vectorial
La base de datos Milvus vector store tiene una arquitectura escalable y distribuida. Ofrece un alto rendimiento en la recuperación de datos cuando tiene una indexación optimizada y admite muchos algoritmos de indexación y métricas de distancia. Está pensada para grandes conjuntos de datos y es más duradera que una base de datos Chroma.
El contenido vectorizado persiste para futuros patrones. Para más detalles, consulte Trabajar con Milvus.
Una base de datos Milvus utiliza este esquema:
| Campo | Tipo |
|---|---|
| document_id | VarChar |
| inicio_índice | Int64 |
| Sequence_Number | Int64 |
| Texto | VarChar |
| PK | Int64 |
| vector | FloatVector |
Elasticsearch base de datos vectorial
Elasticsearch es un motor de búsqueda y análisis que cuenta con funciones de búsqueda en tiendas de vectores. Al igual que Milvus, está pensado para grandes conjuntos de datos y cuenta con una arquitectura duradera y escalable. El uso de la base de datos vectorial Elasticsearch es beneficioso para las consultas complejas, ya que tiene grandes capacidades de búsqueda y filtrado debido a sus raíces en los motores de búsqueda.
Próximos pasos
Siga la ruta rápida para automatizar la búsqueda de un patrón RAG.
Tema principal: Creación de experimentos RAG con AutoAI