Scelta di un negozio di vettori per un esperimento RAG
Prima di eseguire un esperimento di generazione aumentata dal recupero in AutoAI,, è necessario scegliere un database vettoriale per memorizzare e recuperare i dati.
Per gli esperimenti di AutoAI RAG, è possibile scegliere tra tre opzioni di archivio vettoriale:
- Database Chroma in memoria
- Database Milvus
- Elasticsearch
Se si utilizza un archivio vettoriale in una soluzione codificata, utilizzare questo formato per i nomi delle raccolte: autoai_rag_a0b1c2d3_ymdHMS> dove y-anno, m-mese, d-giorno, H-ora, M-minuto, S-secondo.
Database di vettori cromatici
Un archivio vettoriale Chroma in-memory memorizza i dati nella RAM del computer. L'indice dei documenti vettoriali è veloce per l'interrogazione e il recupero dei dati. A causa dei vincoli di memoria, il database in-memory è costruito per insiemi di dati di piccole e medie dimensioni.
Se non si specifica una connessione a un archivio vettoriale, il contenuto vettoriale viene salvato nel database Chroma predefinito, in memoria. Il contenuto non persiste oltre l'esperimento, quindi l'opzione Chroma non è un metodo di produzione praticabile per distribuire un modello RAG.
Milvus database vettoriale
Un database Milvus vector store ha un'architettura scalabile e distribuita. Offre prestazioni elevate nel recupero dei dati grazie a un'indicizzazione ottimizzata e al supporto di numerosi algoritmi di indicizzazione e metriche di distanza. È progettato per grandi set di dati ed è più durevole di un database Chroma.
Il contenuto vettoriale persiste per i modelli futuri. Per ulteriori informazioni, vedere Lavorare con Milvus.
Un database Milvus utilizza questo schema:
| Campo | Tipo |
|---|---|
| documento_id | VarChar |
| indice_inizio | Int64 |
| Sequence_Number | Int64 |
| Testo | VarChar |
| pk | Int64 |
| vettore | FloatVector |
Elasticsearch database vettoriale
Elasticsearch è un motore di ricerca e analisi con funzionalità di ricerca nei negozi di vettori. Come Milvus, è costruito per grandi insiemi di dati e ha un'architettura durevole e scalabile. L'uso del database vettoriale Elasticsearch è vantaggioso per le interrogazioni complesse, perché ha forti capacità di ricerca e filtraggio grazie alle sue origini di motore di ricerca.
Passi successivi
Seguire il percorso rapido per automatizzare la ricerca di un modello RAG.
Argomento principale: Costruire esperimenti RAG con AutoAI