Auswahl eines Vektorspeichers für ein RAG-Experiment
Bevor Sie ein Experiment zur erweiterten Generierung in AutoAI, ausführen, müssen Sie eine Vektordatenbank zum Speichern und Abrufen von Daten auswählen.
Für AutoAI RAG-Experimente können Sie zwischen zwei Vektorspeicheroptionen wählen:
- In-Memory Chroma-Datenbank
- Milvus-Datenbank
Chroma-Vektor-Datenbank
Ein speicherinterner Chroma-Vektorspeicher speichert Daten im RAM Ihres Computers. Der Index der vektorisierten Dokumente ermöglicht eine schnelle Abfrage und das Abrufen von Daten. Aufgrund von Speicherbeschränkungen ist die In-Memory-Datenbank für kleine bis mittelgroße Datensätze ausgelegt.
Wenn Sie keine Verbindung zu einem Vektorspeicher angeben, wird der vektorisierte Inhalt in der standardmäßigen In-Memory-Chroma-Datenbank gespeichert. Der Inhalt bleibt nicht über das Experiment hinaus bestehen, so dass die Chroma-Option keine praktikable Produktionsmethode für den Einsatz eines RAG-Musters darstellt.
Milvus vektordatenbank
Eine Milvus -Vektordatenbank verfügt über eine skalierbare und verteilte Architektur. Es bietet eine hohe Leistung beim Abrufen von Daten, wenn es eine optimierte Indizierung hat und viele Indizierungsalgorithmen und Abstandsmetriken unterstützt. Sie ist für große Datenmengen ausgelegt und ist langlebiger als eine Chroma-Datenbank.
Der vektorisierte Inhalt bleibt für zukünftige Muster erhalten. Weitere Informationen finden Sie unter "Arbeiten mit Milvus ".
Wenn Sie Milvus in einer verschlüsselten Lösung verwenden, machen Sie sich mit den Regeln für Namenskonventionen und Datenbankschema vertraut:
- Die Namen der Sammlungen haben dieses Format:
autoai_rag_a0b1c2d3_ymdHMS> - Eine Milvus -Datenbank verwendet dieses Schema:
| Feld | Typ |
|---|---|
| dokument_id | VarChar |
| start_index | Int64 |
| Sequence_Number (Folgenummer) | Int64 |
| Text | VarChar |
| pk | Int64 |
| Vektor | FloatVector |
Elasticsearch vektordatenbank
Elasticsearch ist eine Such- und Analysemaschine, die über Suchfunktionen für Vektorspeicher verfügt. Wie Milvus ist es für große Datenmengen ausgelegt und verfügt über eine robuste und skalierbare Architektur. Die Verwendung der Vektordatenbank Elasticsearch ist für komplexe Abfragen von Vorteil, da sie aufgrund ihrer Wurzeln in der Suchmaschine über starke Such- und Filterfunktionen verfügt.
Nächste Schritte
Folgen Sie dem schnellen Weg, um die Suche nach einem RAG-Muster zu automatisieren
Übergeordnetes Thema: Aufbau von RAG-Experimenten mit AutoAI