Hinzufügen von Grundlagendokumenten zu einem Vektorindex, der verwendet werden kann, um kontextuelle Informationen zu foundation model Prompts für Retrieval-unterstützte Generierungsaufgaben hinzuzufügen.
- Erforderliche Berechtigungen
- Um Vektorindex-Assets zu erstellen und sie mit einer Eingabeaufforderung zu verknüpfen, müssen Sie die Rolle Admin oder Editor in einem Projekt haben.
- Datenformat
- Unterschied nach Vektorspeicher. Siehe Unterstützte Dateitypen für Erdungsdokumente.
- Data Size
- Die maximale Dateigröße ist je nach Dateityp unterschiedlich. Siehe Unterstützte Dateitypen für Erdungsdokumente.
Wenn Sie Basismodelle für die Beantwortung von Fragen verwenden, können Sie das foundation model dabei unterstützen, sachliche und aktuelle Antworten zu generieren, indem Sie der Aufforderung des foundation model Kontextinformationen hinzufügen. Wenn ein foundation model faktische Informationen als Input erhält, ist es wahrscheinlicher, dass es diese faktischen Informationen in seinen Output einbezieht.
Weitere Informationen hierzu finden Sie im Abschnitt Vektorisierten Text mit Tasks zur erweiterten Generierung von Abrufe verwenden.
Um einer Eingabeaufforderung kontextbezogene Informationen zur Verfügung zu stellen, fügen Sie zunächst Grundlagendokumente zu einem Vektorindex-Asset hinzu und verknüpfen dann den Vektorindex mit einer foundation model.
Die Aufgabe der Aufnahme von Grundlagendokumenten in einen Index wird im Diagramm der abruferweiterten Generierung durch den Vorverarbeitungsschritt dargestellt, bei dem Unternehmensdokumente vektorisiert werden.
Unterstützte Vektorspeicher
Sie können einen der folgenden Vektorspeicher verwenden, um Ihre Erdungsdokumente zu speichern:
Im Speicher: Ein Vektorindex der Chroma-Datenbank, der mit Ihrem Projekt verknüpft ist und als temporärer Vektorspeicher dient.
Notiz: Das In-Memory-Vektorindex-Asset wird automatisch für Sie erstellt; Sie müssen den Vektorspeicher nicht einrichten.Elasticsearch : Ein Vektorindex eines Drittanbieters, den Sie einrichten und mit Ihrem Projekt verbinden.
watsonx.data Milvus : Ein Vektorindex eines Drittanbieters, den Sie einrichten können inwatsonx.data , und stellen Sie dann eine Verbindung zu Ihrem Projekt her.
Auswahl eines Vektorspeichers
Wenn Sie einen Vektorindex für Ihre Dokumente erstellen, können Sie den zu verwendenden Vektorspeicher auswählen. Um den richtigen Vektorspeicher für Ihren Anwendungsfall zu finden, sollten Sie die folgenden Faktoren berücksichtigen:
Welche Arten von Dateien kann der Vektorspeicher indizieren?
Die unterstützten Dateitypen unterscheiden sich je nach Vektorspeicher. Einzelheiten finden Sie unter Unterstützte Dateitypen für Erdungsdokumente.
Welche Einbettungsmodelle können mit dem Vektorspeicher verwendet werden?
Die Einbettungsmodelle, die Sie zur Vektorisierung von Dokumenten verwenden können, die Sie dem Index hinzufügen, unterscheiden sich je nach Vektorspeicher. Einzelheiten finden Sie unter Einbettungsmodelle und Vektorisierungseinstellungen.
Wie viele Grundlagendokumente möchten Sie über die Eingabeaufforderungen Ihres foundation model suchen können?
Wenn Sie eine Verbindung zu einem Vektorspeicher eines Drittanbieters herstellen, können Sie eine der folgenden Optionen wählen:
- Fügen Sie Dateien zur Vektorisierung hinzu und speichern Sie sie in einem neuen Vektorindex oder einer Sammlung im Vektorspeicher.
- Verwenden Sie vektorisierte Daten aus einem vorhandenen Index oder einer Sammlung im Vektorspeicher.
Die Anzahl der Dateien, die Sie dem Vektorspeicher zum Zeitpunkt der Erstellung des Vektorindexes hinzufügen können, ist begrenzt. Wenn Sie mehr Dokumente vektorisieren möchten, z. B. eine Reihe von PDF-Dateien, die größer als 50 MB sind, verwenden Sie einen Vektorspeicher eines Drittanbieters. Mit einem Vektorspeicher eines Drittanbieters können Sie zunächst eine Sammlung oder einen Index mit mehreren Dokumenten direkt aus dem Datenspeicher erstellen. Anschließend können Sie eine Verbindung zu der bestehenden Sammlung oder dem Index herstellen, wenn Sie ein Vektorindex-Asset erstellen, das mit Ihrem Prompt verknüpft werden soll.
Unterstützte Dateitypen für Erdungsdokumente
Wenn Sie Grundlagendokumente hinzufügen, um einen neuen Vektorindex zu erstellen, können Sie Dateien hochladen oder eine Verbindung zu einem Datenbestand herstellen, der Dateien enthält.
In der folgenden Tabelle sind die unterstützten Dateitypen und maximalen Dateigrößen aufgeführt, die Sie beim Erstellen eines neuen Vektorindexes hinzufügen können. Die unterstützten Dateitypen unterscheiden sich je nach Vektorspeicher.
In der ersten Spalte sind die Dateitypen aufgelistet. Die maximal zulässige Gesamtgröße für jeden Dateityp ist in der zweiten Spalte aufgeführt. Ein Häkchen (✓) zeigt an, dass der in der Spaltenüberschrift genannte Vektorspeicher den in der ersten Spalte aufgeführten Dateityp unterstützt.
| Dateityp | Maximale Gesamtdateigröße | Speicherintern | Elasticsearch | Milvus |
|---|---|---|---|---|
| CSV | 5 MB | ✓ | ✓ | |
| docx | 10 MB | ✓ | ✓ | ✓ |
| HTML | 5 MB | ✓ | ✓ | |
| JSON | 5 MB | ✓ | ✓ | |
| PDF-Datei | 50 MB | ✓ | ✓ | ✓ |
| pptx | 300 MB | ✓ | ✓ | ✓ |
| TXT | 5 MB | ✓ | ✓ | ✓ |
| XLSX | 5 MB | ✓ | ✓ |
Unterstützte Einbettungsmodelle
Wenn Sie Grounding-Dokumente hochladen, wird ein Einbettungsmodell verwendet, um Vektoren zu berechnen, die den Text des Dokuments darstellen. Sie können das zu verwendende Einbettungsmodell auswählen.
Für In-Memory- und Milvus-Datenspeicher werden die folgenden Einbettungsmodelle unterstützt:
- all-MiniLM-L6-v2
- Benötigt eine kleinere Chunk-Größe als die IBM Slate-Einbettungsmodelle. Weitere Informationen zu diesem Modell finden Sie unter all-MiniLM-L6-v2.
- slate-30m-english-rtrvr
- IBM-Modell, das schneller ist als die 125m-Version.
- slate-125m-english-rtrvr
- IBM Modell, das genauer ist als die 30m Version.
Weitere Informationen zu den IBM Slate-Modellen finden Sie unter Unterstützte Gebermodelle.
Für dieElasticsearch Datenspeicher, ELSER (Elastic Learned SparseEncodeR ) Einbettungsmodelle werden unterstützt. Weitere Informationen finden Sie unter ELSER – Elastic Learned SparseEncodeR
Weitere Informationen
- Erstellen eines Vektorindexes
- Chatten mit Dokumenten und Bildern
- Vektorisierung von Text mit Hilfe der API
Übergeordnetes Thema: Daten in einem Projekt abrufen und vorbereiten