Hinzufügen von vektorisierten Dokumenten für die Eingabeaufforderungen des Grundmodells
Hinzufügen von Erdungsdokumenten zu einem Vektorindex, der verwendet werden kann, um Kontextinformationen zu Eingabeaufforderungen des Foundation-Modells für abrufgestützte Generierungsaufgaben hinzuzufügen.
- Erforderliche Berechtigungen
- Um Vektorindex-Assets zu erstellen und sie mit einer Eingabeaufforderung zu verknüpfen, müssen Sie die Rolle Admin oder Editor in einem Projekt haben.
- Datenformat
- Unterschied nach Vektorspeicher.
- Data Size
- Die maximale Dateigröße ist je nach Dateityp unterschiedlich.
Weitere Informationen zu Datenformat und -größe finden Sie unter "Dateitypen für Erdungsdokumente ".
Wenn Sie Fundamentmodelle für Aufgaben zur Beantwortung von Fragen verwenden, können Sie dem Fundamentmodell dabei helfen, sachliche und aktuelle Antworten zu generieren, indem Sie Kontextinformationen zur Eingabeaufforderung des Fundamentmodells hinzufügen. Wenn ein Modell einer Stiftung mit Fakteninformationen gefüttert wird, ist es wahrscheinlicher, dass es diese Fakteninformationen in seine Ergebnisse einfließen lässt.
Weitere Informationen hierzu finden Sie im Abschnitt Vektorisierten Text mit Tasks zur erweiterten Generierung von Abrufe verwenden.
Um Kontextinformationen zu einer Eingabeaufforderung bereitzustellen, fügen Sie zunächst grundlegende Dokumente zu einem Vektorindex-Asset hinzu und verknüpfen Sie dann den Vektorindex mit einer Eingabeaufforderung für ein Basismodell.
Die Aufgabe der Aufnahme von Grundlagendokumenten in einen Index wird im Diagramm der abruferweiterten Generierung durch den Vorverarbeitungsschritt dargestellt, bei dem Unternehmensdokumente vektorisiert werden.
Arten von Vektorspeichern
Sie können einen der folgenden Vektorspeicher verwenden, um Ihre Erdungsdokumente zu speichern:
Im Speicher: Ein Vektorindex der Chroma-Datenbank, der mit Ihrem Projekt verknüpft ist und als temporärer Vektorspeicher dient.
Notiz: Das In-Memory-Vektorindex-Asset wird automatisch für Sie erstellt; Sie müssen den Vektorspeicher nicht einrichten.Elasticsearch : Ein Vektorindex eines Drittanbieters, den Sie einrichten und mit Ihrem Projekt verbinden.
watsonx.data Milvus : Ein Vektorindex eines Drittanbieters, den Sie in watsonx.data einrichten und dann mit Ihrem Projekt verbinden können.
Auswahl eines Vektorspeichers
Wenn Sie einen Vektorindex für Ihre Dokumente erstellen, können Sie den zu verwendenden Vektorspeicher auswählen. Um den richtigen Vektorspeicher für Ihren Anwendungsfall zu finden, sollten Sie die folgenden Faktoren berücksichtigen:
Welche Arten von Dateien kann der Vektorspeicher indizieren?
Die unterstützten Dateitypen unterscheiden sich je nach Vektorspeicher. Einzelheiten finden Sie unter Unterstützte Dateitypen für Erdungsdokumente.
Welche Einbettungsmodelle können mit dem Vektorspeicher verwendet werden?
Die Einbettungsmodelle, die Sie zur Vektorisierung von Dokumenten verwenden können, die Sie dem Index hinzufügen, unterscheiden sich je nach Vektorspeicher. Einzelheiten finden Sie unter Einbettungsmodelle und Vektorisierungseinstellungen.
Wie viele Gründungsdokumente möchten Sie über die Eingabeaufforderungen Ihres Gründungsmodells durchsuchen können?
Wenn Sie eine Verbindung zu einem Vektorspeicher eines Drittanbieters herstellen, können Sie eine der folgenden Optionen wählen:
- Fügen Sie Dateien zur Vektorisierung hinzu und speichern Sie sie in einem neuen Vektorindex oder einer Sammlung im Vektorspeicher.
- Verwenden Sie vektorisierte Daten aus einem vorhandenen Index oder einer Sammlung im Vektorspeicher.
Die Anzahl der Dateien, die Sie dem Vektorspeicher zum Zeitpunkt der Erstellung des Vektorindexes hinzufügen können, ist begrenzt. Wenn Sie mehr Dokumente vektorisieren möchten, z. B. eine Reihe von PDF-Dateien, die größer als 50 MB sind, verwenden Sie einen Vektorspeicher eines Drittanbieters. Mit einem Vektorspeicher eines Drittanbieters können Sie zunächst eine Sammlung oder einen Index mit mehreren Dokumenten direkt aus dem Datenspeicher erstellen. Anschließend können Sie eine Verbindung zu der bestehenden Sammlung oder dem Index herstellen, wenn Sie ein Vektorindex-Asset erstellen, das mit Ihrem Prompt verknüpft werden soll.
Dateitypen für Erdungsdokumente
Wenn Sie Grundlagendokumente hinzufügen, um einen neuen Vektorindex zu erstellen, können Sie Dateien hochladen oder eine Verbindung zu einem Datenbestand herstellen, der Dateien enthält.
In der folgenden Tabelle sind die unterstützten Dateitypen und maximalen Dateigrößen aufgeführt, die Sie beim Erstellen eines neuen Vektorindexes hinzufügen können. Die unterstützten Dateitypen unterscheiden sich je nach Vektorspeicher.
In der ersten Spalte sind die Dateitypen aufgelistet. Die maximal zulässige Gesamtgröße für jeden Dateityp ist in der zweiten Spalte aufgeführt. Ein Häkchen (✓) zeigt an, dass der in der Spaltenüberschrift genannte Vektorspeicher den in der ersten Spalte aufgeführten Dateityp unterstützt.
.txt| Dateityp | Maximale Gesamtdateigröße | Speicherintern | Elasticsearch | Milvus |
|---|---|---|---|---|
| CSV | 5 MB | ✓ | ✓ | |
| docx | 50 MB | ✓ | ✓ | ✓ |
| HTML | 5 MB | ✓ | ✓ | |
| JSON | 5 MB | ✓ | ✓ | |
| PDF-Datei | 50 MB | ✓ | ✓ | ✓ |
| PPTX | 300 MB | ✓ | ✓ | ✓ |
| TXT | 5 MB | ✓ | ✓ | ✓ |
| XLSX | 5 MB | ✓ | ✓ |
Modelle einbetten
Wenn Sie Erdungsdokumente hochladen, wird ein Einbettungsmodell verwendet, um Vektoren zu berechnen, die den Dokumenttext numerisch darstellen. Sie können das zu verwendende Einbettungsmodell auswählen.
Für In-Memory- und Milvus Datenspeicher werden die folgenden Einbettungsmodelle unterstützt:
- all-MiniLM-L6-v2
- Erfordert eine kleinere Chunk-Größe als IBM.
- all-MiniLM-l12-v2
- Erfordert eine kleinere Chunk-Größe als IBM.
- granite-embedding-107m-multilingual
- Standard-Satztransformatormodell basierend auf Bi-Encodern und Teil der IBM Granite Embeddings Suite.
- granite-embedding-278m-multilingual
- Standard-Satztransformatormodell basierend auf Bi-Encodern und Teil der IBM Granite Embeddings Suite.
- slate-30m-english-rtrvr
- IBM-Modell, das schneller ist als die 125m-Version.
- slate-125m-english-rtrvr
- IBM Modell, das genauer ist als die 30m Version.
- slate-30m-english-rtrvr-v2
- Neueste Version IBM, die schneller ist als 125m.
- slate-125m-english-rtrvr-v2
- Neueste Version IBM, die präziser ist als 30m.
Weitere Informationen zu den IBM Einbettungsmodellen finden Sie unter "Unterstützte Encoder-Modelle ".
Für dieElasticsearch Datenspeicher, ELSER (Elastic Learned SparseEncodeR ) Einbettungsmodelle werden unterstützt. Weitere Informationen finden Sie unter ELSER – Elastic Learned SparseEncodeR
Weitere Informationen
- Erstellen eines Vektorindexes
- Chatten mit Dokumenten und Bildern
- Vektorisierung von Text mit Hilfe der API
Übergeordnetes Thema: Daten vorbereiten