Wenn Sie ein AutoAI Retrieval-augmented generation (RAG)-Muster unter Verwendung eines Milvus-Vektorspeichers erstellt haben, können Sie die indizierten Grundlagendokumente im Prompt-Labor verwenden, um den mit Foundation-Modellen generierten Antworten Kontext hinzuzufügen.
Im Rahmen der Durchführung eines AutoAI zur Retrieval-unterstützten Generierung werden die Grundlagendokumente vektorisiert und in einem Milvus-Vektorspeicher gespeichert. Sie können den vektorisierten Inhalt verwenden, um den generierten Antworten auf Aufforderungen Kontext hinzuzufügen. Weitere Informationen über die Funktion "Mit Dokumenten chatten" des Eingabeaufforderungs-Labors finden Sie unter foundation model in Kontextinformationen verankern.
Vorbereitende Schritte
Um die vektorisierten Dokumente aus Ihrem AutoAI zu verwenden, müssen Sie sicherstellen, dass Sie die folgenden Voraussetzungen erfüllen:
- Eine Verbindung zur Milvus-Datenbankinstanz ist von dem Projekt aus verfügbar, das Sie zum Erstellen von Prompts verwenden.
- Sie haben ein unterstütztes Einbettungsmodell zur Vektorisierung der Dokumente verwendet.
Einzelheiten zur Arbeit im Prompt-Labor mit vektorisiertem Inhalt finden Sie unter Hinzufügen von vektorisierten Dokumenten für foundation model.
Verbinden Sie Ihren Milvus-Index, um mit Dokumenten zu chatten
Wählen Sie im Eingabeaufforderungs-Labor im Chat-Modus ein foundation model aus und geben Sie dann alle Modellparameter an, die Sie für die Eingabeaufforderung verwenden möchten.
Klicken Sie auf das Symbol Dokumente hochladen
, und wählen Sie dann Dokumente hinzufügen.Wählen Sie watsonx.data Milvus als den Vektorspeicher.
Definieren Sie die Details, indem Sie einen Namen für die Erdungsdokumente eingeben und die Verbindung zum Index auswählen.
Geben Sie das Einbettungsmodell an, das zur Erstellung des AutoAI RAG-Musters verwendet wird:
slate-125m-english-rtrvr.Wählen Sie die Sammlung aus, die als Grundlagendokumente verwendet werden soll.
Definieren Sie das Feldschema der Milvus-Sammlung und geben Sie
document_idfür das Feld Dokumentenname undtextals Wert für das Feld Text an.Klicken Sie auf Erstellen.
Stellen Sie Fragen zu Informationen aus dem Dokument, um zu sehen, wie gut das Modell die Kontextinformationen nutzen kann, um Ihre Fragen zu beantworten.
Fragen Sie zum Beispiel nach Konzepten, die in den Grundlagendokumenten erläutert werden.
Übergeordnetes Thema: Automatisieren eines RAG-Musters mit AutoAI