Wenn Sie eine RAG-Experimentierpipeline (Retrieval-Augmented Generation) speichern, werden automatisch Notizbücher erstellt und im Projekt gespeichert. Im Fall eines Milvus -Experiments können Sie auch ein RAG-Muster als KI-Dienst speichern und bereitstellen. Erfahren Sie mehr über die Optionen zum Speichern eines RAG-Musters und zur Verwendung der Muster in Ihren Anwendungen.
Speichern eines RAG-Musters als automatisch generierte Notizbücher
Nachdem Sie ein Experiment durchgeführt haben, können Sie die generierten Muster überprüfen, die in der Rangliste nach der Leistung in Bezug auf die optimierte Metrik geordnet sind. Wenn Sie mit einem Muster zufrieden sind, können Sie es speichern und so ein oder zwei Notizbücher als Projektbestandteile erzeugen. Wenn Sie ein Milvus -Experiment erstellen, haben Sie auch die Möglichkeit, es sofort als KI-Ressource einzusetzen.
Die Notizbücher, die für ein gespeichertes RAG-Muster generiert werden, hängen von dem für das Experiment verwendeten Vektorspeicher ab, wie folgt:
- Das Index-Notebook befüllt, aktualisiert und pflegt den Vektorindex für die Dokumentensammlung. Alle AutoAI können ein Indexierungsnotizbuch erzeugen.
- Das Inferenz-Notebook bietet einen Endpunkt für die Inferenz gegen ein großes Sprachmodell mit den erweiterten Retrieval-Fähigkeiten. Nur Experimente, die eine Milvus -Datenbank als Vektorspeicher verwenden, generieren ein Inferenznotizbuch.
Für ein Milvus -Experiment packt ein KI-Dienst eine Pipeline für die sofortige Bereitstellung in einen Bereitstellungsbereich, wo Sie Rückschlüsse auf den Endpunkt ziehen können.
Erstellung der Indizierungs- und Schlussfolgerungsnotizbücher
Nachdem Sie Ihre Pipelines überprüft haben, führen Sie die folgenden Schritte aus, um eine Pipeline zu speichern und die zugehörigen Notizbücher zu erstellen.
- Klicken Sie in der Rangliste der Experimente auf den Namen einer Pipeline, um die Details anzuzeigen.
- Klicken Sie auf Speichern. Das Panel listet das oder die Notizbücher auf, die automatisch erstellt werden. Das folgende Bild zeigt zum Beispiel das Speicherfeld für ein Muster, das mit Hilfe der speicherinternen Chroma-Datenbank als Vektorspeicher erstellt wurde.
- Klicken Sie auf Erstellen.
- Öffnen Sie die Notizbücher des zugehörigen Projekts, um den Code zu überprüfen oder auszuführen. Das Indexierungsnotizbuch sieht zum Beispiel wie folgt aus:
Sie können die Notizbücher überprüfen oder ausführen, indem Sie die Authentifizierungsdaten hinzufügen.
Durchsicht des Indexheftes
Das Index-Notebook enthält Python zum Aufbau des Vektordatenbankindex für Ihre Dokumentensammlung.
Das Notizbuch ist mit Anmerkungen versehen, so dass Sie die Schritte und den Code für überprüfen können:
- Abrufen der zu vektorisierenden Daten
- Gruppierung der Daten
- Erstellen der Einbettungen
- Lesen der Benchmark-Daten
- Verwendung der Benchmark-Daten zur Bewertung der Qualität des Abrufs
Durchsicht des Notizbuchs für Schlussfolgerungen
Das Inferenz-Notizbuch enthält Python, um:
- Abrufen relevanter Passagen aus den indizierten Dokumenten für jede Benutzeranfrage
- Generierung einer Antwort auf jede Benutzeranfrage durch Einspeisung der abgerufenen Passagen in ein großes Sprachmodell zur Verwendung in der generierten Antwort
Das Notizbuch ist mit Anmerkungen versehen, so dass Sie die Schritte und den Code für überprüfen können:
- Erstellung der Python für die Inferenz unter Verwendung des RAG-Musters, das im Experiment identifiziert wurde
- Einsetzen der Funktion als Inferenzendpunkt
- Testen des Abrufs relevanter Passagen als Eingabe für die generierte Antwort
Führen Sie das Inferencing-Notebook aus, um das RAG-Muster zum Abrufen und Generieren von Antworten auf Fragen zu verwenden.
Speichern eines RAG-Musters als einsatzfähiger KI-Dienst
Wenn Sie für Ihr Experiment einen Milvus -Vektorspeicher verwendet haben, können Sie Ihr RAG-Muster auch als einsatzfähigen KI-Dienst speichern. Ein KI-Service:
- Ist eine einsetzbare Python -Funktion, die die Logik für das RAG-Muster erfasst.
- Erstellt ein Projekt-Asset.
- Optional wird eine Kopie des Assets in einen Bereitstellungsbereich verschoben und die Bereitstellung erstellt, sodass Sie auf den Endpunkt zugreifen und das Muster ableiten können.
So erstellen und implementieren Sie den KI-Dienst:
- Wählen Sie "Speichern unter" für das RAG-Muster.
- Wählen Sie "Abrufen und Generieren " als Ziel aus.
- Wählen Sie KI-Service als Anlagetyp.
- Wählen Sie "AI-Dienst in den Einsatzbereich befördern und einsetzen ".
- Klicken Sie auf "Erstellen und bereitstellen ".
- Wählen Sie einen vorhandenen Bereitstellungsbereich aus oder erstellen Sie einen neuen Bereitstellungsbereich.
Wenn der Bereitstellungsprozess abgeschlossen ist, klicken Sie auf den Namen der Bereitstellung, um den KI-Dienst zum Testen zu öffnen. Von der Bereitstellung aus können Sie:
- Holen Sie sich den Endpunkt und die Code-Schnipsel aus der Registerkarte "API-Referenz ", um das RAG-Muster in einer Anwendung zu verwenden.
- Wechseln Sie zur Registerkarte "Test ", um neue Fragen im JSON-Format einzugeben oder hochzuladen, die mit dem RAG-Muster verwendet werden sollen. Verwenden Sie dasselbe JSON-Format wie für die Bewertungsfragen, aber geben Sie keine Antworten.
Weitere Informationen
Verwenden Sie die indizierten Dokumente aus diesem Experiment im Prompt Lab, um Prompts für ein foundation model zu erstellen. Siehe Verwendung eines AutoAI Rag-Indexes zum Chatten mit Dokumenten.
Übergeordnetes Thema: Erstellen eines RAG-Experiments