Optimierungsmetrik

Wählen Sie eine Metrik für die Optimierung und das Ranking der RAG-Pipelines.

• Die Antworttreue misst, wie genau die generierte Antwort mit dem abgerufenen Text übereinstimmt, einschließlich der semantischen und syntaktischen Übereinstimmungen.
• Die Korrektheit der Antwort misst die Korrektheit der generierten Antwort und umfasst sowohl die Relevanz des abgerufenen Kontexts als auch die Qualität der generierten Antwort.
• Die kontextuelle Korrektheit misst die Relevanz der abgerufenen Inhalte für die ursprüngliche Frage.

Abrufmethoden

Wählen Sie die Methode zum Abrufen der relevanten Daten. Die Retrieval-Methoden unterscheiden sich in der Art und Weise, wie sie Dokumente filtern und einstufen.

• Die Window Retrieval-Methode unterteilt die indizierten Dokumente in Fenster oder Chunks und fügt Inhalte vor und nach dem abgerufenen Chunk hinzu, je nachdem, was im Originaldokument enthalten war.
• Die einfache Retrieval-Methode ruft alle relevanten Passagen aus den Indexdokumenten ab und ordnet sie nach ihrer Relevanz für die Frage. Das am höchsten bewertete Dokument wird als Antwort präsentiert.

Die Abfrage in Fenstern kann eine effizientere Wahl für Abfragen einer relativ kleinen Sammlung von Dokumenten sein. Ein einfacher Abruf kann genauere Ergebnisse für Abfragen in einer größeren Sammlung liefern.

Stiftungsmodelle, die Folgendes umfassen

Standardmäßig sind alle verfügbaren Fundamentmodelle für die Schulung ausgewählt. Wenn Sie das Experiment durchführen, werden die Modelle in eine Rangfolge gebracht und die drei besten werden zur Entwicklung der Muster verwendet. Sie können die Liste der Foundation-Modelle, die AutoAI für die Erstellung der RAG-Pipelines berücksichtigen kann, manuell bearbeiten. Für jedes Modell können Sie auf Modelldetails klicken, um Details über das Modell anzuzeigen oder zu exportieren, einschließlich einer Beschreibung des Verwendungszwecks.

Eine Liste der verfügbaren Stiftungsmodelle mit einer Beschreibung finden Sie unter Stiftungsmodelle nach Aufgabe.

Maximale Anzahl von RAG-Mustern, die ausgeführt werden sollen

Sie können die Anzahl der auszufüllenden RAG-Muster angeben, bis zu einem Maximum von 20. Eine höhere Anzahl von Mustern bietet mehr Vergleichsmöglichkeiten, verbraucht aber auch mehr Rechenressourcen.

Chunking

Die Chunking-Einstellungen bestimmen, wie indizierte Dokumente in kleinere Teile zerlegt werden, damit sie von foundation model verarbeitet werden können. Durch das Chunking von Daten kann foundation model mehrere Datenstücke parallel verarbeiten, was die Effizienz verbessert. Überlappende Abschnitte stellen sicher, dass der Kontext zwischen den Abschnitten nicht verloren geht.

Wie Sie Daten aufteilen, hängt von Ihrem Anwendungsfall ab. Kleinere Einheiten ermöglichen eine detailliertere Interaktion mit dem Text, was beispielsweise bei der Identifizierung von Schlüsselwörtern nützlich ist, während größere Einheiten mehr Kontext bieten können, anstatt sich auf bestimmte Wörter oder Phrasen zu konzentrieren. Für Ihren Anwendungsfall "Chunking" geben Sie Folgendes an:

• Die Anzahl der Zeichen, die in jedem Datenblock enthalten sein sollen.
• Die Anzahl der Zeichen, die sich für das Chunking von Daten überlappen müssen. Die Zahl muss kleiner als die Chunking-Größe sein.

Modelle einbetten

Einbettungsmodelle werden in Retrieval-unterstützten Generierungslösungen zur Kodierung von Textdaten als Vektoren verwendet, um die semantische Bedeutung natürlichsprachlicher Zeichenfolgen zu erfassen. Die vektorisierten Eingabedaten können zum Abrufen ähnlicher Daten aus der indizierten Dokumentensammlung verwendet werden, um Ausgabetext zu erzeugen. Bearbeiten Sie die Liste der Einbettungsmodelle, die AutoAI bei der Durchführung des Experiments berücksichtigen kann.

Eine Liste der Einbettungsmodelle, die für die Verwendung mit AutoAI RAG-Experimenten verfügbar sind, finden Sie unter "Unterstützte Encoder-Modelle" unter watsonx.ai.