Jedes foundation model hat eine maximale Kontextlänge, d. h. die maximale Anzahl von Token, die in der Eingabe plus der generierten Ausgabe für eine Eingabeaufforderung zulässig sind. Wenn Sie häufig an diese Grenze stoßen, wenn Sie ein foundation model verwenden, um eine Aufgabe zu erledigen, versuchen Sie eine der folgenden Abhilfen.
Die maximale Kontextlänge schwankt je nach foundation model zwischen 4.096 und 131.072 Token. Die Begrenzung der Kontextlänge kann ein Problem darstellen, insbesondere wenn Sie ein foundation model für die abruferweiterte Generierung, Zusammenfassung oder Konversationsaufgaben verwenden.
Die folgenden Techniken können Ihnen dabei helfen, einem foundation model den Kontext zu geben, den es benötigt, um eine Aufgabe zu erledigen, ohne die Grenze des Kontextfensters des Modells zu überschreiten.
- Weniger Token mit RAG-Eingaben senden
- Komplexe Tasks teilen und überwinden
- Dialogkontext zusammenfassen
- Tokenanzahl mit Nullanforderungen verringern
Weniger Token mit RAG-Eingaben senden
Retrieval-augmented generation (RAG) ist eine Technik, bei der ein foundation model mit Wissen aus externen Quellen angereichert wird, um Text zu generieren. Im Abrufschritt werden relevante Dokumente aus einer externen Quelle aus der Abfrage des Benutzers identifiziert. Im Generierungsschritt werden Teile dieser Dokumente in die Eingabeaufforderung foundation model aufgenommen, um eine Antwort zu generieren, die sich auf die abgerufenen Dokumente stützt.
Wenn Sie eine Eingabeaufforderung mit zu vielen Erdungsinformationen senden, kann die Eingabe die Grenze des Kontextfensters des foundation model überschreiten. Verwenden Sie einige der folgenden Verfahren, um diese Einschränkung zu umgehen.
- Inhalt nach Relevanz klassifizieren
- Lange Dokumente zusammenfassen
- Texteinbettungen aus dem Inhalt generieren
Weitere Informationen zu RAG finden Sie unter Retrieval-augmented generation (RAG).
Inhalt nach Relevanz klassifizieren
Verwenden Sie ein foundation model, das Inhalte gut klassifizieren kann, um zunächst festzustellen, ob ein Dokument eine Frage tatsächlich beantworten kann, bevor es in eine Abfrage aufgenommen wird.
Sie können beispielsweise eine Eingabeaufforderung wie For each question and sample document, check whether the document contains the information that is required to answer the question. If the sample document appears to contain information that is useful for answering the question, respond 'Yes'. Otherwise, respond 'No'. verwenden.
Wenn Sie den Parameter Max. Token auf 1 setzen, gibt das Modell mit höherer Wahrscheinlichkeit eine Ja-oder Nein-Antwort zurück.
Verwenden Sie diese Klassifizierungsmethode, um irrelevante Dokumente oder Sätze zu suchen und zu entfernen, die von der Suche abgerufen werden. Kombinieren Sie dann die relevanten Inhalte neu, um sie mit der Frage in der foundation model zu versenden.
Lange Dokumente zusammenfassen
Verwenden Sie bei langen Dokumenten ein foundation model, um Abschnitte des Dokuments zusammenzufassen. Sie können dann eine Zusammenfassung dieser Zusammenfassungen einreichen, anstatt das gesamte Dokument an das foundation model zu übermitteln.
Wenn Sie beispielsweise eine hilfreiche Zusammenfassung aus einer langen Besprechungsmitschrift generieren möchten, können Sie die Mitschrift in viele kleinere Blöcke aufteilen und jede einzelne einzeln zusammenfassen. Oder Sie können Segmente mit Beiträgen verschiedener Sprecher suchen und extrahieren. Anschließend können Sie die Zusammenfassungen als Kontext für die Aufforderung, die Sie dem foundation model übermitteln, aneinanderreihen.
Texteinbettungen aus dem Inhalt generieren
Eine Texteinbettung ist eine numerische Darstellung einer Informationseinheit, z. B. eines Wortes oder eines Satzes, als Vektor reeller Zahlen.
Führen Sie die folgenden Schritte aus, um Texteinbettungen in einem RAG-Anwendungsfall zu nutzen:
Verwenden Sie einen Textsplitter, um den Inhalt in aussagekräftige Segmente aufzuteilen.
Sie können zum Beispiel einen rekursiven Zeichensplitter verwenden, um das Dokument in Segmente zu unterteilen, die den vom foundation model festgelegten Syntax- und Zeichenbeschränkungsanforderungen entsprechen. Siehe LangChain: Rekursive Aufteilung nach Zeichen.
Verwenden Sie ein Einbettungsmodell, um die Dokumentblöcke in Vektoren zu konvertieren, die die Bedeutung des Dokumentsegments erfassen.
Speichern Sie die Vektoren, die Ihre Dokumentsegmente darstellen, in einer Vektordatenbank.
Zur Laufzeit durchsuchen Sie den Vektorspeicher anhand von Schlüsselwörtern oder einer Suchanfrage, um die relevantesten Dokumentensegmente zu finden, die in das foundation model eingespeist werden.
Durch die Umwandlung von Text in Einbettungen wird die Größe der Eingabeaufforderung des foundation model verringert, ohne dass die grundlegenden Informationen entfernt werden, die dem Modell helfen, mit sachlichen Antworten zu antworten.
Weitere Informationen zur Verwendung von IBM -Einbettungsmodellen für die Textkonvertierung finden Sie unter Vektorisierten Text mit Tasks zum Abrufen erweiterter Generierungen verwenden.
Aufteilung und Eroberung komplexer Aufgaben
Wenden Sie für komplexe Anwendungsfälle, bei denen verschiedene Eingabetypen erwartet werden und unterschiedlich behandelt werden müssen, einen Ansatz mit mehreren Eingabeaufforderungen an.
Erstellen Sie mehrere zielgruppenspezifische Eingabeaufforderungen, die jeweils für eine optimale Effektivität mit einem Eingabetyp konzipiert sind.
Sie können beispielsweise Kundenfragen in die folgenden Typen klassifizieren: Support-Problem, Verkaufsabfrage oder Produktdetailabfrage.
Verwenden Sie ein foundation model, um die eingehende Eingabe als einen der vordefinierten Eingabetypen zu klassifizieren.
Leiten Sie die Eingabe basierend auf dem Eingabetyp an die entsprechende Zieleingabeaufforderung weiter.
Für die Produktdetailabfrage können Sie beispielsweise Ihre Website oder andere Marketinginhalte durchsuchen und eine Zusammenfassung in die Eingabeaufforderung einschließen. Bei Supportproblemen können Sie Ihre Wissensbasis zur Fehlerbehebung durchsuchen und eine Problemumgehungsprozedur in die Eingabeaufforderung einschließen. Bei Verkaufsanfragen können Sie den Kunden mit einem Verkäufer verbinden.
Dialogkontext zusammenfassen
Verwenden Sie bei Konversationsaufgaben ein foundation model, um den Kontext aus früheren Dialogen zusammenzufassen, anstatt den Chatverlauf bei jeder Eingabe zu speichern und erneut zu übertragen. Die Verwendung von Zusammenfassungen reduziert die Anzahl der Token, die bei nachfolgenden Gesprächsrunden an das foundation model übermittelt werden.
Verringern Sie die Anzahl der Eingabeaufforderungstoken durch die Eingabeaufforderungsoptimierung des Modells.
Setzen Sie die Token frei, die sonst von komplexen Anweisungen und Beispielen, die Sie in Ihre Eingabeaufforderung aufnehmen, verwendet werden könnten, indem Sie das foundation model anpassen.
Wenn Sie ein foundation model abstimmen, zeigen Sie dem Modell, was es für die von Ihnen eingegebenen Eingabetypen ausgeben soll. Sie können Nullaufforderungen an ein optimiertes Modell übergeben und trotzdem die erwartete Ausgabe erhalten.
Die Optimierung eines Modells ist nützlich für Klassifizierungs-, Zusammenfassungs-oder Extraktionstasks. Tuning ist nicht die beste Lösung, wenn die Ausgabe des foundation model sachliche Informationen enthalten soll.
Weitere Informationen finden Sie unter Abstimmung eines foundation model.
Weitere Informationen
Übergeordnetes Thema: Tipps für Eingabeaufforderungen