Erkunden Sie die Taxonomie foundation model

Sie können mehr über die Möglichkeiten des foundation model erfahren, indem Sie die Taxonomie des foundation model erkunden.

Um auf die Taxonomie zuzugreifen, führen Sie die folgenden Schritte aus:

1. Klicken Sie im watsonx.ai Prompt Lab im Chat-Modus auf das Feld Modell und wählen Sie dann Alle Gründungsmodelle anzeigen.

2. Suchen Sie die Kachel für das foundation model" granite-7b-lab und klicken Sie darauf.

3. Klicken Sie auf , um die Registerkarte Trainingstaxonomie der Modellkarte zu öffnen.

   

4. Erkunden Sie die Kenntnisse und Fähigkeiten in der Taxonomie. Jeder Endknoten des Taxonomiebaums steht für eine Fähigkeit, für die das Modell trainiert wurde. Sie können auf eine Fertigkeit klicken, um die Ausgangsbeispiele zu sehen, die verwendet wurden, um die synthetischen Daten zu generieren, die zum Trainieren des Modells verwendet wurden.

Förderung des foundation model granite-7b-lab

Um die besten Ergebnisse mit dem foundation model zu erzielen, verwenden Sie zunächst die empfohlenen Eingabeaufforderungsstrukturen, wenn Sie das foundation model für verschiedene Aufgaben erstellen. Während Sie mit dem Modell arbeiten, können Sie die Modellparameter und das Eingabeaufforderungsformat anpassen, um die besten Einstellungen für Ihren Anwendungsfall zu finden.

Das foundation model granite-7b-lab ist für die folgenden Verwendungszwecke optimiert:

• Klassifikation
• Chatten
• Rückgabe von sachlichen Antworten mit dem RAG-Muster

<|system|>
You are an AI language model developed by IBM Research. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
<|user|>
For each feedback, specify whether the content is Positive or Negative. Your response should only include the answer. Do not provide any further explanation.
Here are some examples, complete the last one:
Feedback:
Carol, the service rep was so helpful. She answered all of my questions and explained things beautifully.
Class:
Positive
   
Feedback:
The service representative did not listen to a word I said. It was a waste of my time.
Class:
Negative
   
Feedback:
Carlo was so helpful and pleasant. He was able to solve a problem that I've been having with my software for weeks now.
Class:
<|assistant|>

Gespräch mit granite-7b-lab

Um die besten Ergebnisse beim Chatten mit dem foundation model zu erzielen, befolgen Sie zunächst diese Empfehlungen und experimentieren Sie dann, um die von Ihnen gewünschten Ergebnisse zu erzielen.

In der folgenden Tabelle sind die empfohlenen Modellparameter für die Eingabeaufforderung des granite-7b-lab foundation model für eine Konversationsaufgabe aufgeführt.

Weitere Informationen über die Modellparameter finden Sie unter Modellparameter für Prompting.

Versuchen Sie die folgenden Schritte, um das foundation model zu einer Chat-Aufgabe aufzufordern:

1. Wählen Sie im Prompt-Labor im Chat-Modus das foundation model granite-7b-lab.

   Der Chat-Modus verfügt über Standard-Prompt-Parameterwerte, die für den Austausch von Gesprächen optimiert sind, einschließlich eines höheren Max-Token-Wertes.

2. Wenden Sie im Bereich Modellparameter die empfohlenen Modellparameterwerte aus Tabelle 2 an.

3. Im Chatmodus können Sie Benutzereingaben übermitteln, ohne den Eingabetext zu formatieren.

   Im Chat-Modus wird der Text der Systemansage für Sie übernommen. Sie können auf das Textsymbol klicken, um zu sehen, wie Ihr Text formatiert ist.

4. Um die gleiche Eingabeaufforderung im Freiform-Modus zu übermitteln, müssen Sie die System-Eingabeaufforderung einrichten.

   Anweisungen hinzufügen. Der folgende Anleitungstext wurde zum Beispiel zum Trainieren des Modells verwendet und ist dem Modell daher vertraut.

   Sie sind ein KI-Sprachmodell, das von IBM Research entwickelt wurde. Sie sind ein vorsichtiger Assistent. Sie folgen sorgfältig den Anweisungen. Sie sind hilfsbereit und harmlos, befolgen ethische Richtlinien und fördern positives Verhalten.

   Um den empfohlenen Text der Systemeingabeaufforderung zu kopieren, klicken Sie auf das Symbol In die Zwischenablage kopieren im folgenden Codeausschnitt.

   You are an AI language model developed by IBM Research. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
   

   Beginnen Sie ein Gespräch.

   Die optimale Struktur für einen Prompt, der für eine Chat-Aufgabe verwendet wird, ist wie folgt. Die Eingabeaufforderung enthält eine Syntax, die die folgenden Segmente der Eingabeaufforderung identifiziert:

   • <|system|>: Kennzeichnet die Anweisung, die auch als Systemprompt für das foundation model bekannt ist.
   • <|user|>: Der zu beantwortende Anfragetext.
   • <|assistant|>: Ein Hinweis am Ende der Aufforderung, der anzeigt, dass eine generierte Antwort erwartet wird.

   Wenn Sie Prompts aus dem Prompt-Labor im Freiform-Modus senden, verwenden Sie das erwartete Prompt-Format.

   <|system|>
   You are an AI language model developed by IBM Research. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
   <|user|>
   {PROMPT}
   <|assistant|>
   
   

   Beispiel:

   <|system|>
   You are an AI language model developed by IBM Research. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
   <|user|>
   What is the capital of Massachusetts?
   <|assistant|>
   
   

5. Stellen Sie Folgefragen, um das Gespräch in Gang zu halten.

   Die optimale Struktur für einen Prompt, der für einen Chat mit mehreren Dialogrunden verwendet wird, ist wie folgt. Wenn Sie Prompts aus dem Prompt-Labor im Freiform-Modus senden, verwenden Sie dieses Prompt-Format.

   <|system|>
   You are an AI language model developed by IBM Research. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
   <|user|>
   {ROUND1_PROMPT}
   <|assistant|>
   {MODEL_RESPONSE}
   <|user|>
   {ROUND2_PROMPT}
   <|assistant|>
   
   

   Beispiel:

   <|system|>
   You are an AI language model developed by IBM Research. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
   <|user|>
   What is the capital of Massachusetts?
   <|assistant|>
   The capital of Massachusetts is Boston. Boston is not only the largest city in Massachusetts but also one of the oldest cities in the United States, with a rich history and vibrant culture. It is home to numerous universities, hospitals, and technology companies, making it a significant center for education, biotechnology, finance, and tourism. If you have any specific questions about Boston or Massachusetts, feel free to ask!
   <|user|>
   What US cities are older?
   <|assistant|>
   There are several cities in the United States that are older than Boston and even older than the country itself! Some of these historical gems include:
   
   1. St. Augustine, Florida: Established in 1565, St. Augustine is the oldest continuously inhabited European-established settlement within the borders of the contiguous United States.
   2. Jamestown, Virginia: Founded in 1607, Jamestown was the first permanent English settlement in North America.
   3. Plymouth, Massachusetts: Established in 1620, Plymouth ...
   

Rückgabe von sachlichen Antworten mit dem RAG-Muster

Um das foundation model dazu zu bringen, sachliche Antworten zu liefern, verwenden Sie das Muster der abruferweiterten Generierung. Retrieval-augmented generation begründet die Eingabe, die Sie dem Modell übermitteln, mit faktischen Informationen über das zu diskutierende Thema. Weitere Informationen finden Sie unter Retrieval-augmented generation (RAG).

Wenn Sie sachliche Antworten aus dem foundation model erhalten möchten, beachten Sie diese Empfehlungen.

In der folgenden Tabelle sind die empfohlenen Modellparameter für die Eingabeaufforderung des foundation model für eine abruferweiterte Generierungsaufgabe aufgeführt.

Weitere Informationen über die Modellparameter finden Sie unter Modellparameter für Prompting.

Probieren Sie die folgenden Schritte aus, um das foundation model für eine abruferweiterte Generierungsaufgabe aufzurufen:

1. Suchen Sie nach zuverlässigen Quellen mit sachlichen Informationen zu dem Thema, das das Modell behandeln soll und für das Sie die Erlaubnis haben, es zu verwenden. Kopieren Sie einen Auszug des Dokuments oder der Dokumente in einen Texteditor oder ein anderes Tool, damit Sie später darauf zugreifen können.

   Bei der Ressource kann es sich beispielsweise um Produktinformationen von Ihrer eigenen Unternehmenswebsite oder um Produktdokumentationen handeln.

2. Öffnen Sie im Prompt-Labor den Freiform-Modus, damit Sie Ihre Prompts strukturieren können. Wählen Sie das foundation model granite-7b-lab.

3. Stellen Sie im Bereich Modellparameter die empfohlenen Modellparameter aus Tabelle 3 ein.

4. Definieren Sie in Ihrer Eingabeaufforderung eindeutig die Systemaufforderung, die Benutzereingabe und den Ort, an den die Ausgabe des Modells gehen soll.

   Beispielsweise kann die folgende Eingabeaufforderung dem foundation model helfen, relevante Informationen zurückzugeben.

   <|system|>
   You are an AI language model developed by IBM Research. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
   <|user|>
   You are an AI language model designed to function as a specialized Retrieval Augmented Generation (RAG) assistant. When generating responses, prioritize correctness, i.e., ensure that your response is grounded in context and user query. Always make sure that your response is relevant to the question.
   Answer Length: {ANSWER_LENGTH}
   [Document]
   {DOCUMENT1_TITLE}
   {DOCUMENT1_CONTENT}
   [End]
   [Document]
   {DOCUMENT2_TITLE}
   {DOCUMENT2_CONTENT}
   [End]
   [Document]
   {DOCUMENT3_TITLE}
   {DOCUMENT3_CONTENT}
   [End]
   {QUERY}
   <|assistant|>
   
   

   Hinweis: Der Anfang und das Ende des Dokumentinhalts werden durch die speziellen Tags [Document] und [End] gekennzeichnet. Verwenden Sie eine ähnliche Syntax, wenn Sie spezielle Tags zur Kennzeichnung von Inhaltstypen oder Unterabschnittsüberschriften in Ihre Prompts einfügen möchten. Als das foundation model erstellt wurde, wurde es für die folgenden speziellen Tags trainiert:

   • <|system|>: Kennzeichnet die Anweisung, die auch als Systemprompt für das foundation model bekannt ist.
   • <|user|>: Der zu beantwortende Anfragetext.
   • <|assistant|>: Ein Hinweis am Ende der Aufforderung, der anzeigt, dass eine generierte Antwort erwartet wird.

   Verwenden Sie nicht dieselbe <|tagname|>-Syntax für Ihre benutzerdefinierten Tags, da Sie sonst das Modell verwirren könnten.

5. Wenn Sie diese Prompt-Vorlage kopieren, fügen Sie sie in den Prompt-Lab-Editor ein und ersetzen Sie die Platzhalter-Variablen.

   Tabelle 4: Platzhaltervariablen der RAG-Vorlage

   Platzhalter-Variable	Beschreibung	Beispiele
   {ANSWER_LENGTH}	Optional Legt die erwartete Antwortlänge für die Antwort fest.	Folgende Optionen sind möglich (von der kürzesten bis zur längsten Antwort): single word, concise, narrative
   {DOCUMENTn_TITLE}	Titel des Dokuments, dem der Auszug mit den Sachinformationen entnommen ist. Sie können Inhalte aus mehr als einem Dokument einfügen.	Produkt-Broschüre
   {DOCUMENTn_CONTENT}	Textauszug mit den Sachinformationen, über die das Modell sachkundig sprechen soll.	Text aus einer Marketingbroschüre, Produktdokumentation, Unternehmenswebsite oder einer anderen vertrauenswürdigen Quelle.
   {QUERY}	Die Frage ist sachlich zu beantworten.	Eine Frage zu dem Thema, das in dem Dokument behandelt wird.

    

   Tipp: Alternativ können Sie eine Prompt-Variable für das Dokument definieren und verwenden, so dass der Prompt wiederverwendet werden kann und der Inhalt jedes Mal dynamisch ersetzt werden kann. Weitere Informationen finden Sie unter Erstellung wiederverwendbarer Prompts.

<|system|>
You are an AI language model developed by IBM Research. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
<|user|>
You are an AI language model designed to function as a specialized Retrieval Augmented Generation (RAG) assistant. When generating responses, prioritize correctness, i.e., ensure that your response is grounded in context and user query. Always make sure that your response is relevant to the question.
Answer length: concise
[Document]
How prompt-tuning works
Foundation models are sensitive to the input that you give them. Your input, or how you prompt the model, can introduce context that the model will use to tailor its generated output. Prompt engineering to find the right prompt often works well. However, it can be time-consuming, error-prone, and its effectiveness can be restricted by the context window length that is allowed by the underlying model.
Prompt-tuning a model in the Tuning Studio applies machine learning to the task of prompt engineering. Instead of adding words to the input itself, prompt-tuning is a method for finding a sequence of values that, when added as a prefix to the input text, improve the model's ability to generate the output you want. This sequence of values is called a prompt vector.
Normally, words in the prompt are vectorized by the model. Vectorization is the process of converting text to tokens, and then to numbers defined by the model's tokenizer to identify the tokens. Lastly, the token IDs are encoded, meaning they are converted into a vector representation, which is the input format that is expected by the embedding layer of the model. Prompt-tuning bypasses the model's text-vectorization process and instead crafts a prompt vector directly. This changeable prompt vector is concatenated to the vectorized input text and the two are passed as one input to the embedding layer of the model. Values from this crafted prompt vector affect the word embedding weights that are set by the model and influence the words that the model chooses to add to the output.
To find the best values for the prompt vector, you run a tuning experiment. You demonstrate the type of output that you want for a corresponding input by providing the model with input and output example pairs in training data. With each training run of the experiment, the generated output is compared to the training data output. Based on what it learns from differences between the two, the experiment adjusts the values in the prompt vector. After many runs through the training data, the model finds the prompt vector that works best.
[End]
How does prompt tuning work?
<|assistant|>

Weitere Informationen

Wenn Sie mehr über das foundation model erfahren möchten, lesen Sie die folgenden Ressourcen:

• Modellkarte

Übergeordnetes Thema: IBM Gründungsmodelle