Das granite-13b-chat-v2 -Stiftungsmodell wurde von IBM

Tipps für die Bedienerführung granite-13b-chat-v2 für Dialogtasks

• Vermeiden Sie in Folgefragen Pronomen. Fragen Sie zum Beispiel "Was stellt die Variable dar?" anstelle von "Was stellt es dar?"

• Wenn Sie möchten, dass das Fundamentmodell eine Antwort in Tabellenform generiert, bitten Sie in der Eingabeaufforderung ausdrücklich darum, dass das Modell eine Tabelle zurückgibt, die in Markdown generiert wird.

Beispiel für eine Eingabeaufforderung für die erweiterte Generierung eines Abrufs

Die folgende Eingabeaufforderung verwendet das granite-13b-chat-v2 -Grundmodell, um Fragen zur Eingabeaufforderungsabstimmung zu beantworten.

Hinweis: Der Dokumentinhalt stammt aus dem Thema Methoden zur Optimierung von Basismodellen .

<|system|>
You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
<|user|>
You are an AI language model designed to function as a specialized Retrieval Augmented Generation (RAG) assistant. When generating responses, prioritize correctness, i.e., ensure that your response is grounded in context and user query. Always make sure that your response is relevant to the question.
Answer length: concise
[Document]
How prompt-tuning works
Foundation models are sensitive to the input that you give them. Your input, or how you prompt the model, can introduce context that the model will use to tailor its generated output. Prompt engineering to find the right prompt often works well. However, it can be time-consuming, error-prone, and its effectiveness can be restricted by the context window length that is allowed by the underlying model.
Prompt-tuning a model in the Tuning Studio applies machine learning to the task of prompt engineering. Instead of adding words to the input itself, prompt-tuning is a method for finding a sequence of values that, when added as a prefix to the input text, improve the model's ability to generate the output you want. This sequence of values is called a prompt vector.
Normally, words in the prompt are vectorized by the model. Vectorization is the process of converting text to tokens, and then to numbers defined by the model's tokenizer to identify the tokens. Lastly, the token IDs are encoded, meaning they are converted into a vector representation, which is the input format that is expected by the embedding layer of the model. Prompt-tuning bypasses the model's text-vectorization process and instead crafts a prompt vector directly. This changeable prompt vector is concatenated to the vectorized input text and the two are passed as one input to the embedding layer of the model. Values from this crafted prompt vector affect the word embedding weights that are set by the model and influence the words that the model chooses to add to the output.
To find the best values for the prompt vector, you run a tuning experiment. You demonstrate the type of output that you want for a corresponding input by providing the model with input and output example pairs in training data. With each training run of the experiment, the generated output is compared to the training data output. Based on what it learns from differences between the two, the experiment adjusts the values in the prompt vector. After many runs through the training data, the model finds the prompt vector that works best.
[End]
How does prompt tuning work?
<|assistant|>

Das granite-13b-chat-v2 -Stiftungsmodell erstellt eine genaue Zusammenfassung der Funktionsweise von Prompt Tuning, die auf Informationen aus dem Dokumentinhalt basiert, der mit dem Input zur Verfügung gestellt wurde.

Die Ausgabe sieht ungefähr wie folgt aus:

Die Optimierung von Eingabeaufforderungen ist eine Methode zur Verbesserung der Fähigkeit eines Modells, durch Anpassung einer Folge von Werten, die als Eingabeaufforderungsvektor bezeichnet werden, bestimmte Ausgaben zu generieren. Anstatt der Eingabe direkt Wörter hinzuzufügen, wird bei der Eingabeaufforderungsoptimierung ein Eingabeaufforderungsvektor erstellt, der die vom Modell festgelegten Gewichtungen für das Einbetten von Wörtern direkt beeinflusst. Dies wird durch eine Vektorisierung von Eingabetext und Codierungstoken-IDs in eine Vektordarstellung erreicht, die dann mit dem manipulierten Eingabeaufforderungsvektor verknüpft und als eine Eingabe an die Einbettungsschicht des Modells übergeben wird. Das Experiment passt die Werte im Eingabeaufforderungsvektor basierend auf den Unterschieden zwischen der generierten Ausgabe und der gewünschten Ausgabe in Trainingsdatenbeispielen an. Bei vielen Durchläufen durch die Trainingsdaten findet das Modell den am besten geeigneten Eingabeaufforderungsvektor.

Klassifikation

Befolgen Sie diese Empfehlungen, um das granite-13b-chat-v2 -Stiftungsmodell zur Klassifizierung von Informationen zu verwenden.

In der folgenden Tabelle sind die empfohlenen Modellparameter für die Eingabe des granite-13b-chat-v2 -Stiftungsmodells für eine Klassifizierungsaufgabe aufgeführt.

Um das granite-13b-chat-v2 -Stiftungsmodell für eine Klassifizierungsaufgabe aufzurufen, führen Sie die folgenden Schritte aus:

1. Geben Sie die Klassen oder Klassifikationsbezeichnungen an, die das Modell der Eingabe zuordnen soll. Stellen Sie sicher, dass diese Klassenbezeichnungen im Anweisungssegment der Eingabeaufforderung aufgelistet werden.

   Wenn Sie beispielsweise Kundenproduktbewertungen als positiv oder negativ klassifizieren möchten, können Sie zwei Klassenbezeichnungen definieren: Postitive und Negative.

2. Erfassen Sie zwei oder drei repräsentative Beispiele für den Typ von Eingabetext, den das Modell klassifizieren soll.

3. Arbeiten Sie mit dem granite-13b-chat-v2 -Stiftungsmodell von Prompt Lab im Freiform-Modus, damit Sie Ihre Eingabeaufforderungen strukturieren können.

4. Legen Sie in der Anzeige Modellparameter die empfohlenen Modellparameter aus Tabelle 3 fest.

5. Geben Sie in Ihrer Eingabeaufforderung die Systemeingabeaufforderung, die Benutzereingabe und die Position an, an die die Modellausgabe ausgegeben werden soll.

   Zum Beispiel wurde die folgende Prompt-Struktur verwendet, als das granite-13b-chat-v2 -Stiftungsmodell für die Klassifizierung von Text trainiert wurde:

   <|system|>
   You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
   <|user|>
   {INSTRUCTION}
   Your response should only include the answer. Do not provide any further explanation.
   Here are some examples, complete the last one:
   {INPUT_LABEL}:
   {ICL_INPUT_1}
   {OUTPUT_LABEL}:
   {ICL_OUTPUT_1}
   {INPUT_LABEL}:
   {ICL_INPUT_2}
   {OUTPUT_LABEL}:
   {ICL_OUTPUT_2}
   {INPUT_LABEL}:
   {TEST_INPUT}
   {OUTPUT_LABEL}:
   <|assistant|>
   
   

   Sie können eine ähnliche Struktur verwenden, um das Training des Modells zu nutzen. Ersetzen Sie einfach die Platzhaltervariablen in der Eingabeaufforderungsvorlage.

   Tabelle 3a: Platzhaltervariablen für Klassifikationsvorlage

   Platzhaltervariable	Beschreibung	Beispiele
   {INSTRUCTION}	Beschreibung der Task. Fügen Sie eine Liste der Klassen ein, die das Modell der Eingabe zuordnen soll.	Geben Sie für jede Produktbewertung an, ob die Prüfung positiv oder negativ ist.
   {INPUT_LABEL}	Kurzbezeichnung für den zu klassifizierenden Text.	Input, Customer review, Feedback, Comment
   {OUTPUT_LABEL}	Kurzbezeichnung, die den Klassifikationswert darstellt.	Class
   {ICL_INPUT_N}	Optional. Beispiele für zu klassifizierenden Eingabetext. Fügen Sie Beispiele hinzu, wenn Sie eine Eingabeaufforderung mit wenigen Aufrufen verwenden möchten, um das kontextbezogene Lernen zu unterstützen.	The service representative did not listen to a word I said. It was a waste of my time.
   {ICL_OUTPUT_N}	Beispielausgaben mit Klassenbezeichnungen, die den entsprechenden Eingabetextbeispielen zugeordnet sind.	Positive, Negative

<|system|>
You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
<|user|>
For each feedback, specify whether the content is Positive or Negative. Your response should only include the answer. Do not provide any further explanation.
Here are some examples, complete the last one:
Feedback:
Carol, the service rep was so helpful. She answered all of my questions and explained things beautifully.
Class:
Positive
   
Feedback:
The service representative did not listen to a word I said. It was a waste of my time.
Class:
Negative
   
Feedback:
Carlo was so helpful and pleasant. He was able to solve a problem that I've been having with my software for weeks now.
Class:
<|assistant|>

Extraktion

Befolgen Sie diese Empfehlungen, um das granite-13b-chat-v2 -Stiftungsmodell zur Informationsgewinnung zu nutzen.

In der folgenden Tabelle sind die empfohlenen Modellparameter für die Aufforderung des granite-13b-chat-v2 -Stiftungsmodells für eine Extraktionsaufgabe aufgeführt.

Führen Sie die folgenden Schritte aus, um das granite-13b-chat-v2 -Stiftungsmodell für eine Extraktionsaufgabe aufzurufen:

1. Geben Sie die Informationstypen an, die das Modell aus der Eingabe extrahieren soll. Stellen Sie sicher, dass diese Informationstypbezeichnungen im Anweisungssegment der Eingabeaufforderung aufgelistet werden.

   Wenn Sie beispielsweise Schlüsselinformationen aus dem 10-K-Formular der US Securities and Exchange Commission eines Unternehmens extrahieren möchten, könnten Sie einen Informationstyp wie Line Of Credit Facility Maximum Borrowing Capacityangeben.

2. Erfassen Sie 2 oder 3 repräsentative Beispiele für Eingabetext mit dem Informationstyp, den das Modell extrahieren soll.

3. Arbeiten Sie mit dem granite-13b-chat-v2 -Stiftungsmodell von Prompt Lab im Freiform-Modus, damit Sie Ihre Eingabeaufforderungen strukturieren können.

4. Legen Sie im Fenster Modellparameter die empfohlenen Modellparameter aus Tabelle 4 fest.

5. Geben Sie die Eingabeaufforderung des Systems, die Benutzereingabe und die Position an, an die die Ausgabe des Modells gehen soll.

   Zum Beispiel wurde die folgende Prompt-Struktur verwendet, als das granite-13b-chat-v2 -Stiftungsmodell darauf trainiert wurde, Informationen aus Text zu extrahieren:

   <|system|>
   You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
   <|user|>
   {INSTRUCTION}
   Your response should only include the answer. Do not provide any further explanation.
   Here are some examples, complete the last one:
   {INPUT_LABEL}:
   {ICL_INPUT_1}
   {OUTPUT_LABEL}:
   {ICL_OUTPUT_1}
   {INPUT_LABEL}:
   {ICL_INPUT_2}
   {OUTPUT_LABEL}:
   {ICL_OUTPUT_2}
   {INPUT_LABEL}:
   {TEST_INPUT}
   {OUTPUT_LABEL}:
   <|assistant|>
   
   

   Sie können eine ähnliche Struktur verwenden, um das Training des Modells zu nutzen. Ersetzen Sie einfach die Platzhaltervariablen in der Eingabeaufforderungsvorlage.

   Tabelle 4a: Platzhaltervariablen für Extraktionsvorlage

   Platzhaltervariable	Beschreibung
   {INSTRUCTION}	Beschreibung der Task. Fügen Sie eine Liste der Informationstypen ein, die das Modell aus der Eingabe extrahieren soll.
   {INPUT_LABEL}	Kurzbezeichnung für den zu klassifizierenden Text.
   {OUTPUT_LABEL}	Kurzbezeichnung, die den extrahierten Wert darstellt.
   {ICL_INPUT_N}	Optional. Beispiele für Eingabetext mit zu extrahierenden Informationstypen. Fügen Sie Beispiele hinzu, wenn Sie eine Eingabeaufforderung mit wenigen Aufrufen verwenden möchten, um das kontextbezogene Lernen zu unterstützen.
   {ICL_OUTPUT_N}	Beispielausgaben mit Informationstypen, die aus den entsprechenden Eingaben extrahiert wurden.

<|system|>
You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
<|user|>
Extract the Line Of Credit Facility Maximum Borrowing Capacity from the 10K sentences.
Your response should only include the answer. Do not provide any further explanation.
Here are some examples, complete the last one:
10K Sentence:
The credit agreement also provides that up to $500 million in commitments may be used for letters of credit.
Line Of Credit Facility Maximum Borrowing Capacity:
$500M

10K Sentence:
In March 2020, we upsized the Credit Agreement by $100 million, which matures July 2023, to $2.525 billion.
Line Of Credit Facility Maximum Borrowing Capacity:
$2.525B

10K Sentence:
We prepared our impairment test as of October 1, 2022 and determined that the fair values of each of our reporting units exceeded net book value by more than 50%. Among our reporting units, the narrowest difference between the calculated fair value and net book value was in our Principal Markets segment's Canada reporting unit, whose calculated fair value exceeded its net book value by 53%. Future developments related to macroeconomic factors, including increases to the discount rate used, or changes to other inputs and assumptions, including revenue growth, could reduce the fair value of this and/or other reporting units and lead to impairment. There were no goodwill impairment losses recorded for the nine months ended December 31, 2022. Cumulatively, the Company has recorded $469 million in goodwill impairment charges within its former EMEA ($293 million) and current United States ($176 million) reporting units. Revolving Credit Agreement In October 2021, we entered into a $3.15 billion multi-currency revolving credit agreement (the "Revolving Credit Agreement") for our future liquidity needs. The Revolving Credit Agreement expires, unless extended, in October 2026. Interest rates on borrowings under the Revolving Credit Agreement are based on prevailing market interest rates, plus a margin, as further described in the Revolving Credit Agreement. The total expense recorded by the Company for the Revolving Credit Agreement was not material in any of the periods presented. We may voluntarily prepay borrowings under the Revolving Credit Agreement without premium or penalty, subject to customary "breakage" costs. The Revolving Credit Agreement includes certain customary mandatory prepayment provisions. Interest on Debt Interest expense for the three and nine months ended December 31, 2022 was $27 million and $65 million, compared to $18 million and $50 million for the three and nine months ended December 31, 2021. Most of the interest for the pre-Separation period presented in the historical Consolidated Income Statement reflects the allocation of interest expense associated with debt issued by IBM from which a portion of the proceeds benefited Kyndryl.
Line Of Credit Facility Maximum Borrowing Capacity:
<|assistant|>