IBM からの granite-13b-chat-v2 ファウンデーション・モデルのプロンプト

会話型タスクの場合に granite-13b-chat-v2 にプロンプトを出すためのヒント

• フォローアップの質問では、代名詞を使用しないでください。 例えば、「変数は何を表しますか?」と尋ねます。 「 it は何を表しますか?」ではありません。

• ファウンデーション・モデルがテーブル形式で応答を生成するようにしたい場合は、マークダウンで生成されたテーブルをモデルが返すように、プロンプトで明示的に要求します。

検索拡張生成プロンプトの例

以下のプロンプトでは、 granite-13b-chat-v2 ファウンデーション・モデルを使用して、 プロンプトのチューニングに関する質問に答えます。

注: 文書の内容は、「 ファウンデーション・モデルのチューニング方法 」のトピックから取得されます。

<|system|>
You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
<|user|>
You are an AI language model designed to function as a specialized Retrieval Augmented Generation (RAG) assistant. When generating responses, prioritize correctness, i.e., ensure that your response is grounded in context and user query. Always make sure that your response is relevant to the question.
Answer length: concise
[Document]
How prompt-tuning works
Foundation models are sensitive to the input that you give them. Your input, or how you prompt the model, can introduce context that the model will use to tailor its generated output. Prompt engineering to find the right prompt often works well. However, it can be time-consuming, error-prone, and its effectiveness can be restricted by the context window length that is allowed by the underlying model.
Prompt-tuning a model in the Tuning Studio applies machine learning to the task of prompt engineering. Instead of adding words to the input itself, prompt-tuning is a method for finding a sequence of values that, when added as a prefix to the input text, improve the model's ability to generate the output you want. This sequence of values is called a prompt vector.
Normally, words in the prompt are vectorized by the model. Vectorization is the process of converting text to tokens, and then to numbers defined by the model's tokenizer to identify the tokens. Lastly, the token IDs are encoded, meaning they are converted into a vector representation, which is the input format that is expected by the embedding layer of the model. Prompt-tuning bypasses the model's text-vectorization process and instead crafts a prompt vector directly. This changeable prompt vector is concatenated to the vectorized input text and the two are passed as one input to the embedding layer of the model. Values from this crafted prompt vector affect the word embedding weights that are set by the model and influence the words that the model chooses to add to the output.
To find the best values for the prompt vector, you run a tuning experiment. You demonstrate the type of output that you want for a corresponding input by providing the model with input and output example pairs in training data. With each training run of the experiment, the generated output is compared to the training data output. Based on what it learns from differences between the two, the experiment adjusts the values in the prompt vector. After many runs through the training data, the model finds the prompt vector that works best.
[End]
How does prompt tuning work?
<|assistant|>

granite-13b-chat-v2 ファウンデーション・モデルは、入力で提供された文書コンテンツからの情報に基づいて、プロンプト・チューニングがどのように機能するかについての正確な要約を生成します。

出力は次のようになります。

プロンプト・チューニングは、プロンプト・ベクトルと呼ばれる値のシーケンスを調整することによって、特定の出力を生成するモデルの能力を向上させる方法です。 プロンプト・チューニングでは、入力に単語を直接追加する代わりに、モデルによって設定された単語埋め込み重みに直接影響するプロンプト・ベクトルが作成されます。 これは、入力テキストおよびエンコード・トークン ID をベクトル表現にベクトル化することによって実現されます。ベクトル表現は、作成されたプロンプト・ベクトルと連結され、1 つの入力としてモデルの組み込み層に渡されます。 この実験では、生成された出力と学習データの例の目的の出力との違いに基づいて、プロンプト・ベクトルの値を調整します。 トレーニング・データの多くの実行にわたって、モデルは最も効果的なプロンプト・ベクトルを検出します。

分類

granite-13b-chat-v2 ファウンデーション・モデルを使用して情報を分類するには、以下の推奨事項に従ってください。

以下の表に、分類タスクのために granite-13b-chat-v2 ファウンデーション・モデルにプロンプトを出すための推奨モデル・パラメーターをリストします。

分類タスクのために granite-13b-chat-v2 ファウンデーション・モデルにプロンプトを出すには、以下の手順を試行します。

1. モデルに入力に割り当てるクラスまたは分類ラベルを特定します。 これらのクラス・ラベルは、プロンプトの命令セグメントに必ずリストしてください。

   例えば、顧客商品レビューを正または負として分類する場合は、 Postitive と Negativeの 2 つのクラス・ラベルを定義できます。

2. モデルで分類する入力テキストのタイプの代表的な例を 2 つまたは 3 つ収集します。

3. プロンプトを構造化できるように、プロンプト・ラボの granite-13b-chat-v2 ファウンデーション・モデルをフリー・フォーム・モードで操作します。

4. 「モデル・パラメーター」 パネルで、表 3 の推奨モデル・パラメーターを設定します。

5. プロンプトで、システム・プロンプト、ユーザー入力、およびモデルの出力先を明確に識別します。

   例えば、 granite-13b-chat-v2 ファウンデーション・モデルがテキストを分類するためにトレーニングされたときに、以下のプロンプト構造が使用されました。

   <|system|>
   You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
   <|user|>
   {INSTRUCTION}
   Your response should only include the answer. Do not provide any further explanation.
   Here are some examples, complete the last one:
   {INPUT_LABEL}:
   {ICL_INPUT_1}
   {OUTPUT_LABEL}:
   {ICL_OUTPUT_1}
   {INPUT_LABEL}:
   {ICL_INPUT_2}
   {OUTPUT_LABEL}:
   {ICL_OUTPUT_2}
   {INPUT_LABEL}:
   {TEST_INPUT}
   {OUTPUT_LABEL}:
   <|assistant|>
   
   

   同様の構造を使用して、モデルのトレーニングを活用できます。 プロンプト・テンプレート内のプレースホルダー変数を置き換えるだけです。

   表 3a: 分類テンプレートのプレースホルダー変数

   プレースホルダー変数	説明	例
   {INSTRUCTION}	タスクの説明。 モデルによって入力に割り当てられるクラスのリストを含めます。	商品レビューごとに、レビューが肯定的か否定的かを示します。
   {INPUT_LABEL}	分類するテキストのショート・ラベル。	Input, Customer review, Feedback, Comment
   {OUTPUT_LABEL}	分類値を表す短いラベル。	Class
   {ICL_INPUT_N}	オプション。 分類する入力テキストの例。 コンテキスト内学習をサポートするために数回プロンプトを使用する場合は、例を追加します。	The service representative did not listen to a word I said. It was a waste of my time.
   {ICL_OUTPUT_N}	対応する入力テキストの例にクラス・ラベルが割り当てられた出力例。	Positive, Negative

<|system|>
You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
<|user|>
For each feedback, specify whether the content is Positive or Negative. Your response should only include the answer. Do not provide any further explanation.
Here are some examples, complete the last one:
Feedback:
Carol, the service rep was so helpful. She answered all of my questions and explained things beautifully.
Class:
Positive
   
Feedback:
The service representative did not listen to a word I said. It was a waste of my time.
Class:
Negative
   
Feedback:
Carlo was so helpful and pleasant. He was able to solve a problem that I've been having with my software for weeks now.
Class:
<|assistant|>

抽出

granite-13b-chat-v2 ファウンデーション・モデルを使用して情報を抽出するには、以下の推奨事項に従ってください。

以下の表に、抽出タスクのために granite-13b-chat-v2 ファウンデーション・モデルにプロンプトを出すための推奨モデル・パラメーターをリストします。

抽出タスクのために granite-13b-chat-v2 ファウンデーション・モデルにプロンプトを出すには、以下の手順を実行します。

1. モデルに入力から抽出させる情報タイプを指定します。 これらの情報タイプ・ラベルは、プロンプトの命令セグメントに必ずリストしてください。

   例えば、企業の US 証券取引委員会 (SEC) の 10-K 形式から重要な情報を抽出する場合は、 Line Of Credit Facility Maximum Borrowing Capacityなどの情報タイプを識別できます。

2. モデルで抽出する情報のタイプを指定して、2 つまたは 3 つの代表的な入力テキストの例を収集します。

3. プロンプトを構造化できるように、プロンプト・ラボの granite-13b-chat-v2 ファウンデーション・モデルをフリー・フォーム・モードで操作します。

4. 「モデル・パラメーター」 パネルで、表 4 の推奨モデル・パラメーターを設定します。

5. システム・プロンプト、ユーザー入力、およびモデルの出力先を明確に識別します。

   例えば、 granite-13b-chat-v2 ファウンデーション・モデルがテキストから情報を抽出するようにトレーニングされたときに、以下のプロンプト構造が使用されました。

   <|system|>
   You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
   <|user|>
   {INSTRUCTION}
   Your response should only include the answer. Do not provide any further explanation.
   Here are some examples, complete the last one:
   {INPUT_LABEL}:
   {ICL_INPUT_1}
   {OUTPUT_LABEL}:
   {ICL_OUTPUT_1}
   {INPUT_LABEL}:
   {ICL_INPUT_2}
   {OUTPUT_LABEL}:
   {ICL_OUTPUT_2}
   {INPUT_LABEL}:
   {TEST_INPUT}
   {OUTPUT_LABEL}:
   <|assistant|>
   
   

   同様の構造を使用して、モデルのトレーニングを活用できます。 プロンプト・テンプレート内のプレースホルダー変数を置き換えるだけです。

   表 4a: 抽出テンプレートのプレースホルダー変数

   プレースホルダー変数	説明
   {INSTRUCTION}	タスクの説明。 モデルに入力から抽出させたい情報タイプのリストを含めます。
   {INPUT_LABEL}	分類するテキストのショート・ラベル。
   {OUTPUT_LABEL}	抽出された値を表す短いラベル。
   {ICL_INPUT_N}	オプション。 抽出する情報タイプの入力テキストの例。 コンテキスト内学習をサポートするために数回プロンプトを使用する場合は、例を追加します。
   {ICL_OUTPUT_N}	対応する入力から抽出された情報タイプを持つ出力例。

<|system|>
You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
<|user|>
Extract the Line Of Credit Facility Maximum Borrowing Capacity from the 10K sentences.
Your response should only include the answer. Do not provide any further explanation.
Here are some examples, complete the last one:
10K Sentence:
The credit agreement also provides that up to $500 million in commitments may be used for letters of credit.
Line Of Credit Facility Maximum Borrowing Capacity:
$500M

10K Sentence:
In March 2020, we upsized the Credit Agreement by $100 million, which matures July 2023, to $2.525 billion.
Line Of Credit Facility Maximum Borrowing Capacity:
$2.525B

10K Sentence:
We prepared our impairment test as of October 1, 2022 and determined that the fair values of each of our reporting units exceeded net book value by more than 50%. Among our reporting units, the narrowest difference between the calculated fair value and net book value was in our Principal Markets segment's Canada reporting unit, whose calculated fair value exceeded its net book value by 53%. Future developments related to macroeconomic factors, including increases to the discount rate used, or changes to other inputs and assumptions, including revenue growth, could reduce the fair value of this and/or other reporting units and lead to impairment. There were no goodwill impairment losses recorded for the nine months ended December 31, 2022. Cumulatively, the Company has recorded $469 million in goodwill impairment charges within its former EMEA ($293 million) and current United States ($176 million) reporting units. Revolving Credit Agreement In October 2021, we entered into a $3.15 billion multi-currency revolving credit agreement (the "Revolving Credit Agreement") for our future liquidity needs. The Revolving Credit Agreement expires, unless extended, in October 2026. Interest rates on borrowings under the Revolving Credit Agreement are based on prevailing market interest rates, plus a margin, as further described in the Revolving Credit Agreement. The total expense recorded by the Company for the Revolving Credit Agreement was not material in any of the periods presented. We may voluntarily prepay borrowings under the Revolving Credit Agreement without premium or penalty, subject to customary "breakage" costs. The Revolving Credit Agreement includes certain customary mandatory prepayment provisions. Interest on Debt Interest expense for the three and nine months ended December 31, 2022 was $27 million and $65 million, compared to $18 million and $50 million for the three and nine months ended December 31, 2021. Most of the interest for the pre-Separation period presented in the historical Consolidated Income Statement reflects the allocation of interest expense associated with debt issued by IBM from which a portion of the proceeds benefited Kyndryl.
Line Of Credit Facility Maximum Borrowing Capacity:
<|assistant|>