foundation modelの分類を調べる

granite-7b-labfoundation modelの機能について詳しくは、foundation modelの分類を参照してください。

タクソノミーにアクセスするには、以下の手順を実行する：

1. チャットモードの watsonx.ai Prompt Lab から、Model フィールドをクリックし、View all foundation models を選択します。

2. granite-7b-labfoundation modelのタイルを見つけてクリックします。

3. クリックすると、モデルカードのトレーニングタクソノミータブが開きます。

   

4. タクソノミーの知識とスキルを探求する。 タクソノミー・ツリーの各末端ノードは、モデルが訓練されたスキルを表す。 スキルをクリックすると、モデルのトレーニングに使用された合成データを生成するために使用されたシード例を見ることができます。

granite-7b-labfoundation modelの促進

granite-7b-labfoundation modelから最良の結果を得るには、さまざまなタスクのfoundation model入力を作成するときに、推奨されるプロンプト構造を使用することから始めます。 モデルを操作しているうちに、モデルのパラメータやプロンプトのフォーマットを微調整して、使用ケースに最適な設定を見つけることができます。

granite-7b-labfoundation modelは、次の用途に最適化されています。

• 機密区分
• チャット
• RAGパターンで事実に基づいた回答を返す

<|system|>
You are an AI language model developed by IBM Research. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
<|user|>
For each feedback, specify whether the content is Positive or Negative. Your response should only include the answer. Do not provide any further explanation.
Here are some examples, complete the last one:
Feedback:
Carol, the service rep was so helpful. She answered all of my questions and explained things beautifully.
Class:
Positive
   
Feedback:
The service representative did not listen to a word I said. It was a waste of my time.
Class:
Negative
   
Feedback:
Carlo was so helpful and pleasant. He was able to solve a problem that I've been having with my software for weeks now.
Class:
<|assistant|>

granite-7b-labと会話

granite-7b-labfoundation modelとチャットするときに最良の結果を得るには、まずこれらの推奨事項に従い、次に実験して希望する結果を得てください。

次の表は、会話タスク用にgranite-7b-labfoundation modelを促すための推奨モデル パラメータを示しています。

モデル・パラメータの詳細については、プロンプトのモデル・パラメータを参照してください。

granite-7b-labfoundation modelにチャット タスクを促すには、次の手順を試してください。

1. チャット モードの Prompt Lab から、 granite-7b-labfoundation modelを選択します。

   チャットモードでは、より高い最大トークン値を含む、会話のやりとりに最適化されたデフォルトのプロンプトパラメータ値があります。

2. モデルパラメータパネルから、表2の推奨モデルパラメータ値を適用する。

3. チャットモードでは、入力テキストをフォーマットせずにユーザー入力を送信できます。

   チャットモードでは、システムプロンプトのテキストが適用されます。 テキストアイコンをクリックすると、テキストの書式を確認できます。

4. フリーフォームモードで同じプロンプトを送信するには、システムプロンプトを設定する必要がある。

   指示を加える。 例えば、次のような指示文はモデルの訓練に使われたもので、モデルにとっては馴染み深いものである。

   あなたはIBMリサーチによって開発されたAI言語モデルです。 あなたは慎重なアシスタントだ。 あなたは注意深く指示に従う。 あなたは親切で無害であり、倫理的なガイドラインに従い、積極的な行動を促進する。

   推奨されるシステム・プロンプト・テキストをコピーするには、次のコード・スニペットからクリップボードにコピーアイコンをクリックします。

   You are an AI language model developed by IBM Research. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
   

   会話を始める。

   チャットタスクに使われるプロンプトの最適な構造は以下の通りである。 プロンプトには、プロンプトの以下のセグメントを識別する構文が含まれる：

   • <|system|> :foundation modelのシステムプロンプトとも呼ばれる命令を識別します。
   • <|user|>：答えとなるクエリーテキスト。
   • <|assistant|>：プロンプトの最後で、生成された答えが期待されていることを示す合図。

   自由形式モードでプロンプトラボからプロンプトを送信する場合は、予想されるプロンプト形式を使用してください。

   <|system|>
   You are an AI language model developed by IBM Research. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
   <|user|>
   {PROMPT}
   <|assistant|>
   
   

   例：

   <|system|>
   You are an AI language model developed by IBM Research. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
   <|user|>
   What is the capital of Massachusetts?
   <|assistant|>
   
   

5. 会話を続けるために、フォローアップの質問をする。

   複数のダイアログターンを持つチャットに使用されるプロンプトの最適な構造は以下の通りである。 自由形式モードでプロンプトラボからプロンプトを送信する場合は、このプロンプト形式を使用してください。

   <|system|>
   You are an AI language model developed by IBM Research. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
   <|user|>
   {ROUND1_PROMPT}
   <|assistant|>
   {MODEL_RESPONSE}
   <|user|>
   {ROUND2_PROMPT}
   <|assistant|>
   
   

   例：

   <|system|>
   You are an AI language model developed by IBM Research. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
   <|user|>
   What is the capital of Massachusetts?
   <|assistant|>
   The capital of Massachusetts is Boston. Boston is not only the largest city in Massachusetts but also one of the oldest cities in the United States, with a rich history and vibrant culture. It is home to numerous universities, hospitals, and technology companies, making it a significant center for education, biotechnology, finance, and tourism. If you have any specific questions about Boston or Massachusetts, feel free to ask!
   <|user|>
   What US cities are older?
   <|assistant|>
   There are several cities in the United States that are older than Boston and even older than the country itself! Some of these historical gems include:
   
   1. St. Augustine, Florida: Established in 1565, St. Augustine is the oldest continuously inhabited European-established settlement within the borders of the contiguous United States.
   2. Jamestown, Virginia: Founded in 1607, Jamestown was the first permanent English settlement in North America.
   3. Plymouth, Massachusetts: Established in 1620, Plymouth ...
   

RAGパターンで事実に基づいた回答を返す

granite-7b-labfoundation modelが事実に基づいた回答を返すようにするには、検索拡張生成パターンを使用します。 検索-補強された生成は、議論されるトピックに関する事実情報をモデルに提出する入力を根拠づける。 詳しくは、検索補強世代（RAG）を参照。

granite-7b-labfoundation modelから事実に基づく回答を返す場合は、次の推奨事項に従ってください。

次の表は、検索強化生成タスクのためにgranite-7b-labfoundation modelを実行するための推奨モデル パラメータを示しています。

モデル・パラメータの詳細については、プロンプトのモデル・パラメータを参照してください。

検索拡張生成タスクのためにgranite-7b-labfoundation modelを促すには、次の手順を試してください。

1. モデルに議論させたいトピックについて、事実に基づいた情報が掲載されており、使用許可を得ている信頼できる資料を探す。 文書やドキュメントの抜粋を、後でアクセスできるテキストエディタなどにコピーする。

   例えば、自社のウェブサイトや製品ドキュメントの製品情報などです。

2. プロンプトラボからフリーフォームモードを開き、プロンプトを構成できるようにします。 granite-7b-labfoundation modelを選択します。

3. モデルパラメータパネルから、表3から推奨されるモデルパラメータを設定します。

4. プロンプトでは、システムプロンプト、ユーザー入力、モデルの出力先を明確に定義する。

   たとえば、次のプロンプト構造はgranite-7b-labfoundation modelが関連情報を返すのに役立ちます。

   <|system|>
   You are an AI language model developed by IBM Research. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
   <|user|>
   You are an AI language model designed to function as a specialized Retrieval Augmented Generation (RAG) assistant. When generating responses, prioritize correctness, i.e., ensure that your response is grounded in context and user query. Always make sure that your response is relevant to the question.
   Answer Length: {ANSWER_LENGTH}
   [Document]
   {DOCUMENT1_TITLE}
   {DOCUMENT1_CONTENT}
   [End]
   [Document]
   {DOCUMENT2_TITLE}
   {DOCUMENT2_CONTENT}
   [End]
   [Document]
   {DOCUMENT3_TITLE}
   {DOCUMENT3_CONTENT}
   [End]
   {QUERY}
   <|assistant|>
   
   

   注意：文書内容の開始と終了は、特別なタグ[Document]と[End]で示されます。 プロンプトにコンテンツタイプやサブセクションのヘッダーを識別する特別なタグを追加する場合も、同様の構文を使用します。 granite-7b-labfoundation modelが作成されたとき、次の特殊なタグを処理するようにトレーニングされました。

   • <|system|> :foundation modelのシステムプロンプトとも呼ばれる命令を識別します。
   • <|user|>：答えとなるクエリーテキスト。
   • <|assistant|>：プロンプトの最後で、生成された答えが期待されていることを示す合図。

   カスタムタグに同じ<|tagname|>構文を使わないでください。

5. このプロンプトテンプレートをコピーした場合は、プロンプトラボエディタに貼り付けた後、プレースホルダ変数を置き換えてください。

   表4：RAGテンプレートのプレースホルダー変数

   プレースホルダ変数	説明	例
   {ANSWER_LENGTH}	オプション。 回答に期待される長さを定義します。	選択肢は以下の通り（短い回答から長い回答へ）：single word、concise、narrative
   {DOCUMENTn_TITLE}	事実情報を含む抜粋が引用されている文書のタイトル。 複数の文書の内容を含めることができます。	製品パンフレット
   {DOCUMENTn_CONTENT}	モデルに知識を持って議論してもらいたい事実情報を抜粋した文章。	マーケティングパンフレット、製品資料、企業ウェブサイト、その他信頼できるリソースからのテキスト。
   {QUERY}	事実に基づいて答えるべき質問。	文書で取り上げられているトピックに関する質問。

    

   ヒント：別の方法として、プロンプトを再利用し、内容を毎回動的に置き換えることができるように、ドキュメントにプロンプト変数を定義して使用することもできる。 詳細については、再利用可能なプロンプトを作成するを参照してください。

<|system|>
You are an AI language model developed by IBM Research. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
<|user|>
You are an AI language model designed to function as a specialized Retrieval Augmented Generation (RAG) assistant. When generating responses, prioritize correctness, i.e., ensure that your response is grounded in context and user query. Always make sure that your response is relevant to the question.
Answer length: concise
[Document]
How prompt-tuning works
Foundation models are sensitive to the input that you give them. Your input, or how you prompt the model, can introduce context that the model will use to tailor its generated output. Prompt engineering to find the right prompt often works well. However, it can be time-consuming, error-prone, and its effectiveness can be restricted by the context window length that is allowed by the underlying model.
Prompt-tuning a model in the Tuning Studio applies machine learning to the task of prompt engineering. Instead of adding words to the input itself, prompt-tuning is a method for finding a sequence of values that, when added as a prefix to the input text, improve the model's ability to generate the output you want. This sequence of values is called a prompt vector.
Normally, words in the prompt are vectorized by the model. Vectorization is the process of converting text to tokens, and then to numbers defined by the model's tokenizer to identify the tokens. Lastly, the token IDs are encoded, meaning they are converted into a vector representation, which is the input format that is expected by the embedding layer of the model. Prompt-tuning bypasses the model's text-vectorization process and instead crafts a prompt vector directly. This changeable prompt vector is concatenated to the vectorized input text and the two are passed as one input to the embedding layer of the model. Values from this crafted prompt vector affect the word embedding weights that are set by the model and influence the words that the model chooses to add to the output.
To find the best values for the prompt vector, you run a tuning experiment. You demonstrate the type of output that you want for a corresponding input by providing the model with input and output example pairs in training data. With each training run of the experiment, the generated output is compared to the training data output. Based on what it learns from differences between the two, the experiment adjusts the values in the prompt vector. After many runs through the training data, the model finds the prompt vector that works best.
[End]
How does prompt tuning work?
<|assistant|>

詳細情報

granite-7b-labfoundation modelの詳細については、次のリソースをお読みください。

• モデルカード

Parent topic: IBM Foundation models