대화식 태스크에 대해 granite-13b-chat-v2 를 프롬프트하기 위한 팁

• 후속 질문에서 대명사를 피하십시오. 예를 들어, " 변수가 나타내는 것은 무엇입니까? " it 가 나타내는 것은 무엇입니까?

• foundation model 테이블 형식으로 응답을 생성하도록 하려면 마크다운으로 생성된 테이블을 반환하도록 모델에 명시적으로 요청하세요.

검색 기능이 보강된 생성 프롬프트 예제

다음 프롬프트는 granite-13b-chat-v2 foundation model 사용하여 프롬프트 튜닝에 대한 질문에 답변합니다.

참고: 문서 컨텐츠는 기본 모델 튜닝 방법 주제에서 가져옵니다.

<|system|>
You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
<|user|>
You are an AI language model designed to function as a specialized Retrieval Augmented Generation (RAG) assistant. When generating responses, prioritize correctness, i.e., ensure that your response is grounded in context and user query. Always make sure that your response is relevant to the question.
Answer length: concise
[Document]
How prompt-tuning works
Foundation models are sensitive to the input that you give them. Your input, or how you prompt the model, can introduce context that the model will use to tailor its generated output. Prompt engineering to find the right prompt often works well. However, it can be time-consuming, error-prone, and its effectiveness can be restricted by the context window length that is allowed by the underlying model.
Prompt-tuning a model in the Tuning Studio applies machine learning to the task of prompt engineering. Instead of adding words to the input itself, prompt-tuning is a method for finding a sequence of values that, when added as a prefix to the input text, improve the model's ability to generate the output you want. This sequence of values is called a prompt vector.
Normally, words in the prompt are vectorized by the model. Vectorization is the process of converting text to tokens, and then to numbers defined by the model's tokenizer to identify the tokens. Lastly, the token IDs are encoded, meaning they are converted into a vector representation, which is the input format that is expected by the embedding layer of the model. Prompt-tuning bypasses the model's text-vectorization process and instead crafts a prompt vector directly. This changeable prompt vector is concatenated to the vectorized input text and the two are passed as one input to the embedding layer of the model. Values from this crafted prompt vector affect the word embedding weights that are set by the model and influence the words that the model chooses to add to the output.
To find the best values for the prompt vector, you run a tuning experiment. You demonstrate the type of output that you want for a corresponding input by providing the model with input and output example pairs in training data. With each training run of the experiment, the generated output is compared to the training data output. Based on what it learns from differences between the two, the experiment adjusts the values in the prompt vector. After many runs through the training data, the model finds the prompt vector that works best.
[End]
How does prompt tuning work?
<|assistant|>

granite-13b-chat-v2 foundation model 입력과 함께 제공된 문서 콘텐츠의 정보를 기반으로 즉각적인 튜닝이 어떻게 작동하는지에 대한 정확한 요약을 생성합니다.

출력은 다음과 같습니다.

프롬프트 튜닝은 프롬프트 벡터라고 하는 값의 시퀀스를 조정하여 특정 출력을 생성하는 모델의 기능을 개선하는 방법입니다. 입력에 단어를 직접 추가하는 대신 프롬프트 튜닝은 모델에 의해 설정된 단어 임베드 가중치에 직접 영향을 주는 프롬프트 벡터를 작성합니다. 이는 입력 텍스트를 벡터화하고 토큰 ID를 벡터 표시로 인코딩하여 수행되며, 그런 다음 의도적으로 만든 프롬프트 벡터와 연결되어 모델의 임베딩 계층에 하나의 입력으로 전달됩니다. 실험은 훈련 데이터 예제에서 생성된 출력과 원하는 출력 사이의 차이를 기반으로 프롬프트 벡터의 값을 조정합니다. 훈련 데이터를 여러 번 실행하는 동안 모델은 가장 잘 작동하는 프롬프트 벡터를 찾습니다.

분류

granite-13b-chat-v2 foundation model 사용하여 정보를 분류하려면 다음 권장 사항을 따르세요.

다음 표에는 분류 작업을 위해 granite-13b-chat-v2 foundation model 메시지를 표시하는 데 권장되는 모델 매개변수가 나와 있습니다.

granite-13b-chat-v2 foundation model 분류 작업을 요청하려면 다음 단계를 시도하세요:

1. 모델이 입력에 지정할 클래스 또는 분류 레이블을 식별하십시오. 프롬프트의 명령어 세그먼트에 이러한 클래스 레이블을 나열해야 합니다.

   예를 들어, 고객 제품 검토를 긍정적 또는 부정적으로 분류하려는 경우 두 개의 클래스 레이블 ( Postitive 및 Negative) 을 정의할 수 있습니다.

2. 모델에서 분류할 입력 텍스트 유형의 대표적인 예를 두 개 또는 세 개 수집하십시오.

3. 프롬프트 랩에서 자유 형식 모드의 granite-13b-chat-v2 foundation model 작업하여 프롬프트를 구성할 수 있습니다.

4. 모델 매개변수 패널에서 표 3의 권장 모델 매개변수를 설정하십시오.

5. 프롬프트에서 시스템 프롬프트, 사용자 입력 및 모델의 출력이 이동해야 하는 위치를 명확하게 식별하십시오.

   예를 들어, granite-13b-chat-v2 foundation model 학습시켜 텍스트를 분류할 때 다음과 같은 프롬프트 구조가 사용되었습니다:

   <|system|>
   You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
   <|user|>
   {INSTRUCTION}
   Your response should only include the answer. Do not provide any further explanation.
   Here are some examples, complete the last one:
   {INPUT_LABEL}:
   {ICL_INPUT_1}
   {OUTPUT_LABEL}:
   {ICL_OUTPUT_1}
   {INPUT_LABEL}:
   {ICL_INPUT_2}
   {OUTPUT_LABEL}:
   {ICL_OUTPUT_2}
   {INPUT_LABEL}:
   {TEST_INPUT}
   {OUTPUT_LABEL}:
   <|assistant|>
   
   

   유사한 구조를 사용하여 모델의 훈련을 활용할 수 있습니다. 프롬프트 템플리트에서 플레이스홀더 변수를 바꾸기만 하면 됩니다.

   표 3a: 분류 템플리트 플레이스홀더 변수

   플레이스홀더 변수	설명	예
   {INSTRUCTION}	태스크에 대한 설명입니다. 모델이 입력에 지정할 클래스 목록을 포함하십시오.	각 제품 검토에 대해 검토가 긍정적인지 부정적인지 여부를 표시하십시오.
   {INPUT_LABEL}	분류할 텍스트의 짧은 레이블입니다.	Input, Customer review, Feedback, Comment
   {OUTPUT_LABEL}	분류 값을 나타내는 짧은 레이블입니다.	Class
   {ICL_INPUT_N}	선택사항. 분류할 입력 텍스트의 예입니다. 컨텍스트 내 학습을 지원하기 위해 몇 번의 프롬프트를 사용하려는 경우 예제를 추가하십시오.	The service representative did not listen to a word I said. It was a waste of my time.
   {ICL_OUTPUT_N}	해당 입력 텍스트 예제에 지정된 클래스 레이블이 있는 예제 출력입니다.	Positive, Negative

<|system|>
You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
<|user|>
For each feedback, specify whether the content is Positive or Negative. Your response should only include the answer. Do not provide any further explanation.
Here are some examples, complete the last one:
Feedback:
Carol, the service rep was so helpful. She answered all of my questions and explained things beautifully.
Class:
Positive
   
Feedback:
The service representative did not listen to a word I said. It was a waste of my time.
Class:
Negative
   
Feedback:
Carlo was so helpful and pleasant. He was able to solve a problem that I've been having with my software for weeks now.
Class:
<|assistant|>

추출

granite-13b-chat-v2 foundation model 사용하여 정보를 추출하려면 다음 권장 사항을 따르세요.

다음 표에는 추출 작업을 위해 granite-13b-chat-v2 foundation model 메시지를 표시하는 데 권장되는 모델 매개변수가 나와 있습니다.

granite-13b-chat-v2 foundation model 추출 작업을 요청하려면 다음 단계를 시도하세요:

1. 모델이 입력에서 추출할 정보 유형을 식별하십시오. 프롬프트의 명령어 세그먼트에 이러한 정보 유형 레이블을 나열해야 합니다.

   예를 들어, 회사의 US Securities and Exchange Commission 10-K양식에서 주요 정보를 추출하려는 경우 Line Of Credit Facility Maximum Borrowing Capacity와 같은 정보 유형을 식별할 수 있습니다.

2. 모델에서 추출할 정보 유형을 사용하여 2또는 3개의 대표적인 입력 텍스트 예제를 수집하십시오.

3. 프롬프트 랩에서 자유 형식 모드의 granite-13b-chat-v2 foundation model 작업하여 프롬프트를 구성할 수 있습니다.

4. 모델 매개변수 패널에서 표 4의 권장 모델 매개변수를 설정하십시오.

5. 시스템 프롬프트, 사용자 입력 및 모델의 출력이 이동해야 하는 위치를 명확하게 식별하십시오.

   예를 들어, 텍스트에서 정보를 추출하기 위해 granite-13b-chat-v2 foundation model 학습시킬 때 다음과 같은 프롬프트 구조가 사용되었습니다:

   <|system|>
   You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
   <|user|>
   {INSTRUCTION}
   Your response should only include the answer. Do not provide any further explanation.
   Here are some examples, complete the last one:
   {INPUT_LABEL}:
   {ICL_INPUT_1}
   {OUTPUT_LABEL}:
   {ICL_OUTPUT_1}
   {INPUT_LABEL}:
   {ICL_INPUT_2}
   {OUTPUT_LABEL}:
   {ICL_OUTPUT_2}
   {INPUT_LABEL}:
   {TEST_INPUT}
   {OUTPUT_LABEL}:
   <|assistant|>
   
   

   유사한 구조를 사용하여 모델의 훈련을 활용할 수 있습니다. 프롬프트 템플리트에서 플레이스홀더 변수를 바꾸기만 하면 됩니다.

   표 4a: 추출 템플리트 플레이스홀더 변수

   플레이스홀더 변수	설명
   {INSTRUCTION}	태스크에 대한 설명입니다. 모델이 입력에서 추출할 정보 유형 목록을 포함하십시오.
   {INPUT_LABEL}	분류할 텍스트의 짧은 레이블입니다.
   {OUTPUT_LABEL}	추출된 값을 나타내는 짧은 레이블입니다.
   {ICL_INPUT_N}	선택사항. 추출할 정보 유형이 있는 입력 텍스트의 예입니다. 컨텍스트 내 학습을 지원하기 위해 몇 번의 프롬프트를 사용하려는 경우 예제를 추가하십시오.
   {ICL_OUTPUT_N}	해당 입력에서 추출된 정보 유형이 있는 예제 출력입니다.

<|system|>
You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
<|user|>
Extract the Line Of Credit Facility Maximum Borrowing Capacity from the 10K sentences.
Your response should only include the answer. Do not provide any further explanation.
Here are some examples, complete the last one:
10K Sentence:
The credit agreement also provides that up to $500 million in commitments may be used for letters of credit.
Line Of Credit Facility Maximum Borrowing Capacity:
$500M

10K Sentence:
In March 2020, we upsized the Credit Agreement by $100 million, which matures July 2023, to $2.525 billion.
Line Of Credit Facility Maximum Borrowing Capacity:
$2.525B

10K Sentence:
We prepared our impairment test as of October 1, 2022 and determined that the fair values of each of our reporting units exceeded net book value by more than 50%. Among our reporting units, the narrowest difference between the calculated fair value and net book value was in our Principal Markets segment's Canada reporting unit, whose calculated fair value exceeded its net book value by 53%. Future developments related to macroeconomic factors, including increases to the discount rate used, or changes to other inputs and assumptions, including revenue growth, could reduce the fair value of this and/or other reporting units and lead to impairment. There were no goodwill impairment losses recorded for the nine months ended December 31, 2022. Cumulatively, the Company has recorded $469 million in goodwill impairment charges within its former EMEA ($293 million) and current United States ($176 million) reporting units. Revolving Credit Agreement In October 2021, we entered into a $3.15 billion multi-currency revolving credit agreement (the "Revolving Credit Agreement") for our future liquidity needs. The Revolving Credit Agreement expires, unless extended, in October 2026. Interest rates on borrowings under the Revolving Credit Agreement are based on prevailing market interest rates, plus a margin, as further described in the Revolving Credit Agreement. The total expense recorded by the Company for the Revolving Credit Agreement was not material in any of the periods presented. We may voluntarily prepay borrowings under the Revolving Credit Agreement without premium or penalty, subject to customary "breakage" costs. The Revolving Credit Agreement includes certain customary mandatory prepayment provisions. Interest on Debt Interest expense for the three and nine months ended December 31, 2022 was $27 million and $65 million, compared to $18 million and $50 million for the three and nine months ended December 31, 2021. Most of the interest for the pre-Separation period presented in the historical Consolidated Income Statement reflects the allocation of interest expense associated with debt issued by IBM from which a portion of the proceeds benefited Kyndryl.
Line Of Credit Facility Maximum Borrowing Capacity:
<|assistant|>