Richiesta del modello della fondazione " granite-13b-chat-v2 " da IBM

Suggerimenti per richiedere granite-13b-chat-v2 per le attività di conversazione

• Nelle domande di follow-up, evitare i pronomi. Ad esempio, chiedere "Cosa rappresenta la variabile?" invece di "Cosa rappresenta ?"

• Se si desidera che il modello di base generi una risposta in formato tabella, chiedere esplicitamente al prompt che il modello restituisca una tabella generata in markdown.

Richiamo - esempio di prompt di generazione aumentata

Il prompt seguente utilizza il modello di base dell' granite-13b-chat-v2, per rispondere alle domande sulla messa a punto del prompt.

Nota: il contenuto del documento viene preso dall'argomento Metodi per l'ottimizzazione dei modelli di base .

<|system|>
You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
<|user|>
You are an AI language model designed to function as a specialized Retrieval Augmented Generation (RAG) assistant. When generating responses, prioritize correctness, i.e., ensure that your response is grounded in context and user query. Always make sure that your response is relevant to the question.
Answer length: concise
[Document]
How prompt-tuning works
Foundation models are sensitive to the input that you give them. Your input, or how you prompt the model, can introduce context that the model will use to tailor its generated output. Prompt engineering to find the right prompt often works well. However, it can be time-consuming, error-prone, and its effectiveness can be restricted by the context window length that is allowed by the underlying model.
Prompt-tuning a model in the Tuning Studio applies machine learning to the task of prompt engineering. Instead of adding words to the input itself, prompt-tuning is a method for finding a sequence of values that, when added as a prefix to the input text, improve the model's ability to generate the output you want. This sequence of values is called a prompt vector.
Normally, words in the prompt are vectorized by the model. Vectorization is the process of converting text to tokens, and then to numbers defined by the model's tokenizer to identify the tokens. Lastly, the token IDs are encoded, meaning they are converted into a vector representation, which is the input format that is expected by the embedding layer of the model. Prompt-tuning bypasses the model's text-vectorization process and instead crafts a prompt vector directly. This changeable prompt vector is concatenated to the vectorized input text and the two are passed as one input to the embedding layer of the model. Values from this crafted prompt vector affect the word embedding weights that are set by the model and influence the words that the model chooses to add to the output.
To find the best values for the prompt vector, you run a tuning experiment. You demonstrate the type of output that you want for a corresponding input by providing the model with input and output example pairs in training data. With each training run of the experiment, the generated output is compared to the training data output. Based on what it learns from differences between the two, the experiment adjusts the values in the prompt vector. After many runs through the training data, the model finds the prompt vector that works best.
[End]
How does prompt tuning work?
<|assistant|>

Il modello della fondazione " granite-13b-chat-v2 " genera un riepilogo accurato di come funziona la messa a punto tempestiva, basato sulle informazioni contenute nel documento fornito con l'input.

L'output è simile al seguente:

L'ottimizzazione dei prompt è un metodo per migliorare la capacità di un modello di generare output specifici regolando una sequenza di valori denominata vettore di prompt. Invece di aggiungere direttamente parole all'input, l'ottimizzazione dei prompt crea un vettore di prompt che influenza direttamente i pesi di inserimento delle parole impostati dal modello. Questo si ottiene vettorizzando il testo di input e codificando gli ID token in una rappresentazione vettoriale, che viene quindi concatenata con il vettore prompt creato e passata come un input al livello di incorporazione del modello. L'esperimento regola i valori nel vettore di prompt in base alle differenze tra l'output generato e l'output desiderato negli esempi di dati di addestramento. In molti casi, il modello trova il vettore di prompt che funziona meglio.

Classificazione

Per utilizzare il modello di base dell' granite-13b-chat-v2 e per classificare le informazioni, seguire queste raccomandazioni.

La tabella seguente elenca i parametri del modello consigliati per avviare il modello di base dell' granite-13b-chat-v2 e per un'attività di classificazione.

Per avviare il modello di base dell' granite-13b-chat-v2 e per un'attività di classificazione, provare a seguire questi passaggi:

1. Identificare le classi o le etichette di classificazione che si desidera che il modello assegni all'input. Assicurarsi di elencare queste etichette di classe nel segmento di istruzione del prompt.

   Ad esempio, se si desidera classificare le recensioni dei prodotti cliente come positive o negative, è possibile definire due etichette di classe: Postitive e Negative.

2. Raccogliere due o tre esempi rappresentativi del tipo di testo di input che si desidera classificare con il modello.

3. Lavora con il modello della fondazione " granite-13b-chat-v2 " dell' Prompt Lab, in modalità a forma libera, in modo da poter strutturare i tuoi suggerimenti.

4. Dal pannello Parametri modello , impostare i parametri del modello consigliati dalla Tabella 3.

5. Nel prompt, identificare chiaramente il prompt di sistema, l'input dell'utente e dove deve andare l'output del modello.

   Ad esempio, la seguente struttura di prompt è stata utilizzata quando il modello di base dell' granite-13b-chat-v2 e è stato addestrato per classificare il testo:

   <|system|>
   You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
   <|user|>
   {INSTRUCTION}
   Your response should only include the answer. Do not provide any further explanation.
   Here are some examples, complete the last one:
   {INPUT_LABEL}:
   {ICL_INPUT_1}
   {OUTPUT_LABEL}:
   {ICL_OUTPUT_1}
   {INPUT_LABEL}:
   {ICL_INPUT_2}
   {OUTPUT_LABEL}:
   {ICL_OUTPUT_2}
   {INPUT_LABEL}:
   {TEST_INPUT}
   {OUTPUT_LABEL}:
   <|assistant|>
   
   

   Puoi utilizzare una struttura simile per sfruttare l'addestramento del modello. Sostituire semplicemente le variabili segnaposto nel modello di prompt.

   Tabella 3a: Variabili segnaposto del template di classificazione

   Variabile segnaposto	Descrizione	Esempi
   {INSTRUCTION}	Descrizione dell'attività. Includere un elenco di classi che si desidera che il modello assegni all'input.	Per ogni revisione del prodotto, indicare se la revisione è positiva o negativa.
   {INPUT_LABEL}	Etichetta breve per il testo da classificare.	Input, Customer review, Feedback, Comment
   {OUTPUT_LABEL}	Etichetta breve che rappresenta il valore di classificazione.	Class
   {ICL_INPUT_N}	Facoltativo. Esempi di testo di input da classificare. Aggiungere esempi quando si desidera utilizzare un prompt di pochi istantanee per supportare l'apprendimento nel contesto.	The service representative did not listen to a word I said. It was a waste of my time.
   {ICL_OUTPUT_N}	Output di esempio con etichette di classe assegnate agli esempi di testo di immissione corrispondenti.	Positive, Negative

<|system|>
You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
<|user|>
For each feedback, specify whether the content is Positive or Negative. Your response should only include the answer. Do not provide any further explanation.
Here are some examples, complete the last one:
Feedback:
Carol, the service rep was so helpful. She answered all of my questions and explained things beautifully.
Class:
Positive
   
Feedback:
The service representative did not listen to a word I said. It was a waste of my time.
Class:
Negative
   
Feedback:
Carlo was so helpful and pleasant. He was able to solve a problem that I've been having with my software for weeks now.
Class:
<|assistant|>

Estrazione

Per utilizzare il modello di base dell' granite-13b-chat-v2, segui queste raccomandazioni.

La tabella seguente elenca i parametri del modello consigliati per avviare il modello di base dell' granite-13b-chat-v2 e per un'operazione di estrazione.

Per avviare il modello di fondazione dell' granite-13b-chat-v2 e per un'operazione di estrazione, provare a seguire questi passaggi:

1. Identificare i tipi di informazioni che si desidera vengano estratti dal modello dall'input. Assicurarsi di elencare queste etichette del tipo di informazioni nel segmento di istruzione della richiesta.

   Ad esempio, se si desidera estrarre informazioni chiave dal modulo 10-K della US Securities and Exchange Commission di una società, è possibile identificare un tipo di informazioni come Line Of Credit Facility Maximum Borrowing Capacity.

2. Raccogliere 2 o 3 esempi rappresentativi di testo di input con il tipo di informazioni che si desidera estrarre dal modello.

3. Lavora con il modello della fondazione " granite-13b-chat-v2 " dell' Prompt Lab, in modalità a forma libera, in modo da poter strutturare i tuoi suggerimenti.

4. Dal pannello Parametri modello , impostare i parametri del modello consigliati dalla tabella 4.

5. Identificare chiaramente il prompt di sistema, l'input dell'utente e dove deve andare l'output del modello.

   Ad esempio, la seguente struttura di prompt è stata utilizzata quando il modello di base dell' granite-13b-chat-v2 e è stato addestrato per estrarre informazioni dal testo:

   <|system|>
   You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
   <|user|>
   {INSTRUCTION}
   Your response should only include the answer. Do not provide any further explanation.
   Here are some examples, complete the last one:
   {INPUT_LABEL}:
   {ICL_INPUT_1}
   {OUTPUT_LABEL}:
   {ICL_OUTPUT_1}
   {INPUT_LABEL}:
   {ICL_INPUT_2}
   {OUTPUT_LABEL}:
   {ICL_OUTPUT_2}
   {INPUT_LABEL}:
   {TEST_INPUT}
   {OUTPUT_LABEL}:
   <|assistant|>
   
   

   Puoi utilizzare una struttura simile per sfruttare l'addestramento del modello. Sostituire semplicemente le variabili segnaposto nel modello di prompt.

   Tabella 4a: Variabili segnaposto del modello di estrazione

   Variabile segnaposto	Descrizione
   {INSTRUCTION}	Descrizione dell'attività. Includere un elenco dei tipi di informazioni che si desidera vengano estratti dal modello dall'input.
   {INPUT_LABEL}	Etichetta breve per il testo da classificare.
   {OUTPUT_LABEL}	Etichetta breve che rappresenta il valore estratto.
   {ICL_INPUT_N}	Facoltativo. Esempi di testo di immissione con tipi di informazioni da estrarre. Aggiungere esempi quando si desidera utilizzare un prompt di pochi istantanee per supportare l'apprendimento nel contesto.
   {ICL_OUTPUT_N}	Output di esempio con tipi di informazioni estratti dagli input corrispondenti.

<|system|>
You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
<|user|>
Extract the Line Of Credit Facility Maximum Borrowing Capacity from the 10K sentences.
Your response should only include the answer. Do not provide any further explanation.
Here are some examples, complete the last one:
10K Sentence:
The credit agreement also provides that up to $500 million in commitments may be used for letters of credit.
Line Of Credit Facility Maximum Borrowing Capacity:
$500M

10K Sentence:
In March 2020, we upsized the Credit Agreement by $100 million, which matures July 2023, to $2.525 billion.
Line Of Credit Facility Maximum Borrowing Capacity:
$2.525B

10K Sentence:
We prepared our impairment test as of October 1, 2022 and determined that the fair values of each of our reporting units exceeded net book value by more than 50%. Among our reporting units, the narrowest difference between the calculated fair value and net book value was in our Principal Markets segment's Canada reporting unit, whose calculated fair value exceeded its net book value by 53%. Future developments related to macroeconomic factors, including increases to the discount rate used, or changes to other inputs and assumptions, including revenue growth, could reduce the fair value of this and/or other reporting units and lead to impairment. There were no goodwill impairment losses recorded for the nine months ended December 31, 2022. Cumulatively, the Company has recorded $469 million in goodwill impairment charges within its former EMEA ($293 million) and current United States ($176 million) reporting units. Revolving Credit Agreement In October 2021, we entered into a $3.15 billion multi-currency revolving credit agreement (the "Revolving Credit Agreement") for our future liquidity needs. The Revolving Credit Agreement expires, unless extended, in October 2026. Interest rates on borrowings under the Revolving Credit Agreement are based on prevailing market interest rates, plus a margin, as further described in the Revolving Credit Agreement. The total expense recorded by the Company for the Revolving Credit Agreement was not material in any of the periods presented. We may voluntarily prepay borrowings under the Revolving Credit Agreement without premium or penalty, subject to customary "breakage" costs. The Revolving Credit Agreement includes certain customary mandatory prepayment provisions. Interest on Debt Interest expense for the three and nine months ended December 31, 2022 was $27 million and $65 million, compared to $18 million and $50 million for the three and nine months ended December 31, 2021. Most of the interest for the pre-Separation period presented in the historical Consolidated Income Statement reflects the allocation of interest expense associated with debt issued by IBM from which a portion of the proceeds benefited Kyndryl.
Line Of Credit Facility Maximum Borrowing Capacity:
<|assistant|>