Sugerencias para solicitar granite-13b-chat-v2 para tareas conversacionales

• En las preguntas de seguimiento, evite los pronombres. Por ejemplo, pregunte "¿Qué representa la variable?" en lugar de "¿Qué representa it ?"

• Si desea que el foundation model genere una respuesta en formato de tabla, pida explícitamente en el prompt que el modelo devuelva una tabla generada en markdown.

Recuperación-ejemplo de solicitud de generación aumentada

El siguiente aviso utiliza el foundation model granite-13b-chat-v2 para responder a preguntas sobre el ajuste de los avisos.

Nota: El contenido del documento se toma del tema Métodos para ajustar modelos de base .

<|system|>
You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
<|user|>
You are an AI language model designed to function as a specialized Retrieval Augmented Generation (RAG) assistant. When generating responses, prioritize correctness, i.e., ensure that your response is grounded in context and user query. Always make sure that your response is relevant to the question.
Answer length: concise
[Document]
How prompt-tuning works
Foundation models are sensitive to the input that you give them. Your input, or how you prompt the model, can introduce context that the model will use to tailor its generated output. Prompt engineering to find the right prompt often works well. However, it can be time-consuming, error-prone, and its effectiveness can be restricted by the context window length that is allowed by the underlying model.
Prompt-tuning a model in the Tuning Studio applies machine learning to the task of prompt engineering. Instead of adding words to the input itself, prompt-tuning is a method for finding a sequence of values that, when added as a prefix to the input text, improve the model's ability to generate the output you want. This sequence of values is called a prompt vector.
Normally, words in the prompt are vectorized by the model. Vectorization is the process of converting text to tokens, and then to numbers defined by the model's tokenizer to identify the tokens. Lastly, the token IDs are encoded, meaning they are converted into a vector representation, which is the input format that is expected by the embedding layer of the model. Prompt-tuning bypasses the model's text-vectorization process and instead crafts a prompt vector directly. This changeable prompt vector is concatenated to the vectorized input text and the two are passed as one input to the embedding layer of the model. Values from this crafted prompt vector affect the word embedding weights that are set by the model and influence the words that the model chooses to add to the output.
To find the best values for the prompt vector, you run a tuning experiment. You demonstrate the type of output that you want for a corresponding input by providing the model with input and output example pairs in training data. With each training run of the experiment, the generated output is compared to the training data output. Based on what it learns from differences between the two, the experiment adjusts the values in the prompt vector. After many runs through the training data, the model finds the prompt vector that works best.
[End]
How does prompt tuning work?
<|assistant|>

El foundation model granite-13b-chat-v2 genera un resumen preciso de cómo funciona la sintonización rápida que se basa en la información del contenido del documento que se proporcionó con la entrada.

La salida tiene un aspecto similar al siguiente:

El ajuste de solicitud es un método para mejorar la capacidad de un modelo para generar salidas específicas ajustando una secuencia de valores denominada vector de solicitud. En lugar de añadir directamente palabras a la entrada, el ajuste de solicitud crea un vector de solicitud que influye directamente en la palabra que incorpora las ponderaciones establecidas por el modelo. Esto se consigue vectorizando el texto de entrada y codificando los ID de señal en una representación de vector, que luego se concatena con el vector de solicitud específico y se pasa como una entrada a la capa de inclusión del modelo. El experimento ajusta los valores en el vector de solicitud basándose en las diferencias entre la salida generada y la salida deseada en los ejemplos de datos de entrenamiento. En muchas ejecuciones a través de los datos de entrenamiento, el modelo encuentra el vector de solicitud que mejor funciona.

Clasificación

Para utilizar el foundation model granite-13b-chat-v2 para clasificar la información, siga estas recomendaciones.

La siguiente tabla enumera los parámetros del modelo recomendados para solicitar el ' granite-13b-chat-v2 ' foundation model para una tarea de clasificación.

Para solicitar al foundation model granite-13b-chat-v2 que realice una tarea de clasificación, siga estos pasos:

1. Identifique las clases o etiquetas de clasificación que desea que el modelo asigne a la entrada. Asegúrese de listar estas etiquetas de clase en el segmento de instrucción de la solicitud.

   Por ejemplo, si desea clasificar las revisiones de productos de cliente como positivas o negativas, puede definir dos etiquetas de clase: Postitive y Negative.

2. Recopile dos o tres ejemplos representativos del tipo de texto de entrada que desea que clasifique el modelo.

3. Trabaje con el foundation model granite-13b-chat-v2 del Prompt Lab en modo libre para poder estructurar sus prompts.

4. En el panel Parámetros de modelo , establezca los parámetros de modelo recomendados en la Tabla 3.

5. En la solicitud, identifique claramente la solicitud del sistema, la entrada del usuario y dónde debe ir la salida del modelo.

   Por ejemplo, cuando se entrenó el foundation model granite-13b-chat-v2 para clasificar texto, se utilizó la siguiente estructura de instrucciones:

   <|system|>
   You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
   <|user|>
   {INSTRUCTION}
   Your response should only include the answer. Do not provide any further explanation.
   Here are some examples, complete the last one:
   {INPUT_LABEL}:
   {ICL_INPUT_1}
   {OUTPUT_LABEL}:
   {ICL_OUTPUT_1}
   {INPUT_LABEL}:
   {ICL_INPUT_2}
   {OUTPUT_LABEL}:
   {ICL_OUTPUT_2}
   {INPUT_LABEL}:
   {TEST_INPUT}
   {OUTPUT_LABEL}:
   <|assistant|>
   
   

   Puede utilizar una estructura similar para aprovechar el entrenamiento del modelo. Simplemente sustituya las variables de marcador en la plantilla de solicitud.

   Tabla 3a: Variables de marcador de plantilla de clasificación

   Variable de marcador	Descripción	Ejemplos
   {INSTRUCTION}	Descripción de la tarea. Incluya una lista de las clases que desea que el modelo asigne a la entrada.	Para cada revisión de producto, indique si la revisión es positiva o negativa.
   {INPUT_LABEL}	Etiqueta corta para el texto que se va a clasificar.	Input, Customer review, Feedback, Comment
   {OUTPUT_LABEL}	Etiqueta corta que representa el valor de clasificación.	Class
   {ICL_INPUT_N}	Opcional. Ejemplos de texto de entrada que se va a clasificar. Añada ejemplos cuando desee utilizar una solicitud de pocos disparos para dar soporte al aprendizaje en contexto.	The service representative did not listen to a word I said. It was a waste of my time.
   {ICL_OUTPUT_N}	Salidas de ejemplo con etiquetas de clase asignadas a los ejemplos de texto de entrada correspondientes.	Positive, Negative

<|system|>
You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
<|user|>
For each feedback, specify whether the content is Positive or Negative. Your response should only include the answer. Do not provide any further explanation.
Here are some examples, complete the last one:
Feedback:
Carol, the service rep was so helpful. She answered all of my questions and explained things beautifully.
Class:
Positive
   
Feedback:
The service representative did not listen to a word I said. It was a waste of my time.
Class:
Negative
   
Feedback:
Carlo was so helpful and pleasant. He was able to solve a problem that I've been having with my software for weeks now.
Class:
<|assistant|>

Extracción

Para utilizar el foundation model granite-13b-chat-v2 para extraer información, siga estas recomendaciones.

La siguiente tabla enumera los parámetros del modelo recomendados para solicitar el ' granite-13b-chat-v2 ' foundation model para una tarea de extracción.

Para solicitar al foundation model granite-13b-chat-v2 una tarea de extracción, siga estos pasos:

1. Identifique los tipos de información que desea que el modelo extraiga de la entrada. Asegúrese de listar estas etiquetas de tipo de información en el segmento de instrucción de la solicitud.

   Por ejemplo, si desea extraer partes clave de la información del formulario de 10 K de US Securities and Exchange Commission de una empresa, puede identificar un tipo de información como, por ejemplo, Line Of Credit Facility Maximum Borrowing Capacity.

2. Recopile 2 o 3 ejemplos representativos de texto de entrada con el tipo de información que desea que extraiga el modelo.

3. Trabaje con el foundation model granite-13b-chat-v2 del Prompt Lab en modo libre para poder estructurar sus prompts.

4. En el panel Parámetros de modelo , establezca los parámetros de modelo recomendados en la Tabla 4.

5. Identifique claramente la solicitud del sistema, la entrada del usuario y dónde debe ir la salida del modelo.

   Por ejemplo, cuando se entrenó el foundation model granite-13b-chat-v2 para extraer información del texto, se utilizó la siguiente estructura de instrucciones:

   <|system|>
   You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
   <|user|>
   {INSTRUCTION}
   Your response should only include the answer. Do not provide any further explanation.
   Here are some examples, complete the last one:
   {INPUT_LABEL}:
   {ICL_INPUT_1}
   {OUTPUT_LABEL}:
   {ICL_OUTPUT_1}
   {INPUT_LABEL}:
   {ICL_INPUT_2}
   {OUTPUT_LABEL}:
   {ICL_OUTPUT_2}
   {INPUT_LABEL}:
   {TEST_INPUT}
   {OUTPUT_LABEL}:
   <|assistant|>
   
   

   Puede utilizar una estructura similar para aprovechar el entrenamiento del modelo. Simplemente sustituya las variables de marcador en la plantilla de solicitud.

   Tabla 4a: Variables de marcador de plantilla de extracción

   Variable de marcador	Descripción
   {INSTRUCTION}	Descripción de la tarea. Incluya una lista de los tipos de información que desea que el modelo extraiga de la entrada.
   {INPUT_LABEL}	Etiqueta corta para el texto que se va a clasificar.
   {OUTPUT_LABEL}	Etiqueta corta que representa el valor extraído.
   {ICL_INPUT_N}	Opcional. Ejemplos de texto de entrada con tipos de información que se extraerán. Añada ejemplos cuando desee utilizar una solicitud de pocos disparos para dar soporte al aprendizaje en contexto.
   {ICL_OUTPUT_N}	Salidas de ejemplo con tipos de información extraídos de las entradas correspondientes.

<|system|>
You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
<|user|>
Extract the Line Of Credit Facility Maximum Borrowing Capacity from the 10K sentences.
Your response should only include the answer. Do not provide any further explanation.
Here are some examples, complete the last one:
10K Sentence:
The credit agreement also provides that up to $500 million in commitments may be used for letters of credit.
Line Of Credit Facility Maximum Borrowing Capacity:
$500M

10K Sentence:
In March 2020, we upsized the Credit Agreement by $100 million, which matures July 2023, to $2.525 billion.
Line Of Credit Facility Maximum Borrowing Capacity:
$2.525B

10K Sentence:
We prepared our impairment test as of October 1, 2022 and determined that the fair values of each of our reporting units exceeded net book value by more than 50%. Among our reporting units, the narrowest difference between the calculated fair value and net book value was in our Principal Markets segment's Canada reporting unit, whose calculated fair value exceeded its net book value by 53%. Future developments related to macroeconomic factors, including increases to the discount rate used, or changes to other inputs and assumptions, including revenue growth, could reduce the fair value of this and/or other reporting units and lead to impairment. There were no goodwill impairment losses recorded for the nine months ended December 31, 2022. Cumulatively, the Company has recorded $469 million in goodwill impairment charges within its former EMEA ($293 million) and current United States ($176 million) reporting units. Revolving Credit Agreement In October 2021, we entered into a $3.15 billion multi-currency revolving credit agreement (the "Revolving Credit Agreement") for our future liquidity needs. The Revolving Credit Agreement expires, unless extended, in October 2026. Interest rates on borrowings under the Revolving Credit Agreement are based on prevailing market interest rates, plus a margin, as further described in the Revolving Credit Agreement. The total expense recorded by the Company for the Revolving Credit Agreement was not material in any of the periods presented. We may voluntarily prepay borrowings under the Revolving Credit Agreement without premium or penalty, subject to customary "breakage" costs. The Revolving Credit Agreement includes certain customary mandatory prepayment provisions. Interest on Debt Interest expense for the three and nine months ended December 31, 2022 was $27 million and $65 million, compared to $18 million and $50 million for the three and nine months ended December 31, 2021. Most of the interest for the pre-Separation period presented in the historical Consolidated Income Statement reflects the allocation of interest expense associated with debt issued by IBM from which a portion of the proceeds benefited Kyndryl.
Line Of Credit Facility Maximum Borrowing Capacity:
<|assistant|>