Expérimentez l'inférence du foundation model IBM granite-13b-chat-v2 dans watsonx.ai pour voir comment ce foundation model polyvalent peut vous aider à accomplir diverses tâches.
Le foundation model granite-13b-chat-v2 est un modèle linguistique à 13 milliards de paramètres conçu pour aider les utilisateurs professionnels à accomplir leur travail. Les modèles de base de la série Granite d'IBM sont formés sur des ensembles de données spécialisés pour les entreprises, ce qui signifie que les modèles sont familiarisés avec le langage spécialisé et le jargon de divers secteurs et peuvent plus facilement générer un contenu fondé sur des connaissances sectorielles pertinentes.
Pour plus d'informations sur le foundation model granite-13b-chat-v2, comme le numéro de version et les détails des instructions, voir la carte de modèle.
Le foundation model granite-13b-chat-v2 est optimisé pour les cas d'utilisation suivants :
Etant donné que le modèle peut être utilisé pour différents cas d'utilisation, pour obtenir les meilleurs résultats, vous devez ajuster les paramètres du modèle et l'invite système.
Conversation avec granite-13b-chat-v2
Pour obtenir les meilleurs résultats lors d'un chat avec le foundation model granite-13b-chat-v2, suivez d'abord ces recommandations et expérimentez ensuite pour obtenir les résultats que vous souhaitez.
Le tableau suivant répertorie les paramètres recommandés pour le foundation model granite-13b-chat-v2 afin de l'inviter à effectuer une tâche conversationnelle.
Paramètre | Valeur ou plage recommandée | Explication |
---|---|---|
Décodage | Echantillonnage | Le décodage par échantillonnage génère un texte plus créatif, ce qui permet d'ajouter de l'intérêt et de la personnalité aux réponses de l'agent conversationnel. Cependant, elle peut également entraîner une sortie imprévisible. Vous pouvez contrôler le degré de créativité avec l'ensemble de paramètres de modèle suivant. |
P le plus haut: 0.85 K le plus haut: 50 Température: 0.7 |
Ces paramètres de décodage par échantillonnage fonctionnent tous ensemble. Le modèle sélectionne un sous-ensemble de jetons parmi lesquels choisir le jeton à inclure dans la sortie. Le sous-ensemble inclut les 50 jetons les plus probables (K premiers) ou les jetons qui, lorsque leurs scores de probabilité sont additionnés, atteignent un score total de 0.85 (P premiers). La valeur de température relativement basse de 0.7 amplifie la différence dans les scores des jetons. Par conséquent, les jetons qui effectuent la coupe sont généralement les jetons les plus probables. Pour augmenter la créativité et la diversité des réponses, augmentez la valeur de la température. Si le modèle hallucine, diminuez la valeur de la température. |
|
Pénalité de répétition | 1.05 | Définissez la pénalité sur cette valeur basse pour empêcher l'agent conversationnel de sonner robotique en répétant des mots ou des phrases. |
Valeur aléatoire de départ | – | Ne spécifiez une valeur pour ce paramètre que si vous testez quelque chose et que vous souhaitez supprimer le caractère aléatoire en tant que facteur du test. Par exemple, si vous souhaitez modifier la température pour voir comment cela affecte la sortie, soumettez la même entrée à plusieurs reprises et modifiez uniquement la valeur de la température à chaque fois. Spécifiez également un nombre, tel que 5 , comme valeur de départ aléatoire à chaque fois pour éliminer les choix de jeton aléatoires qui affectent également la sortie du modèle. Le nombre lui-même n'a pas d'importance, tant que vous spécifiez le même nombre à chaque fois. |
Nombre maximal de jetons | 900 | La longueur maximale de la fenêtre contextuelle pour le foundation model granite-13b-chat-v2, qui inclut les jetons d'entrée et de sortie, est de 8192. Pour plus d'informations sur les jetons, voir Tokens and tokenization. Avec chaque question de suivi, l'historique des conversations est inclus dans l'invite de modèle. Le foundation model granite-13b-chat-v2 peut généralement soutenir une conversation pendant 5 tours ou jusqu'à ce que l'entrée atteigne 4 000 jetons. |
Pour plus d'informations sur les paramètres de modèle, voir Paramètres de modèle pour l'invite.
Pour demander au foundation model granite-13b-chat-v2 d'effectuer une tâche de chat, procédez comme suit :
Dans le laboratoire des invites en mode chat, choisissez le foundation model granite-13b-chat-v2.
Le mode de discussion possède des valeurs de paramètre d'invite par défaut qui sont optimisées pour les échanges conversationnels, y compris une valeur Max tokens plus élevée.
Dans le panneau Paramètres de modèle , appliquez les valeurs de paramètre de modèle recommandées dans le tableau 1.
En mode de discussion, vous pouvez soumettre une entrée utilisateur sans formater le texte d'entrée.
Le mode de discussion applique le format recommandé au texte d'invite pour vous. Vous pouvez cliquer sur l'icône de texte "
pour voir comment votre texte est formaté.
Pour soumettre la même invite en mode à structure libre, vous devez configurer l'invite système.
Ajoutez des instructions. Par exemple, le texte d'instruction suivant a été utilisé pour entraîner le modèle et est donc familier au modèle.
Vous êtes Granite Chat, un modèle de langage d'IA développé par IBM. Vous êtes un assistant prudent. Vous suivez attentivement les instructions. Vous êtes utile et inoffensif et vous suivez des directives éthiques et vous promouvez un comportement positif. Vous répondez toujours aux salutations (par exemple, bonjour, bonjour, g'day, matin, après-midi, soir, nuit, quoi de mieux, agréable de vous rencontrer, sup) avec " Bonjour ! Je suis Granite Chat, créé par IBM. Comment puis-je vous aider aujourd'hui? ". Ne dites rien d'autre et ne démarrez pas de conversation.
Pour copier le texte d'invite système recommandé, cliquez sur l'icône Copier dans le presse-papiers à partir du fragment de code suivant.
You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior. You always respond to greetings (for example, hi, hello, g'day, morning, afternoon, evening, night, what's up, nice to meet you, sup) with "Hello! I am Granite Chat, created by IBM. How can I help you today?". Please do not say anything else and do not start a conversation.
Démarrez une conversation.
La structure optimale pour une invite utilisée pour une tâche de discussion est la suivante. L'invite inclut une syntaxe qui identifie les segments suivants de l'invite:
<|system|>
: identifie l'instruction, qui est également connue sous le nom d'invite système pour le foundation model.<|user|>
: texte de la requête à répondre.<|assistant|>
: un signal à la fin de l'invite qui indique qu'une réponse générée est attendue.
Lorsque vous soumettez des invites à partir du laboratoire d'invite en mode libre, utilisez le format d'invite attendu.
<|system|> You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior. You always respond to greetings (for example, hi, hello, g'day, morning, afternoon, evening, night, what's up, nice to meet you, sup) with "Hello! I am Granite Chat, created by IBM. How can I help you today?". Please do not say anything else and do not start a conversation. <|user|> {PROMPT} <|assistant|>
Posez des questions de suivi pour maintenir la conversation.
La structure optimale pour une invite utilisée pour une discussion avec plusieurs dialogues est la suivante. Si vous soumettez des invites à partir du laboratoire d'invite en mode à structure libre, utilisez ce format d'invite.
<|system|> You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior. You always respond to greetings (for example, hi, hello, g'day, morning, afternoon, evening, night, what's up, nice to meet you, sup) with "Hello! I am Granite Chat, created by IBM. How can I help you today?". Please do not say anything else and do not start a conversation. <|user|> {ROUND1_PROMPT} <|assistant|> {MODEL_RESPONSE} <|user|> {ROUND2_PROMPT} <|assistant|>
Pour un autre exemple d'invite illustrant le cas d'utilisation de la discussion, voir Exemple: Converse with granite-13b-chat-v2.
Pour plus d'informations sur l'utilisation du mode de discussion dans Prompt Lab, voir Prompt Lab.
Conseils pour l'invite granite-13b-chat-v2 pour les tâches conversationnelles
Dans les questions de suivi, évitez les pronoms. Par exemple, demandez " Que représente la variable? au lieu de " Que représente it ?
Si vous souhaitez que le foundation model génère une réponse sous forme de tableau, demandez explicitement dans l'invite que le modèle renvoie un tableau généré en markdown.
Renvoi de réponses factuelles avec le modèle RAG
Pour guider le foundation model granite-13b-chat-v2 afin qu'il renvoie des réponses factuelles, utilisez le modèle de génération augmentée par la recherche. L'extraction-augmentation de la génération justifie l'entrée que vous soumettez au modèle avec des informations factuelles sur le sujet à discuter. Pour plus d'informations, voir Extraction-Génération augmentée (RAG).
Lorsque vous souhaitez renvoyer des réponses factuelles à partir du foundation model granite-13b-chat-v2, suivez ces recommandations.
Le tableau suivant énumère les paramètres recommandés pour le foundation model granite-13b-chat-v2 dans le cadre d'une tâche de génération augmentée par la recherche.
Paramètre | Valeur ou plage recommandée | Explication |
---|---|---|
Décodage | Vorace | Le décodage gourmand choisit des jetons parmi les options les plus probables, ce qui est préférable lorsque vous voulez des réponses factuelles. |
Pénalité de répétition | 1 | Utilisez la valeur la plus faible. La répétition est acceptable lorsque l'objectif est une réponse factuelle. |
Nombre maximal de jetons | 500 | Le modèle peut répondre à la question de la manière la plus complète possible. Rappelez-vous que la longueur maximale de la fenêtre contextuelle pour le foundation model granite-13b-chat-v2, qui inclut à la fois les jetons d'entrée et de sortie, est de 8192. Conservez votre entrée, y compris le document que vous ajoutez à la base de l'invite, dans cette limite. Pour plus d'informations sur les jetons, voir Jetons et jetons. |
Critères d"arrêt | < |fin de texte | > | Une caractéristique utile du foundation model granite-13b-chat-v2 est l'inclusion d'un jeton spécial nommé <|endoftext|> à la fin de chaque réponse. Lorsque certains modèles génératifs renvoient une réponse à l'entrée dans un nombre de jetons inférieur au nombre maximal autorisé, ils peuvent répéter des motifs à partir de l'entrée. Ce modèle évite une telle répétition en incorporant une séquence d'arrêt fiable pour l'invite. |
Pour plus d'informations sur les paramètres de modèle, voir Paramètres de modèle pour l'invite.
Pour lancer le foundation model granite-13b-chat-v2 dans une tâche de génération augmentée par la recherche, procédez comme suit :
Recherchez des ressources fiables avec des informations factuelles sur la rubrique dont vous souhaitez que le modèle soit l'objet et que vous êtes autorisé à utiliser. Copiez un extrait du ou des documents dans un éditeur de texte ou un autre outil où vous pourrez y accéder ultérieurement.
Par exemple, la ressource peut être des informations produit provenant du site Web de votre société ou de la documentation du produit.
Dans le laboratoire d'invite, ouvrez le mode à structure libre pour pouvoir structurer vos invites. Choisissez le foundation model granite-13b-chat-v2.
Dans le panneau Paramètres de modèle , définissez les paramètres de modèle recommandés dans le tableau 2.
Dans votre invite, définissez clairement l'invite système, l'entrée utilisateur et l'emplacement de la sortie du modèle.
Par exemple, la structure d'invite suivante peut aider le foundation model granite-13b-chat-v2 à renvoyer des informations pertinentes.
<|system|> You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior. <|user|> You are an AI language model designed to function as a specialized Retrieval Augmented Generation (RAG) assistant. When generating responses, prioritize correctness, i.e., ensure that your response is grounded in context and user query. Always make sure that your response is relevant to the question. Answer Length: {ANSWER_LENGTH} [Document] {DOCUMENT1_TITLE} {DOCUMENT1_CONTENT} [End] [Document] {DOCUMENT2_TITLE} {DOCUMENT2_CONTENT} [End] [Document] {DOCUMENT3_TITLE} {DOCUMENT3_CONTENT} [End] {QUERY} <|assistant|>
Remarque: Le début et la fin du contenu du document sont indiqués par les balises spéciales
[Document]
et[End]
. Utilisez une syntaxe similaire si vous souhaitez ajouter des balises spéciales qui identifient les types de contenu ou les en-têtes de sous-section dans vos invites. Lorsque le foundation model granite-13b-chat-v2 a été créé, il a été formé pour gérer les balises spéciales suivantes :<|system|>
: identifie l'instruction, qui est également connue sous le nom d'invite système pour le foundation model.<|user|>
: texte de la requête à répondre.<|assistant|>
: un signal à la fin de l'invite qui indique qu'une réponse générée est attendue.
N'utilisez pas la même syntaxe
<|tagname|>
pour vos balises personnalisées, sinon vous risquez de confondre le modèle.Si vous copiez ce modèle d'invite, après l'avoir collé dans l'éditeur de lab d'invite, remplacez les variables de marque de réservation.
Tableau 2a: Variables de marque de réservation de modèle RAG Variable de marque de réservation Descriptif Exemples {ANSWER_LENGTH}
Facultatif. Définit la longueur de réponse attendue pour la réponse. Les options sont les suivantes (de la réponse la plus courte à la plus longue): single word
,concise
,narrative
{DOCUMENTn_TITLE}
Titre du document dont est tiré l'extrait avec des informations factuelles. Vous pouvez inclure du contenu provenant de plusieurs documents. Brochure du produit {DOCUMENTn_CONTENT}
Extrait de texte avec les informations factuelles que vous souhaitez que le modèle puisse discuter en connaissance de cause. Texte d'une brochure marketing, d'une documentation produit, d'un site Web d'entreprise ou d'une autre ressource digne de confiance. {QUERY}
La question doit recevoir une réponse factuelle. Question sur le sujet traité dans le document. Astuce: Vous pouvez également définir et utiliser une variable d'invite pour le document afin que l'invite puisse être réutilisée et que le contenu puisse être remplacé dynamiquement à chaque fois. Pour plus d'informations, voir Génération d'invites réutilisables.
Exemple d'invite d'extraction-génération augmentée
L'invite suivante utilise le foundation model granite-13b-chat-v2 pour répondre aux questions sur le réglage de l'invite.
Remarque: Le contenu du document est extrait de la rubrique Méthodes d'optimisation des modèles de base .
<|system|>
You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
<|user|>
You are an AI language model designed to function as a specialized Retrieval Augmented Generation (RAG) assistant. When generating responses, prioritize correctness, i.e., ensure that your response is grounded in context and user query. Always make sure that your response is relevant to the question.
Answer length: concise
[Document]
How prompt-tuning works
Foundation models are sensitive to the input that you give them. Your input, or how you prompt the model, can introduce context that the model will use to tailor its generated output. Prompt engineering to find the right prompt often works well. However, it can be time-consuming, error-prone, and its effectiveness can be restricted by the context window length that is allowed by the underlying model.
Prompt-tuning a model in the Tuning Studio applies machine learning to the task of prompt engineering. Instead of adding words to the input itself, prompt-tuning is a method for finding a sequence of values that, when added as a prefix to the input text, improve the model's ability to generate the output you want. This sequence of values is called a prompt vector.
Normally, words in the prompt are vectorized by the model. Vectorization is the process of converting text to tokens, and then to numbers defined by the model's tokenizer to identify the tokens. Lastly, the token IDs are encoded, meaning they are converted into a vector representation, which is the input format that is expected by the embedding layer of the model. Prompt-tuning bypasses the model's text-vectorization process and instead crafts a prompt vector directly. This changeable prompt vector is concatenated to the vectorized input text and the two are passed as one input to the embedding layer of the model. Values from this crafted prompt vector affect the word embedding weights that are set by the model and influence the words that the model chooses to add to the output.
To find the best values for the prompt vector, you run a tuning experiment. You demonstrate the type of output that you want for a corresponding input by providing the model with input and output example pairs in training data. With each training run of the experiment, the generated output is compared to the training data output. Based on what it learns from differences between the two, the experiment adjusts the values in the prompt vector. After many runs through the training data, the model finds the prompt vector that works best.
[End]
How does prompt tuning work?
<|assistant|>
Le foundation model granite-13b-chat-v2 génère un résumé précis de la manière dont fonctionne l'accord rapide, qui est basé sur des informations provenant du contenu du document qui a été fourni avec l'entrée.
La sortie se présente comme suit:
L'ajustement d'invite est une méthode permettant d'améliorer la capacité d'un modèle à générer des sorties spécifiques en ajustant une séquence de valeurs appelée vecteur d'invite. Au lieu d'ajouter directement des mots à l'entrée, l'optimisation d'invite permet de créer un vecteur d'invite qui influence directement les pondérations d'incorporation de mots définies par le modèle. Ceci est réalisé en vectorisant le texte d'entrée et en codant les ID de jeton dans une représentation vectorielle, qui est ensuite concaténée avec le vecteur d'invite créé et transmise en tant qu'entrée à la couche d'intégration du modèle. L'expérimentation ajuste les valeurs du vecteur d'invite en fonction des différences entre la sortie générée et la sortie souhaitée dans les exemples de données d'apprentissage. Sur de nombreuses exécutions des données d'apprentissage, le modèle trouve le vecteur d'invite qui fonctionne le mieux.
Tâches NLP
Vous pouvez utiliser le foundation model granite-13b-chat-v2 pour des tâches de traitement du langage naturel telles que la classification et l'extraction. Lorsque le modèle granite-13b-chat-v2 a été créé, il a été entraîné à effectuer ce type de tâches de traitement du langage naturel.
Lors de l'entraînement du modèle, les invites utilisées pour entraîner le modèle ont suivi un format spécifique par type de tâche. Lorsque vous utilisez le modèle pour effectuer l'une de ces tâches, imitez le format établi dans les invites que vous soumettez.
Classification
Pour utiliser le foundation model granite-13b-chat-v2 afin de classer les informations, il convient de suivre les recommandations suivantes.
Le tableau suivant énumère les paramètres recommandés pour demander au foundation model granite-13b-chat-v2 d'effectuer une tâche de classification.
Paramètre | Valeur ou plage recommandée | Explication |
---|---|---|
Décodage | Vorace | Le décodage gourmand ne sélectionne que les jetons parmi les options les plus probables, ce qui est préférable lorsque vous voulez classer du texte. |
Pénalité de répétition | 1 | Utilisez la valeur la plus faible. Une répétition est attendue. |
Nombre maximal de jetons | fluctuations | Utilisez une valeur qui couvre le nombre de jetons dans votre libellé de classe le plus long, par exemple 5 ou 10 . La limitation des jetons encourage le modèle à ne renvoyer que le libellé de classe approprié et rien d'autre. |
Critères d"arrêt | Ajoutez chaque libellé de classe pris en charge en tant que séquence d'arrêt. | L'ajout des classes en tant que séquences d'arrêt force le modèle à arrêter de générer du texte après qu'une classe a été affectée à l'entrée. |
Pour demander au foundation model granite-13b-chat-v2 d'effectuer une tâche de classification, procédez comme suit :
Identifiez les classes ou les libellés de classification que le modèle doit affecter à l'entrée. Veillez à répertorier ces libellés de classe dans le segment d'instruction de votre invite.
Par exemple, si vous souhaitez classer les critiques de produits client comme positives ou négatives, vous pouvez définir deux libellés de classe:
Postitive
etNegative
.Collectez deux ou trois exemples représentatifs du type de texte d'entrée que vous souhaitez que le modèle classifie.
Travaillez avec le foundation model granite-13b-chat-v2 du laboratoire des messages-guides en mode libre afin de pouvoir structurer vos messages-guides.
Dans le panneau Paramètres de modèle , définissez les paramètres de modèle recommandés à partir du tableau 3.
Dans votre invite, identifiez clairement l'invite système, l'entrée utilisateur et l'emplacement de la sortie du modèle.
Par exemple, la structure d'invite suivante a été utilisée lorsque le foundation model granite-13b-chat-v2 a été entraîné à classer le texte :
<|system|> You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior. <|user|> {INSTRUCTION} Your response should only include the answer. Do not provide any further explanation. Here are some examples, complete the last one: {INPUT_LABEL}: {ICL_INPUT_1} {OUTPUT_LABEL}: {ICL_OUTPUT_1} {INPUT_LABEL}: {ICL_INPUT_2} {OUTPUT_LABEL}: {ICL_OUTPUT_2} {INPUT_LABEL}: {TEST_INPUT} {OUTPUT_LABEL}: <|assistant|>
Vous pouvez utiliser une structure similaire pour optimiser l'entraînement du modèle. Remplacez simplement les variables de marque de réservation dans le modèle d'invite.
Tableau 3a: Variables de marque de réservation du modèle de classification Variable de marque de réservation Descriptif Exemples {INSTRUCTION}
Description de la tâche. Incluez une liste des classes que le modèle doit affecter à l'entrée. Pour chaque revue de produit, indiquez si la revue est positive ou négative. {INPUT_LABEL}
Libellé court pour le texte à classer. Input
,Customer review
,Feedback
,Comment
{OUTPUT_LABEL}
Libellé court représentant la valeur de classification. Class
{ICL_INPUT_N}
Facultatif. Exemples de texte d'entrée à classer. Ajoutez des exemples lorsque vous souhaitez utiliser une invite à quelques coups pour prendre en charge l'apprentissage en contexte. The service representative did not listen to a word I said. It was a waste of my time.
{ICL_OUTPUT_N}
Exemples de sortie avec des libellés de classe affectés aux exemples de texte d'entrée correspondants. Positive
,Negative
Exemple d'invite de classification
L'invite suivante classifie les commentaires que les clients partagent sur le personnel du centre de support.
<|system|>
You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
<|user|>
For each feedback, specify whether the content is Positive or Negative. Your response should only include the answer. Do not provide any further explanation.
Here are some examples, complete the last one:
Feedback:
Carol, the service rep was so helpful. She answered all of my questions and explained things beautifully.
Class:
Positive
Feedback:
The service representative did not listen to a word I said. It was a waste of my time.
Class:
Negative
Feedback:
Carlo was so helpful and pleasant. He was able to solve a problem that I've been having with my software for weeks now.
Class:
<|assistant|>
La sortie générée par le foundation model granite-13b-chat-v2 lorsque cette invite est soumise est " Positive
.
Extraction d'ensemble de règles
Pour utiliser le foundation model granite-13b-chat-v2 afin d'extraire des informations, suivez les recommandations suivantes.
Le tableau suivant énumère les paramètres recommandés pour inviter le foundation model granite-13b-chat-v2 à effectuer une tâche d'extraction.
Paramètre | Valeur ou plage recommandée | Explication |
---|---|---|
Décodage | Vorace | Le décodage gourmand sélectionne les jetons uniquement parmi les options les plus probables, ce qui est préférable lorsque vous souhaitez extraire du texte. |
Nombre maximal de jetons | fluctuations | Utilisez une valeur qui couvre le nombre de jetons dans la mention la plus longue du type d'information que vous souhaitez extraire, par exemple 5 ou 10 . La limitation des jetons encourage le modèle à ne renvoyer que le libellé de classe approprié et rien d'autre. |
Critères d"arrêt | Ajoutez chaque libellé de classe pris en charge en tant que séquence d'arrêt. | L'ajout des classes en tant que séquences d'arrêt force le modèle à arrêter de générer du texte après qu'une classe a été affectée à l'entrée. |
Pour demander au foundation model granite-13b-chat-v2 d'effectuer une tâche d'extraction, procédez comme suit :
Identifiez les types d'informations que le modèle doit extraire de l'entrée. Veillez à répertorier ces libellés de type d'information dans le segment d'instruction de votre invite.
Par exemple, si vous souhaitez extraire des informations clés du formulaire 10-K de la Securities and Exchange Commission d'une société, vous pouvez identifier un type d'information tel que
Line Of Credit Facility Maximum Borrowing Capacity
.Collectez 2 ou 3 exemples représentatifs de texte d'entrée avec le type d'informations que le modèle doit extraire.
Travaillez avec le foundation model granite-13b-chat-v2 du laboratoire des messages-guides en mode libre afin de pouvoir structurer vos messages-guides.
Dans le panneau Paramètres de modèle , définissez les paramètres de modèle recommandés à partir du tableau 4.
Identifiez clairement l'invite du système, l'entrée de l'utilisateur et l'emplacement de la sortie du modèle.
Par exemple, la structure d'invite suivante a été utilisée lorsque le foundation model granite-13b-chat-v2 a été entraîné à extraire des informations d'un texte :
<|system|> You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior. <|user|> {INSTRUCTION} Your response should only include the answer. Do not provide any further explanation. Here are some examples, complete the last one: {INPUT_LABEL}: {ICL_INPUT_1} {OUTPUT_LABEL}: {ICL_OUTPUT_1} {INPUT_LABEL}: {ICL_INPUT_2} {OUTPUT_LABEL}: {ICL_OUTPUT_2} {INPUT_LABEL}: {TEST_INPUT} {OUTPUT_LABEL}: <|assistant|>
Vous pouvez utiliser une structure similaire pour optimiser l'entraînement du modèle. Remplacez simplement les variables de marque de réservation dans le modèle d'invite.
Tableau 4a: Variables de marque de réservation du modèle d'extraction Variable de marque de réservation Descriptif {INSTRUCTION}
Description de la tâche. Incluez une liste des types d'informations que le modèle doit extraire de l'entrée. {INPUT_LABEL}
Libellé court pour le texte à classer. {OUTPUT_LABEL}
Libellé court représentant la valeur extraite. {ICL_INPUT_N}
Facultatif. Exemples de texte d'entrée avec des types d'informations à extraire. Ajoutez des exemples lorsque vous souhaitez utiliser une invite à quelques coups pour prendre en charge l'apprentissage en contexte. {ICL_OUTPUT_N}
Exemples de sortie avec des types d'informations extraits des entrées correspondantes.
Exemple d'invite d'extraction
L'invite suivante extrait la valeur de la capacité d'emprunt maximale de la ligne de crédit à partir du formulaire SEC 10-K d'une société.
<|system|>
You are Granite Chat, an AI language model developed by IBM. You are a cautious assistant. You carefully follow instructions. You are helpful and harmless and you follow ethical guidelines and promote positive behavior.
<|user|>
Extract the Line Of Credit Facility Maximum Borrowing Capacity from the 10K sentences.
Your response should only include the answer. Do not provide any further explanation.
Here are some examples, complete the last one:
10K Sentence:
The credit agreement also provides that up to $500 million in commitments may be used for letters of credit.
Line Of Credit Facility Maximum Borrowing Capacity:
$500M
10K Sentence:
In March 2020, we upsized the Credit Agreement by $100 million, which matures July 2023, to $2.525 billion.
Line Of Credit Facility Maximum Borrowing Capacity:
$2.525B
10K Sentence:
We prepared our impairment test as of October 1, 2022 and determined that the fair values of each of our reporting units exceeded net book value by more than 50%. Among our reporting units, the narrowest difference between the calculated fair value and net book value was in our Principal Markets segment's Canada reporting unit, whose calculated fair value exceeded its net book value by 53%. Future developments related to macroeconomic factors, including increases to the discount rate used, or changes to other inputs and assumptions, including revenue growth, could reduce the fair value of this and/or other reporting units and lead to impairment. There were no goodwill impairment losses recorded for the nine months ended December 31, 2022. Cumulatively, the Company has recorded $469 million in goodwill impairment charges within its former EMEA ($293 million) and current United States ($176 million) reporting units. Revolving Credit Agreement In October 2021, we entered into a $3.15 billion multi-currency revolving credit agreement (the "Revolving Credit Agreement") for our future liquidity needs. The Revolving Credit Agreement expires, unless extended, in October 2026. Interest rates on borrowings under the Revolving Credit Agreement are based on prevailing market interest rates, plus a margin, as further described in the Revolving Credit Agreement. The total expense recorded by the Company for the Revolving Credit Agreement was not material in any of the periods presented. We may voluntarily prepay borrowings under the Revolving Credit Agreement without premium or penalty, subject to customary "breakage" costs. The Revolving Credit Agreement includes certain customary mandatory prepayment provisions. Interest on Debt Interest expense for the three and nine months ended December 31, 2022 was $27 million and $65 million, compared to $18 million and $50 million for the three and nine months ended December 31, 2021. Most of the interest for the pre-Separation period presented in the historical Consolidated Income Statement reflects the allocation of interest expense associated with debt issued by IBM from which a portion of the proceeds benefited Kyndryl.
Line Of Credit Facility Maximum Borrowing Capacity:
<|assistant|>
La sortie générée par le foundation model granite-13b-chat-v2 lorsque cette invite est soumise est " $3.15B
.
En savoir plus
Pour en savoir plus sur le foundation model granite-13b-chat-v2, consultez les ressources suivantes :
Rubrique parent: IBM