Optimisation des invites

Fonctionnement de l'accord rapide

Les modèles de base sont sensibles aux données que vous leur fournissez. Vos données, ou la manière dont vous guidez le modèle, peuvent introduire un contexte que le modèle utilisera pour adapter le résultat généré. L'ingénierie des messages-guides pour trouver le bon message-guide fonctionne souvent bien. Cependant, cette méthode peut prendre du temps, être source d'erreurs et son efficacité peut être limitée par la longueur de la fenêtre de contexte autorisée par le modèle sous-jacent.

L'ingénierie rapide d'un modèle dans l' Tuning Studio, ou apprentissage automatique, applique l'apprentissage automatique à la tâche d'ingénierie rapide. Au lieu d'ajouter des mots à l'entrée elle-même, l'ajustement par incréments est une méthode permettant de trouver une séquence de valeurs qui, lorsqu'elles sont ajoutées en préfixe au texte d'entrée, améliorent la capacité du modèle à générer la sortie souhaitée. Cette séquence de valeurs est appelée vecteur d'invite.

Normalement, les mots de l'invite sont vectorisés par le modèle. La vectorisation est le processus de conversion du texte en jetons, puis en nombres définis par le tokenizer du modèle pour identifier les jetons. Enfin, les identifiants des jetons sont encodés, c'est-à-dire convertis en une représentation vectorielle, qui est le format d'entrée attendu par la couche d'intégration du modèle. Le prompt tuning contourne le processus de vectorisation de texte du modèle et crée directement un vecteur prompt. Ce vecteur d'invite modifiable est concaténé au texte d'entrée vectorisé et les deux sont transmis en une seule entrée à la couche d'intégration du modèle. Les valeurs de ce vecteur d'invite artisanal affectent les poids d'intégration des mots qui sont définis par le modèle et influencent les mots que le modèle choisit d'ajouter à la sortie.

Pour trouver les meilleures valeurs pour le vecteur de sollicitation, vous lancez une expérience d'ajustement. Vous démontrez le type de sortie que vous souhaitez pour une entrée correspondante en fournissant au modèle des paires d'exemples d'entrée et de sortie dans les données d'apprentissage. À chaque exécution de l'apprentissage de l'expérience, la sortie générée est comparée à la sortie des données d'apprentissage. En fonction de ce qu'il apprend des différences entre les deux, l'expérience ajuste les valeurs du vecteur d'invite. Après de nombreux passages dans les données d'apprentissage, le modèle trouve le vecteur prompt qui fonctionne le mieux.

Vous pouvez choisir de démarrer le processus de formation en fournissant du texte vectorisé par l'expérience. Ou vous pouvez laisser l'expérience utiliser des valeurs aléatoires dans le vecteur d'invite. Dans tous les cas, à moins que les valeurs initiales soient parfaitement correctes, elles seront modifiées à plusieurs reprises dans le cadre du processus de formation. Fournir votre propre texte d'initialisation peut aider l'expérience à atteindre un bon résultat plus rapidement.

Le résultat de l'expérience est une version adaptée du modèle sous-jacent. Vous soumettez des données au modèle ajusté pour l'inférence et le modèle génère des résultats qui suivent le modèle ajusté.

Pour plus d'informations sur le processus de réglage rapide utilisé dans Tuning Studio, voir Flux de travail de réglage rapide.

Flux de travail de réglage rapide

Au cours de l'expérience, le modèle d'apprentissage ajuste à plusieurs reprises la structure de l'invite afin que ses prédictions s'améliorent au fil du temps.

Le diagramme suivant illustre les étapes qui se produisent lors d'une expérience de réglage rapide.

Les parties du flux d'expériences que vous pouvez configurer sont mises en évidence par une icône d'utilisateur . Ces points de décision correspondent aux paramètres de réglage de l'expérience que vous contrôlez. Voir Paramètres pour le réglage des modèles de base.

Le schéma montre les étapes suivantes de l'expérience :

1. Commence à partir de la méthode d'initialisation que vous choisissez d'utiliser pour initialiser l'invite.

   Si le paramètre de la méthode d'initialisation est défini sur text, vous devez alors ajouter le texte d'initialisation.

2. Si spécifié, tokenise le texte d'initialisation et le convertit en un vecteur prompt.

3. Lit les données de formation, les transforme en jetons et les convertit en lots.

   La taille des lots est déterminée par le paramètre de taille de lot.

4. Envoie les entrées des exemples du lot au modèle de base pour que le modèle les traite et génère des sorties.

5. Compare la sortie du modèle à la sortie des données d'apprentissage qui correspond à l'entrée des données d'apprentissage qui a été soumise. Ensuite, il calcule le gradient de perte, qui est la différence entre la sortie prédite et la sortie réelle à partir des données d'apprentissage.

   L'expérience ajuste le vecteur d'invite qui est ajouté à l'entrée en fonction de la perte calculée du modèle. Le moment où cet ajustement se produit dépend de la configuration du paramètre Étapes d'accumulation.

6. Les ajustements sont appliqués au vecteur de commande qui a été initialisé à l'étape 2. Le degré de modification du vecteur est contrôlé par le paramètre Taux d'apprentissage. Le vecteur d'invite modifié est ajouté en préfixe à l'entrée de l'exemple suivant dans les données d'apprentissage, et est soumis au modèle en tant qu'entrée.

7. Le processus se répète jusqu'à ce que tous les exemples de tous les lots soient traités.

8. L'ensemble des lots est traité à nouveau autant de fois que spécifié dans le paramètre Nombre d'époques.

En savoir plus

• Paramètres de réglage des modèles de base
• IBM Article de blog sur la recherche : Qu'est-ce que le réglage rapide?
• Document de recherche : Le pouvoir de l'échelle pour un réglage rapide et efficace des paramètres

Sujet parent : Méthodes d'ajustement des modèles de base