Un jeton est une collection de caractères ayant une signification sémantique pour un modèle. Le marquage sémantique est le processus de conversion des mots de votre invite en jetons.
Vous pouvez contrôler l'utilisation des jetons de foundation model dans un projet sur la page Environnements, dans l'onglet Utilisation des ressources.
Conversion de mots en jetons et retour
Le texte d'invite est converti en jetons avant que l'invite ne soit traitée par les modèles de base.
La corrélation entre les mots et les jetons est complexe:
- Parfois, un seul mot est divisé en plusieurs jetons
- Le même mot peut être divisé en un nombre différent de jetons, en fonction du contexte (par exemple, l'endroit où le mot apparaît ou les mots environnants)
- Les espaces, les caractères de retour à la ligne et la ponctuation sont parfois inclus dans les jetons et parfois pas
- La façon dont les mots sont divisés en unités lexicales varie d'une langue à l'autre
- La façon dont les mots sont divisés en unités lexicales varie d'un modèle à l'autre
Pour une idée approximative, une phrase qui a 10 mots peut être de 15 à 20 jetons.
Le résultat brut d'un modèle se présente également sous la forme de jetons. Dans le Prompt Lab IBM watsonx.ai, les jetons de sortie du modèle sont convertis en mots à afficher dans l'éditeur d'invite.
Exemple
L'image suivante montre comment cet exemple d'entrée peut être segmenté:
Les tomates sont l'une des plantes les plus populaires pour les jardins potagers. Conseil pour le succès: Si vous sélectionnez des variétés qui sont résistantes aux maladies et aux ravageurs, la culture des tomates peut être assez facile. Pour les jardiniers expérimentés à la recherche d'un défi, il y a des variétés infinies d'héritage et de spécialité à cultiver. Les plants de tomates sont disponibles dans une gamme de tailles.
Remarquez quelques points intéressants:
- Certains mots sont divisés en plusieurs jetons et d'autres ne le sont pas
- Le mot "tomates" est divisé en plusieurs jetons au début, mais plus tard "tomates" est tout un jeton
- Les espaces sont parfois inclus au début d'un mot-token et parfois les espaces sont un jeton tous seuls
- Les signes de ponctuation sont des jetons
Limites de jeton
Chaque modèle a une limite supérieure au nombre de jetons dans l'invite d'entrée plus le nombre de jetons dans la sortie générée à partir du modèle. Cette limite est parfois appelée longueur de fenêtre de contexte, fenêtre de contexte, longueur de contexteou longueur de séquence maximale. Dans le Prompt Lab, un message d'information indique le nombre de jetons utilisés dans la soumission d'une invite et le résultat généré.
Dans le Prompt Lab, vous utilisez le paramètre Max tokens pour spécifier une limite supérieure au nombre de jetons de sortie que le modèle doit générer. Le nombre maximal de jetons autorisés dans la sortie varie en fonction du modèle. Pour plus d'informations, voir Maximum tokens dans Supported foundation models.
En savoir plus
- Si vos invites dépassent régulièrement la limite de la fenêtre de contexte, voir Techniques de dépassement des limitations de longueur de contexte.
- Vous pouvez utiliser l'API watsonx.ai pour vérifier combien de jetons seront calculés pour votre invite par un foundation model avant de la soumettre. Pour plus d'informations, voir Tokenisation de texte .
- Pour plus d'informations sur la façon dont les jetons sont mesurés à des fins de facturation, voir les plans d'exécution dewatsonx.ai
Rubrique parent: Développement de solutions d'IA génératives