Token
Un token est la plus petite unité de traitement d'un grand modèle de langage (LLM). Lors de la tokenisation, le texte est découpé en tokens, qui peuvent, selon le modèle, être des mots entiers, des parties de mots ou des caractères isolés. Les tokens fondent la façon dont un modèle traite le langage et déterminent largement les coûts, la vitesse de traitement et la longueur de contexte maximale.
Également connu sous : token, tokens, token de langage, unité de traitement
Qu'est-ce qu'un token en IA ?
Un token est la plus petite unité avec laquelle un grand modèle de langage (large language model, LLM) fonctionne. Avant qu'un modèle comme GPT ou Claude peut comprendre ou produire un texte, celui-ci doit être converti en une forme lisible par la machine. C'est là qu'interviennent les tokens : le texte d'entrée est découpé en une suite de petites briques que le modèle traite ensuite numériquement.
Important : un token ne correspond pas nécessairement à un mot entier. Selon la langue et tokeniseur un token peut être un mot complet, une partie de mot (sous-mot) ou même un seul caractère. Les mots fréquents sont souvent encodés en un seul token, tandis que les mots rares ou longs se divisent en plusieurs. Ce principe permet aux modèles de représenter une variété de textes presque illimitée avec un vocabulaire maîtrisable.
Comment fonctionne la tokenisation ?
Le processus de découpage du texte en tokens s'appelle la tokenisation. Un tokeniseur applique un corpus de règles appris pour diviser la chaîne de caractères en unités adaptées au modèle. Un identifiant numérique unique est ensuite attribué à chaque token, car un modèle de langage ne calcule qu'avec des nombres, non avec des lettres.
Les modèles de langage modernes utilisent le plus souvent des méthodes fondées sur les sous-mots. L'avantage : même des termes inconnus, des mots techniques ou des noms propres se composent à partir d'éléments plus petits et connus. Le modèle reste ainsi souple et peut traiter des mots jamais rencontrés en entier à l'entraînement.
Le découpage concret dépend fortement de la langue. Les textes anglais sont en règle générale encodés de façon particulièrement efficace, tandis que les textes allemands avec leurs longs composés ou les langues à autres systèmes d'écriture demandent souvent plus de tokens par contenu.
Pourquoi les tokens sont-ils décisifs pour les coûts et la vitesse ?
Les tokens ne sont pas qu'un détail technique mais l'unité de calcul centrale de l'usage des modèles de langage. La plupart des fournisseurs facturent leurs services au token traité, en distinguant les tokens d'entrée (input) des tokens de sortie (output). Qui envoie de longues entrées ou fait produire des réponses étendues consomme donc plus de tokens et engendre des coûts plus élevés.
La vitesse dépend elle aussi directement du nombre de tokens. Un modèle génère sa réponse token par token, c'est pourquoi des sorties plus longues demandent plus de temps. Pour des applications en production, il vaut donc la peine de concevoir les prompts efficacement et d'éviter des entrées ou sorties inutilement longues.
Enfin, le nombre de tokens détermine aussi la quantité d’information traitable en une fois. La Fenêtre de contexte d’un modèle se mesure en tokens et limite la quantité de texte transmissible en une fois.
Les tokens en pratique : ce qu'il faut savoir
Dans les projets d'IA professionnels, une gestion consciente des tokens est un vrai levier d'efficacité et de rentabilité. Une règle générale pour les textes anglais dit qu'un token représente environ quatre caractères ou trois quarts d'un mot. Pour les textes allemands, comptez plutôt une consommation de tokens un peu plus élevée.
Qui traite de gros documents, par exemple dans le cadre du retrieval-augmented generation (RAG), devrait découper les contenus avec pertinence et ne transmettre au modèle que les passages réellement pertinents. Coûts et temps de réponse restent ainsi maîtrisables sans perte de qualité. Comprendre les tokens est donc une base importante pour toute solution d’IA.
Beaucoup de fournisseurs proposent en outre des outils qui permettent d'estimer à l'avance la consommation de tokens d'un texte. Pour des applications récurrentes à fort volume en particulier, il vaut la peine de garder cette consommation en vue et d'optimiser les prompts systématiquement. De petites économies par requête s'additionnent, sur des milliers d'appels, en effets sensibles sur les coûts et la vitesse. Chez Elisabit, nous aidons les entreprises à concevoir des applications d'IA où les tokens s'emploient efficacement, sans perte de qualité.
Questions fréquentes
Un token est-il la même chose qu'un mot ?
Non, un token ne correspond pas nécessairement à un mot. Selon le tokeniseur, un token peut être un mot entier, une partie de mot ou un caractère. Les mots fréquents forment souvent un token, les mots rares ou longs sont découpés en plusieurs.
Combien de tokens contient un texte allemand ?
Cela dépend du contenu et du tokeniseur. Les textes allemands demandent, à cause des longs composés, plutôt plus de tokens que les textes anglais. À titre d'ordre de grandeur, un token correspond souvent à environ trois quarts d'un mot anglais ; en allemand, la consommation est le plus souvent un peu plus élevée.
Pourquoi les coûts de l'IA sont-ils facturés en tokens ?
Les tokens sont l'unité de calcul naturelle d'un modèle de langage, puisque chaque étape de traitement se fait au niveau du token. Les fournisseurs facturent donc par token traité en distinguant les tokens d'entrée et de sortie.
Quelle est la différence entre les tokens d'entrée et de sortie ?
Les tokens d'entrée couvrent le texte que vous envoyez au modèle, par exemple votre prompt et le contexte fourni. Les tokens de sortie sont la réponse produite par le modèle. Les deux sont en règle générale comptés séparément et souvent tarifés différemment.
Termes associés
Un embedding est une représentation vectorielle numérique du sens, qui place les contenus similaires à proximité les uns des autres.
La fenêtre de contexte est le nombre maximal de tokens qu'un modèle de langage peut prendre en compte simultanément.
Un LLM est un modèle de langage qui comprend et produit du texte en prédisant le mot suivant le plus probable.
Le transformer est une architecture d'IA qui saisit les relations dans un texte grâce au mécanisme d'attention.
Le prompt engineering est l'art de formuler les instructions données à l'IA pour que les modèles de langage donnent de meilleurs résultats.
Mettre l'IA au service de votre entreprise ?
Nous vous aidons à intégrer l'intelligence artificielle dans vos processus, votre marketing et votre site — de manière stratégique et sûre.
Votre interlocuteur
Stefan
J'ai hâte de découvrir votre projet et de trouver ensemble la meilleure solution.
