Fenêtre de contexte
La fenêtre de contexte désigne la quantité maximale de tokens qu'un modèle de langage peut prendre en compte à la fois. Elle englobe l'entrée comme la sortie produite et détermine ainsi le contexte dont dispose un modèle. Les modèles modernes atteignent des fenêtres de contexte allant jusqu'à environ un million de tokens.
Également connu sous : context window, fenêtre de contexte, longueur de contexte
Qu'est-ce qu'un context window ?
La context window, ou fenêtre de contexte, décrit la quantité maximale de Token, qui Modèle de langage traiter en une fois. On peut se la représenter comme la mémoire à court terme du modèle : seul ce qui se trouve dans cette fenêtre peut être pris en compte pour la réponse.
Décisif est que la fenêtre de contexte englobe l'entrée comme la sortie. Le prompt, les documents fournis, le fil de conversation et la réponse produite par le modèle se partagent donc la même place disponible. Plus la fenêtre de contexte est grande, plus le modèle peut garder d'informations en vue simultanément.
Comment la taille de la fenêtre de contexte est-elle mesurée ?
La taille d'une fenêtre de contexte est indiquée en tokens, la plus petite unité de traitement d'un modèle de langage. Une fenêtre de contexte de 128 000 tokens par exemple signifie que l'entrée et la sortie réunies ne doivent pas dépasser cette limite.
Comme un token est en règle générale plus court qu'un mot entier, le nombre de tokens donne une idée approximative du volume de texte. Il importe de noter que les textes allemands demandent plutôt plus de tokens par contenu que les textes anglais, de sorte qu'une même limite de tokens correspond à un peu moins de texte en allemand.
Les tailles de contexte disponibles ont fortement augmenté ces dernières années. Alors que les premiers modèles ne traitaient que quelques milliers de tokens, les modèles modernes atteignent des fenêtres allant jusqu'à environ un million de tokens. Des livres entiers, de vastes bases de code ou de longues collections de documents se traitent ainsi en une seule passe.
Cette évolution a considérablement élargi l'utilité pratique des systèmes d'IA. Des tâches qui n'étaient possibles qu'au prix d'un découpage laborieux et d'appels répétés au modèle se traitent aujourd'hui en une étape. Une gestion consciente de la place disponible reste néanmoins décisive, car toutes les tâches ne profitent pas d'une fenêtre de contexte remplie au maximum.
Pourquoi la fenêtre de contexte est-elle si importante ?
La fenêtre de contexte détermine directement la quantité d'information dont dispose un modèle. Pour de longues conversations, l'analyse de documents volumineux ou des tâches complexes à fort savoir de fond, une grande fenêtre de contexte est un avantage clair. Si la place ne suffit pas, les contenus doivent être raccourcis ou divisés, ce qui peut entraîner une perte d'information.
En même temps, une fenêtre de contexte plus grande ne signifie pas automatiquement de meilleurs résultats. Des entrées très longues augmentent les coûts et les temps de réponse, et tous les modèles n’exploitent pas aussi fiablement les informations très anciennes. Une Context engineering, c’est-à-dire la sélection et la structuration ciblées des contenus transmis, vaut donc souvent mieux que d’épuiser la taille maximale.
Si la fenêtre de contexte est dépassée, le modèle ne peut pas traiter entièrement la requête. Les contenus antérieurs sortent alors de la fenêtre et ne sont plus pris en compte dans la réponse.
Utiliser la fenêtre de contexte en pratique
Pour un usage professionnel de l'IA, une gestion consciente de la fenêtre de contexte est décisive. Plutôt que de transmettre au modèle de grandes quantités de données au hasard, il vaut la peine de sélectionner les informations les plus pertinentes. Des techniques comme la retrieval augmented generation aident à n'injecter que les passages adaptés de vastes fonds de savoir.
L'ordre et la structuration des contenus dans la fenêtre de contexte comptent tout autant. Les informations particulièrement pertinentes devraient être clairement mises en avant et placées avec pertinence, pour que le modèle en tienne compte de façon fiable. Sur de longues conversations, il peut en outre être judicieux de résumer les échanges antérieurs plutôt que de les transporter entièrement, afin d'économiser de la place.
Chez Elisabit, nous concevons les applications d'IA de façon que les fenêtres de contexte soient utilisées efficacement, sans faire grimper inutilement les coûts et les temps de réponse. Nous garantissons ainsi que les modèles disposent toujours du bon contexte tout en restant économiques.
Questions fréquentes
Que se passe-t-il quand la fenêtre de contexte est dépassée ?
Si l'entrée et la sortie dépassent ensemble la limite de la fenêtre de contexte, le modèle ne peut pas prendre en compte tous les contenus. Les informations antérieures ou excédentaires sortent de la fenêtre et sont ignorées dans la réponse, ce qui peut entraîner une perte d'information.
La fenêtre de contexte se mesure-t-elle en mots ou en tokens ?
La fenêtre de contexte se mesure en tokens, la plus petite unité de traitement d'un modèle de langage. Comme un token est le plus souvent plus court qu'un mot entier, un nombre donné de tokens correspond à un volume de mots un peu plus faible, surtout pour les textes allemands.
Une fenêtre de contexte plus grande est-elle toujours mieux ?
Pas nécessairement. Une grande fenêtre de contexte permet certes de traiter des contenus volumineux, mais augmente aussi les coûts et les temps de réponse. Souvent, le choix ciblé des informations pertinentes est plus efficace que le simple fait de pousser la taille maximale.
La sortie compte-t-elle dans la fenêtre de contexte ?
Oui. La fenêtre de contexte englobe l'entrée comme la sortie produite par le modèle. Les deux partagent le même espace disponible, une réponse très longue laisse donc moins de place à l'entrée.
Termes associés
Un token est la plus petite unité de traitement d'un modèle de langage — les morceaux en lesquels le texte est découpé.
Le context engineering façonne les informations transmises à un LLM afin d'obtenir des réponses plus précises et plus fiables.
Un LLM est un modèle de langage qui comprend et produit du texte en prédisant le mot suivant le plus probable.
Le RAG combine un modèle de langage avec la recherche d'informations pertinentes dans des sources externes avant de répondre.
Le prompt engineering est l'art de formuler les instructions données à l'IA pour que les modèles de langage donnent de meilleurs résultats.
Mettre l'IA au service de votre entreprise ?
Nous vous aidons à intégrer l'intelligence artificielle dans vos processus, votre marketing et votre site — de manière stratégique et sûre.
Votre interlocuteur
Stefan
J'ai hâte de découvrir votre projet et de trouver ensemble la meilleure solution.
