Context Window (Kontextfenster)

Das Context Window, auf Deutsch Kontextfenster, beschreibt die maximale Menge an Token, die ein Sprachmodell auf einmal verarbeiten kann. Man kann es sich als das Kurzzeitgedächtnis des Modells vorstellen: Nur was innerhalb dieses Fensters liegt, kann das Modell für seine Antwort berücksichtigen.

Entscheidend ist, dass das Kontextfenster sowohl die Eingabe als auch die Ausgabe umfasst. Der Prompt, mitgegebene Dokumente, der bisherige Gesprächsverlauf und die vom Modell erzeugte Antwort teilen sich also denselben verfügbaren Platz. Je größer das Kontextfenster, desto mehr Information kann das Modell gleichzeitig im Blick behalten.

Die Größe eines Kontextfensters wird in Token angegeben, also in der kleinsten Verarbeitungseinheit eines Sprachmodells. Ein Kontextfenster von beispielsweise 128.000 Token bedeutet, dass Eingabe und Ausgabe zusammen diese Grenze nicht überschreiten dürfen.

Da ein Token in der Regel kürzer als ein ganzes Wort ist, lässt sich aus der Token-Zahl grob auf die Textmenge schließen. Wichtig ist dabei, dass deutsche Texte tendenziell mehr Token pro Inhalt benötigen als englische, sodass dieselbe Token-Grenze bei deutschsprachigen Inhalten etwas weniger Text bedeutet.

Die verfügbaren Kontextgrößen haben sich in den vergangenen Jahren stark vergrößert. Während frühe Modelle nur wenige Tausend Token verarbeiten konnten, erreichen moderne Modelle Kontextfenster von bis zu rund einer Million Token. Damit lassen sich ganze Bücher, umfangreiche Code-Basen oder lange Dokumentensammlungen in einem einzigen Durchlauf verarbeiten.

Diese Entwicklung hat den praktischen Nutzen von KI-Systemen erheblich erweitert. Aufgaben, die früher nur durch aufwendiges Aufteilen und mehrfaches Aufrufen eines Modells möglich waren, lassen sich heute in einem Schritt erledigen. Dennoch bleibt der bewusste Umgang mit dem verfügbaren Platz entscheidend, denn nicht jede Aufgabe profitiert von einem maximal gefüllten Kontextfenster.

Das Kontextfenster bestimmt unmittelbar, wie viel Information ein Modell zur Verfügung hat. Bei längeren Gesprächen, der Analyse umfangreicher Dokumente oder komplexen Aufgaben mit viel Hintergrundwissen ist ein großes Kontextfenster ein klarer Vorteil. Reicht der Platz nicht aus, müssen Inhalte gekürzt oder aufgeteilt werden, was zu Informationsverlust führen kann.

Gleichzeitig bedeutet ein größeres Kontextfenster nicht automatisch bessere Ergebnisse. Sehr lange Eingaben erhöhen Kosten und Antwortzeiten, und nicht jedes Modell nutzt sehr weit zurückliegende Informationen gleich zuverlässig. Ein durchdachtes Context Engineering, also die gezielte Auswahl und Strukturierung der übergebenen Inhalte, ist daher oft wertvoller als das bloße Ausreizen der maximalen Größe.

Wird das Kontextfenster überschritten, kann das Modell die Anfrage nicht vollständig verarbeiten. Frühere Inhalte fallen dann aus dem Fenster heraus und werden bei der Antwort nicht mehr berücksichtigt.

Für den professionellen Einsatz von KI ist ein bewusster Umgang mit dem Kontextfenster entscheidend. Statt einem Modell wahllos große Datenmengen zu übergeben, lohnt es sich, gezielt die relevantesten Informationen auszuwählen. Techniken wie Retrieval-Augmented Generation helfen dabei, nur die passenden Passagen aus großen Wissensbeständen einzuspeisen.

Ebenso wichtig ist die Reihenfolge und Strukturierung der Inhalte innerhalb des Kontextfensters. Besonders relevante Informationen sollten klar hervorgehoben und sinnvoll platziert werden, damit das Modell sie zuverlässig berücksichtigt. Bei langen Gesprächen kann es zudem sinnvoll sein, frühere Inhalte zusammenzufassen, statt sie vollständig mitzuführen, um Platz im Fenster zu sparen.

Bei Elisabit gestalten wir KI-Anwendungen so, dass Kontextfenster effizient genutzt werden, ohne Kosten und Antwortzeiten unnötig in die Höhe zu treiben. So stellen wir sicher, dass Modelle stets über den richtigen Kontext verfügen und gleichzeitig wirtschaftlich arbeiten.