Tokenization (Tokenisierung)

Tokenization beschreibt das Zerlegen von Text in einzelne Bausteine, die ein Sprachmodell verarbeiten kann. Diese Bausteine heißen Token und können je nach Verfahren unterschiedlich groß sein, von einzelnen Zeichen über Wortteile bis hin zu kompletten Wörtern. Modelle arbeiten nicht direkt mit Buchstaben oder Wörtern im menschlichen Sinne, sondern mit diesen Token.

Die Tokenisierung ist damit die Brücke zwischen menschlicher Sprache und der internen Darstellung im Modell. Jeder Eingabetext wird zunächst in Token umgewandelt, die anschließend in numerische Repräsentationen überführt und vom Modell weiterverarbeitet werden.

Die Komponente, die diese Zerlegung vornimmt, wird als Tokenizer bezeichnet. Sie verfügt über ein festgelegtes Vokabular bekannter Token und eine Regelmenge, nach der unbekannter Text in dieses Vokabular übersetzt wird. Vokabular und Regeln werden gemeinsam mit dem Modell entwickelt und bleiben über dessen Lebensdauer hinweg konsistent, damit Training und spätere Nutzung dieselbe Sprache sprechen.

Moderne Sprachmodelle verwenden meist Verfahren, die Wörter in häufig vorkommende Wortteile zerlegen. Geläufige Wörter werden dabei oft als ein einziges Token abgebildet, während seltenere oder zusammengesetzte Begriffe in mehrere Teil-Token aufgespalten werden. Auf diese Weise lässt sich auch mit einem überschaubaren Vokabular eine große Sprachvielfalt abdecken.

Ein anschauliches Beispiel: Ein kurzes, häufiges Wort kann genau einem Token entsprechen, während ein langes Fachwort in mehrere Token zerfällt. Auch Leerzeichen, Satzzeichen und Sonderzeichen werden bei der Tokenisierung berücksichtigt. Welches konkrete Verfahren ein Modell nutzt, ist Teil seiner Architektur und beeinflusst, wie effizient verschiedene Sprachen verarbeitet werden.

Der große Vorteil dieser Zerlegung in Wortteile liegt darin, dass auch völlig unbekannte Begriffe verarbeitet werden können. Selbst wenn ein Wort nie zuvor aufgetreten ist, lässt es sich aus bekannten Bausteinen zusammensetzen. Dadurch bleibt das Vokabular handhabbar groß, ohne dass das Modell an seltenen oder neu gebildeten Wörtern scheitert, etwa an Eigennamen, Fachbegriffen oder zusammengesetzten Wörtern.

Token sind die Recheneinheit vieler Sprachmodelle. Sowohl die Eingabe als auch die Ausgabe werden in Token gemessen, und genau daran orientiert sich häufig die Abrechnung bei der Nutzung kommerzieller Modelle. Wer die Tokenisierung versteht, kann den Ressourcenbedarf einer Anwendung besser einschätzen.

Auch die Kontextlänge eines Modells wird in Token angegeben. Das Kontextfenster legt fest, wie viele Token ein Modell gleichzeitig berücksichtigen kann. Lange Texte oder Sprachen, die ineffizient tokenisiert werden, verbrauchen mehr Token und damit mehr vom verfügbaren Kontext. Eine effiziente Tokenisierung ist deshalb sowohl für Kosten als auch für die nutzbare Textlänge von Bedeutung.

In der Praxis lohnt es sich, den Token-Verbrauch bewusst zu steuern. Knapp und klar formulierte Eingaben, der Verzicht auf unnötige Wiederholungen und eine durchdachte Strukturierung umfangreicher Dokumente können den Verbrauch deutlich senken. Bei Anwendungen mit hohem Volumen summieren sich solche Einsparungen, sodass eine effiziente Gestaltung der Eingaben direkt auf die Wirtschaftlichkeit einzahlt.

Nicht jede Sprache wird gleich effizient tokenisiert. Da viele Tokenizer auf Textsammlungen entwickelt werden, in denen bestimmte Sprachen stärker vertreten sind, werden diese oft mit weniger Token pro Wort abgebildet. Andere Sprachen, die seltener im Trainingsmaterial vorkommen, zerfallen häufiger in viele kleine Teil-Token.

Für das Deutsche spielt zudem die Neigung zu langen, zusammengesetzten Wörtern eine Rolle. Komposita werden vom Tokenizer meist in mehrere Bausteine zerlegt, was den Token-Verbrauch im Vergleich zu kürzeren Begriffen erhöhen kann. Wer mehrsprachige Anwendungen plant, sollte solche Unterschiede berücksichtigen, da sie sich auf Kosten, Geschwindigkeit und die nutzbare Kontextlänge auswirken.

Dieses Wissen ist besonders dann relevant, wenn Inhalte in mehreren Sprachen verarbeitet werden sollen. Ein Text identischer Bedeutung kann je nach Sprache eine unterschiedliche Anzahl an Token erfordern. Eine realistische Einschätzung des Token-Bedarfs für die tatsächlich genutzten Sprachen hilft, Budgets und Kontextgrenzen verlässlich zu planen.

Für Anwender ist Tokenization vor allem deshalb relevant, weil sie unmittelbar auf Kosten, Geschwindigkeit und die maximal verarbeitbare Textmenge wirkt. Wer große Dokumente verarbeitet oder viele Anfragen automatisiert, profitiert davon, den Token-Verbrauch im Blick zu behalten.

Darüber hinaus erklärt die Tokenisierung manche Eigenheiten von Sprachmodellen. So kann ein Modell beispielsweise mit dem Zählen von Buchstaben Schwierigkeiten haben, weil es Text nicht in einzelnen Zeichen, sondern in Token wahrnimmt. Ein grundlegendes Verständnis der Tokenisierung hilft daher, die Arbeitsweise und Grenzen solcher Modelle besser einzuordnen.

Bei der Konzeption KI-gestützter Lösungen beziehen wir bei Elisabit die Tokenisierung von Anfang an mit ein. Indem wir Eingaben effizient strukturieren und den Token-Bedarf realistisch kalkulieren, lassen sich Anwendungen schaffen, die zugleich leistungsfähig und wirtschaftlich tragfähig sind, gerade dort, wo große Textmengen oder viele Anfragen anfallen.