Token

Was ist ein Token?

Ein Token ist die kleinste Texteinheit, die ein Sprachmodell verarbeitet: ein Wort, ein Wortteil, ein Satzzeichen oder ein Leerzeichen. Modelle lesen und erzeugen Text als Folge von Token, und nach Token werden Kontextfenster und API-Kosten bemessen.

Ein Large Language Model sieht keinen Text, wie ein Mensch ihn sieht. Bevor die Verarbeitung beginnt, zerlegt ein Programm, der Tokenizer, die Eingabe in Bausteine aus einem festen Vokabular. Häufige Wörter wie “und”, “Rechnung” oder “Kunde” sind ein einzelner Token. Seltene oder lange Wörter werden in mehrere Teile zerlegt: “Auftragsverarbeitungsvertrag” könnte in vier oder fünf Token zerfallen. Zahlen, Sonderzeichen und Code werden oft zeichenweise oder in kleinen Gruppen zerlegt.

Für die tägliche Nutzung im Chat ist das unsichtbar und meist unerheblich. Für zwei Fragen wird es wichtig: Wie viel Text passt in eine Anfrage, und was kostet eine Anfrage über die API? Beides wird in Token gemessen.

Wie Token gezählt werden

Als Faustregel gilt: Im Englischen entspricht ein Token etwa vier Zeichen oder drei Vierteln eines Wortes. Im Deutschen ist das Verhältnis etwas ungünstiger, weil zusammengesetzte Wörter, Umlaute und lange Endungen mehr Bausteine brauchen. Ein deutscher Text mit 1.000 Wörtern liegt grob bei 1.400 bis 1.800 Token, abhängig von Fachsprache und Satzbau.

Verschiedene Modelle verwenden verschiedene Tokenizer. Derselbe Text hat bei Claude eine etwas andere Tokenzahl als bei ChatGPT oder Gemini. Anthropic stellt über die API eine Funktion bereit, mit der sich die Tokenzahl einer Anfrage vorab zählen lässt. Für die Planung reicht in der Regel die Faustregel.

Gezählt wird alles, was in einer Anfrage steht: der System Prompt oder die Projektanweisungen, hochgeladene Dokumente, der bisherige Gesprächsverlauf, die aktuelle Nachricht und die Antwort des Modells. Bilder und PDFs werden ebenfalls in Token umgerechnet. Ein langes Gespräch mit mehreren Dokumenten kann schnell zehntausende Token umfassen.

Token und Kosten

In der Chat-Oberfläche zahlen Nutzer eine Pauschale pro Person und Monat. Token spielen dort nur indirekt eine Rolle, über Nutzungsgrenzen, die sich an der Auslastung orientieren. Wer die Grenze erreicht, muss warten oder in einen höheren Plan wechseln.

Über die API wird direkt nach Token abgerechnet, getrennt nach Eingabe und Ausgabe. Eingabe-Token sind alles, was das Modell liest; Ausgabe-Token alles, was es schreibt. Ausgabe-Token sind teurer, weil das Erzeugen rechenintensiver ist als das Lesen. Die Preise unterscheiden sich außerdem nach Modell: Haiku ist deutlich günstiger als Sonnet, Sonnet günstiger als Opus. Konkrete Preise ändern sich regelmäßig und sind in der aktuellen Preisliste von Anthropic zu finden.

Für Automatisierungen ergibt sich daraus eine einfache Rechnung: Tokenzahl pro Vorgang mal Anzahl der Vorgänge mal Preis pro Token. Wer täglich 500 E-Mails mit je 1.000 Token Eingabe und 300 Token Ausgabe verarbeitet, kann die monatlichen Kosten für jedes Modell vorab abschätzen und entscheiden, ob ein kleineres Modell ausreicht. Anthropic bietet über die API zudem ein Zwischenspeichern wiederkehrender Prompt-Teile an, das bei vielen gleichartigen Anfragen die Kosten spürbar senkt.

Praxisbeispiel aus dem Unternehmensalltag

Ein Verlag mit 40 Mitarbeitenden möchte täglich mehrere hundert Pressemitteilungen automatisch zusammenfassen und verschlagworten. Die Redaktion hat den Prozess zunächst mit Opus getestet, weil die Ergebnisse dort am besten waren. Bei der Kostenschätzung fällt auf: Die Eingabe pro Mitteilung liegt bei rund 1.500 Token, dazu kommt eine Anweisung mit 800 Token, die Ausgabe bei etwa 200 Token. Bei mehreren hundert Mitteilungen täglich summiert sich das.

Der Verlag testet dieselbe Aufgabe mit Sonnet und Haiku. Die Verschlagwortung gelingt mit Haiku ebenso zuverlässig, die Zusammenfassung mit Sonnet in gleicher Qualität wie mit Opus. Der Prozess wird aufgeteilt: Haiku verschlagwortet, Sonnet fasst zusammen, und die Anweisung wird zwischengespeichert, statt bei jeder Anfrage neu gezählt zu werden. Die Kosten sinken auf einen Bruchteil, ohne dass die Redaktion einen Qualitätsunterschied bemerkt. Die Tokenrechnung hat aus einem teuren Vorhaben ein wirtschaftliches gemacht.

Bedeutung für kleine und mittelständische Unternehmen

Für KMU, die Claude über die Chat-Oberfläche nutzen, sind Token vor allem eine Erklärung für Beobachtungen im Alltag: warum ein Gespräch nach vielen Nachrichten träge wird, warum ein großes Dokument nicht mehr hineinpasst und warum es sich lohnt, für neue Themen neue Gespräche zu beginnen.

Für KMU, die Automatisierungen planen, sind Token die Währung, in der Kosten berechnet werden. Wer vor dem Aufbau eines Prozesses die Tokenzahl pro Vorgang kennt, kann Modell und Umfang so wählen, dass die Automatisierung wirtschaftlich bleibt. In der Claude Beratung gehört diese Abschätzung zur Bewertung jedes Anwendungsfalls. Bei der Umsetzung im Rahmen der Claude Automatisierung wird die Modellwahl pro Prozessschritt getroffen, nicht pauschal. Was beim Einstieg zu beachten ist, beschreibt der Artikel Claude im Unternehmen einsetzen.

Vorteile und Grenzen

Die Abrechnung nach Token ist transparent und verursachungsgerecht: Wer wenig nutzt, zahlt wenig, und die Kosten lassen sich vorab berechnen. Für Unternehmen ist das ein Vorteil gegenüber Lizenzmodellen, bei denen die Nutzung keine Rolle spielt.

Die Grenze liegt in der Vorstellbarkeit. Token sind keine Einheit, mit der Menschen intuitiv rechnen, und die Tokenzahl eines Dokuments lässt sich nicht auf einen Blick erkennen. Für die Planung reicht die Faustregel, für die Abrechnung liefert die API genaue Zahlen. Und Token messen Menge, nicht Qualität: Ein kurzer, präziser Prompt kann mit wenigen Token bessere Ergebnisse liefern als ein langer, unstrukturierter.