Token-Kosten: woraus sich die Rechnung für Sprachmodelle ergibt

Token-Kosten sind die nutzungsabhängigen Ausgaben für ein Sprachmodell: Anbieter rechnen nach Token ab, also nach Textbausteinen, die das Modell liest und schreibt. Im Betrieb bestimmen weniger die Listenpreise als die Menge – wie viel Kontext jeder Aufruf mitschickt, wie lang die Antworten sind und wie oft ein Vorgang das Modell erneut aufruft.

Woraus sich Token-Kosten zusammensetzen

Ein Aufruf besteht aus zwei Teilen, die getrennt abgerechnet werden: dem, was an das Modell geht, und dem, was zurückkommt. Ausgabe-Token kosten bei den verbreiteten Anbietern in der Regel mehr als Eingabe-Token. Innerhalb der Eingabe lohnt es sich, genauer hinzusehen:

• Anweisung. Der feste Text, der dem Modell Aufgabe, Regeln und Ausgabeformat vorgibt, wird bei jedem Aufruf erneut übertragen.
• Kontext. Dokumente, Auszüge aus einer Wissensbasis, der bisherige Verlauf eines Dialogs. In Gesprächen wächst dieser Teil mit jeder Runde, weil der Verlauf jedes Mal vollständig mitgeht.
• Ausgabe. Die Antwort selbst. Bei Modellen, die vor der Antwort Zwischenschritte erzeugen, werden diese Schritte üblicherweise ebenfalls als Ausgabe berechnet, auch wenn sie nicht angezeigt werden.
• Bilder und Dateien. Belegfotos und PDF-Seiten rechnet der Anbieter in Token um; ein einzelnes Dokument kann so ein Vielfaches eines kurzen Textaufrufs ausmachen.

Daneben stehen Posten mit eigener Abrechnung, etwa die Aufbereitung von Dokumenten für eine Suche oder die Transkription von Gesprächen. Sie gehören in dieselbe Planung, folgen aber einer anderen Logik.

Was die Menge im Betrieb in die Höhe treibt

Überraschungen entstehen selten durch den einzelnen Aufruf, sondern durch Vervielfachung:

• Wiederholungen. Schlägt ein Aufruf fehl oder passt die Antwort nicht ins erwartete Format, versucht die Anwendung es erneut. Ohne Obergrenze stellt ein fehlerhafter Vorgang dieselbe Anfrage immer wieder.
• Agenten und Ketten. Ein Agent, der plant, ein Werkzeug aufruft, das Ergebnis liest und neu plant, erzeugt pro Vorgang mehrere Aufrufe, jeden mit etwas mehr Kontext als den vorigen.
• Kontext auf Vorrat. Das komplette Handbuch geht mit, obwohl drei Abschnitte die Frage beantworten würden.
• Gegenseitige Auslöser. Zwei automatisierte Schritte stoßen sich gegenseitig an und laufen über Nacht weiter, bis es morgens jemand bemerkt.
• Geteilte Schlüssel. Mehrere Anwendungen nutzen denselben Zugang zum Anbieter, und niemand kann sagen, welche die Rechnung verursacht.

Token-Kosten begrenzen und planen

Planbar werden die Ausgaben durch Maßnahmen auf drei Ebenen:

• Im einzelnen Aufruf. Kontext auf das Nötige kürzen, die Länge der Antwort begrenzen, für einfache Aufgaben wie Einordnen oder Auslesen ein kleineres Modell wählen. Viele Anbieter berechnen gleichbleibende Anweisungsteile niedriger, wenn sie zwischengespeichert werden.
• Im Ablauf. Wiederholungen zählen und nach wenigen Versuchen an einen Menschen übergeben; Ergebnisse, die sich nicht ändern, speichern statt neu erzeugen; Agenten eine Höchstzahl an Schritten vorgeben.
• Im Betrieb. Eine Kostengrenze je Anwendung und Zeitraum, die Aufrufe stoppt oder meldet, sobald sie erreicht ist; dazu eine Auswertung nach Anwendung und Vorgang, damit sichtbar wird, was ein erledigter Fall kostet.

Die entscheidende Kennzahl ist nicht die Monatsrechnung, sondern der Betrag je erledigtem Vorgang, gemessen neben der Qualität. Die dritte Ebene funktioniert allerdings nur, wenn alle Aufrufe an einer Stelle vorbeikommen, an der gezählt und begrenzt wird – das ist die Aufgabe eines KI-Gateways.

Typische Fehler bei der Planung

• Hochrechnung aus dem Pilot. Im Test liefen kurze Dokumente mit wenigen Nutzern; im Betrieb sind die Dokumente länger und die Nutzer zahlreicher.
• Nur der Preis je Token im Vergleich. Ein Modell mit höherem Preis je Token, das seltener wiederholt werden muss oder knapper antwortet, kann je Vorgang weniger kosten.
• Keine Grenze bis zur ersten Rechnung. Ein fehlerhafter Ablauf fällt erst am Monatsende auf.
• Kosten ohne Qualität betrachtet. Ein kleineres Modell senkt die Rechnung und erhöht unbemerkt die Zahl der Korrekturen. Beides gehört in dieselbe KI-Evaluierung.

Wie wir Modellkosten im Betrieb begrenzen

Anwendungen, die im Betrieb Sprachmodelle nutzen, rufen sie bei uns über ein eigenes Gateway auf; eine harte Kostengrenze hält weitere Aufrufe an, sobald sie erreicht ist. Für ein Kundenvorhaben halten wir im Angebot fest, welche Modelle vorgesehen sind, wo Wiederholungen enden und an welcher Stelle die Grenze greift. Eine Zusage über die Höhe der laufenden Kosten geben wir nicht, weil sie von der Menge der Vorgänge und von den Preisen der Anbieter abhängt; wir legen stattdessen offen, wovon sie abhängen. Wie Sprachmodelle als ein Schritt in bestehende Abläufe eingebaut werden, beschreibt die Seite Prozessautomatisierung mit KI.