KI-Kosten

LLM-Token-Kosten erklärt: Input, Output und Cache

Aktualisiert 6 Min. LesezeitMarkdown
Kurz gesagt

Die Kosten einer Anfrage an ein Sprachmodell sind die Summe aus vier Produkten, jeweils eine Token-Zahl mal einem Preis je Million Token. Die vier Zahlen sind Input ohne Cache, Output, aus dem Prompt-Cache gelesene und in den Cache geschriebene Token. Output ist teurer als Input, weil das Modell seine Eingabe in einem Durchlauf liest und seine Antwort Token für Token schreibt. Input ist meist die größere Menge, weil jede Anfrage den Systemprompt, die Werkzeugdefinitionen und den gesamten bisherigen Verlauf mitschickt. Welche Zahlen abgerechnet werden, steht im Usage-Feld jeder Antwort des Anbieters.

Eine Anfrage an ein Sprachmodell wird in Token abgerechnet, und ihre Kosten sind die Summe aus vier Produkten: Input-Token ohne Cache, Output-Token, aus dem Prompt-Cache gelesene Token und in den Cache geschriebene Token, jeweils mal ihrem eigenen Preis je Million. Sind die vier Zahlen und die vier Preise bekannt, sind die Kosten einer Anfrage eine Rechnung, die jeder nachvollziehen kann.

Was ein Token ist

Ein Token ist ein Stück Text: ein kurzes Wort, ein Teil eines längeren Worts, ein Satzzeichen. Ein Modell liest und schreibt Token, und die Anbieter rechnen danach ab. Wie ein Text in Token zerlegt wird, bestimmt der Tokenizer des Modells. Derselbe Prompt ergibt deshalb auf verschiedenen Modellen verschiedene Zahlen. Auch Bilder und Dokumente werden in Token umgerechnet.

Als grobe Regel für englischen Text gelten vier Zeichen je Token. Deutsche Texte brauchen wegen ihrer langen zusammengesetzten Wörter meist mehr Token je Wort. Zum Planen reicht das. Abgerechnet wird die Zahl, die der Anbieter im Usage-Feld jeder Antwort meldet.

Die vier Token-Arten

Token-ArtWas sie istWie sie bepreist wird
Input ohne CacheAlles, was an das Modell geht und von Grund auf verarbeitet wirdInput-Preis
OutputAlles, was das Modell schreibt, einschließlich des Nachdenkens vor der AntwortOutput-Preis, höher als Input
Cache-LesezugriffDer Anfang eines Prompts, den der Anbieter aus einer früheren Anfrage aufbewahrt hatUnter dem Input-Preis
Cache-SchreibzugriffDer Anfang eines Prompts, der für spätere Anfragen gespeichert wirdInput-Preis oder mehr, je nach Anbieter

Eine Preisliste nennt jeden dieser Preise je Million Token und je Modell.

Warum Output-Token mehr kosten

Ein Modell verarbeitet seine gesamte Eingabe in einem Durchlauf. Die Antwort schreibt es Token für Token, und jedes neue Token braucht einen weiteren Durchlauf, der alles bisher Gelesene und Geschriebene berücksichtigt. Tausend Output-Token beschäftigen die Hardware weit länger als tausend Input-Token, und die Preisliste bildet das ab.

Daraus folgt zweierlei. Erstens ist Nachdenken Output. Wenn ein Modell vor der Antwort überlegt, werden diese Token zum Output-Preis abgerechnet, auch wenn die Anwendung sie nie anzeigt. Zweitens begrenzt die Obergrenze für die Antwortlänge in der Anfrage (max_tokens oder ihr Gegenstück), was eine einzelne Antwort kosten kann.

Was alles zum Input zählt

Ein Modell behält zwischen zwei Anfragen nichts. Jede Anfrage schickt deshalb all das erneut mit:

  • den Systemprompt,
  • die Definitionen aller Werkzeuge, die das Modell aufrufen darf,
  • alle früheren Nachrichten des Gesprächs samt Werkzeugaufrufen und deren Ergebnissen,
  • angehängte Dokumente und Bilder,
  • die neue Nachricht.

Darum wächst der Input eines Gesprächs mit jeder Runde. Angenommen, jede Frage hat 400 Token und jede Antwort 600. Die zehnte Anfrage enthält neun frühere Wechsel und die neue Frage: 9 × 1.000 + 400 = 9.400 Input-Token. Über zehn Runden summiert sich der Input auf 49.000 Token, obwohl die zehn Fragen zusammen nur 4.000 hatten. In den meisten Anwendungen ist Input die größere Menge und Output der höhere Preis.

Gecachte Token

Prompt-Caching senkt den Preis für Input, der sich wiederholt. Der Anbieter bewahrt den verarbeiteten Anfang eines Prompts auf, das Präfix. Eine spätere Anfrage, die mit genau demselben Präfix beginnt, liest es zu einem niedrigeren Preis aus dem Cache. Drei Regeln gelten bei jedem Anbieter, mit unterschiedlichen Werten:

  • Exaktes Präfix. Der Cache greift vom ersten Token an. Ein Zeitstempel oder ein Benutzername weit oben im Systemprompt macht ihn für alles Folgende unbrauchbar.
  • Mindestlänge. Kurze Präfixe werden nicht gecacht.
  • Lebensdauer. Ein Eintrag verfällt nach einer Zeit ohne Nutzung, oft nach wenigen Minuten.

Manche Anbieter cachen automatisch und berechnen für das Schreiben nichts zusätzlich. Andere cachen, was die Anfrage als cachebar markiert, und verlangen für das Schreiben mehr als den Input-Preis. Dann kostet die erste Anfrage mehr als ohne Caching, und Caching lohnt sich ab der zweiten Anfrage innerhalb der Lebensdauer. Wann das aufgeht und wann nicht, behandelt der Artikel Prompt-Caching und Kontext.

Die Kosten einer Anfrage berechnen

Kosten = (Input ohne Cache   × Input-Preis
        + Output             × Output-Preis
        + Cache-Lesezugriffe × Preis für Cache-Lesen
        + Cache-Schreiben    × Preis für Cache-Schreiben) ÷ 1.000.000

Ein Rechenbeispiel mit erfundenen Preisen: 2,00 je Million Input-Token, 10,00 je Million Output-Token, 0,20 je Million für Cache-Lesen und 2,50 je Million für Cache-Schreiben. Eine Anfrage sendet 12.000 Input-Token, davon sind die ersten 10.000 ein Systemprompt mit Werkzeugdefinitionen, und erhält 800 Output-Token.

FallRechnungKosten
Ohne Caching12.000 × 2,00 + 800 × 10,00, je Million0,0320
Erste Anfrage, Präfix wird in den Cache geschrieben2.000 × 2,00 + 10.000 × 2,50 + 800 × 10,00, je Million0,0370
Spätere Anfrage, Präfix kommt aus dem Cache2.000 × 2,00 + 10.000 × 0,20 + 800 × 10,00, je Million0,0140

Bei 100.000 solchen Anfragen im Monat sind das 3.200,00 ohne Caching und knapp über 1.400,00 mit Caching. Dieselbe Rechnung bepreist einen Modellwechsel: Token-Zahlen behalten, Preise austauschen. Welche Anfragen auf ein günstigeres Modell wechseln können, ist die Frage des Modell-Routings.

Wo die Zahlen in jedem API-Format stehen

Das Usage-Feld heißt in jedem Format anders, und es unterscheidet sich in einem Punkt, auf den es ankommt: ob die Input-Zahl die gecachten Token enthält.

API-FormatInputCacheOutput
Anthropic Messagesinput_tokens, ohne gecachte Tokencache_read_input_tokens, cache_creation_input_tokensoutput_tokens
OpenAI Chat Completionsprompt_tokens, einschließlich gecachter Tokenprompt_tokens_details.cached_tokenscompletion_tokens
OpenAI Responsesinput_tokens, einschließlich gecachter Tokeninput_tokens_details.cached_tokensoutput_tokens

Wo gecachte Token enthalten sind, ziehen Sie sie ab, bevor Sie den Input-Preis anwenden. Sonst stehen sie in Ihrer Rechnung doppelt, und die berechneten Kosten sind zu hoch.

Was den Preis sonst noch verändert

  • Batch-Verarbeitung. Anfragen, die auf ihr Ergebnis warten können, werden unter dem Standardsatz abgerechnet.
  • Servicestufen. Prioritätsverarbeitung kostet mehr als Standard.
  • Lange Prompts. Manche Preislisten verlangen einen höheren Satz, sobald ein Prompt eine bestimmte Länge überschreitet.
  • Werkzeuge. Websuche oder Code-Ausführung beim Anbieter werden zusätzlich zu den Token abgerechnet.

Was schiefgeht

  • Mit einem Mischpreis schätzen. Ein einziger Preis je Token verdeckt, ob die Kosten im Input oder im Output stecken, und damit, welcher Hebel wirkt.
  • Den Verlauf vergessen. Eine Chat-Funktion wird mit einer Frage und einer Antwort kalkuliert, und die Rechnung zeigt die zehnte Runde.
  • Denk-Token übersehen. Hinter einer kurzen sichtbaren Antwort kann eine lange unsichtbare stehen.

Wie Cureman das macht

Cureman bepreist Verbrauch mit dieser Formel und mit nichts anderem: vier Token-Zahlen, jede mit ihrem Preis je Million multipliziert und für sich gerundet, sodass dieselben Token immer denselben Betrag ergeben. Die Zahlen kommen von den Anbietern, aus deren Nutzungsberichten und, bei Anfragen über das Gateway, aus dem Usage-Feld jeder Antwort, auch bei gestreamten. Input, den ein Anbieter einschließlich gecachter Token meldet, wird aufgeteilt, sodass Input immer den Teil ohne Cache meint. Die Preise stammen aus einer Modellpreisliste, in der jede Zeile als ungeprüft gekennzeichnet ist, bis ein Mensch sie geprüft hat. Eine Modellversion mit Datum wird wie ihr Basismodell bepreist, und die Seite weist das aus. Wie daraus eine Aufteilung nach Anbieter, Modell und Projekt wird, steht im Artikel KI-Kosten prüfen und auf der Seite zum KI-Kosten-Audit.

Fragen und Antworten

Wie berechnet man die Kosten einer LLM-Anfrage?

Jede Token-Zahl wird mit ihrem Preis je Million Token multipliziert, die Ergebnisse werden addiert. Es gibt vier Zahlen, nämlich Input ohne Cache, Output, Cache-Lesezugriffe und Cache-Schreibzugriffe. Die Zahlen stehen im Usage-Feld der Antwort des Anbieters, die Preise in dessen Preisliste für das Modell, das die Anfrage beantwortet hat.

Warum kosten Output-Token mehr als Input-Token?

Ein Modell liest seine gesamte Eingabe in einem Durchlauf, schreibt die Antwort aber Token für Token, und jedes neue Token braucht einen weiteren Durchlauf, der alles Vorherige berücksichtigt. Output belegt die Hardware je Token deshalb deutlich länger, und die Anbieter bepreisen ihn höher. Token, die ein Modell vor der Antwort für sein Nachdenken verbraucht, werden ebenfalls als Output abgerechnet.

Was sind gecachte Token?

Input-Token am Anfang eines Prompts, die der Anbieter aus einer früheren Anfrage aufbewahrt hat und nicht von Grund auf neu verarbeitet. Das Lesen wird unter dem normalen Input-Preis abgerechnet. Das Schreiben in den Cache kostet je nach Anbieter den normalen Input-Preis oder mehr, und ein Cache-Eintrag verfällt nach einer Zeit ohne Nutzung.

Zählt der Gesprächsverlauf zu den Input-Token?

Ja. Ein Modell behält zwischen zwei Anfragen nichts, deshalb schickt jede Anfrage Systemprompt, Werkzeugdefinitionen und alle früheren Nachrichten erneut mit. Der Input eines Gesprächs wächst also mit jeder Runde, und der über ein Gespräch abgerechnete Input wächst schneller als die Zahl der Runden.

Wie viele Token hat ein Text?

Das hängt vom Tokenizer des Modells ab, derselbe Text ergibt auf verschiedenen Modellen verschiedene Zahlen. Als grobe Regel für englischen Text gelten vier Zeichen je Token, deutsche Texte brauchen wegen ihrer langen zusammengesetzten Wörter meist mehr Token je Wort. Zum Planen reicht die Schätzung, für die Abrechnung zählt allein die Zahl im Usage-Feld des Anbieters.