Prompt Caching und Kontextkürzung bei langen Gesprächen
Eine Chat-Anfrage schickt bei jedem Zug das ganze Gespräch erneut, die Eingabekosten wachsen deshalb mit dem Quadrat der Gesprächslänge. Prompt Caching rechnet den wiederholten Anfang eines Prompts zum günstigeren Cache-Lesepreis ab. Kontextkürzung lässt frühere Wortwechsel weg, die die aktuelle Nachricht nicht braucht. Beides arbeitet gegeneinander, denn eine Lücke im Verlauf entwertet den Cache für alles dahinter. Kürzen lohnt sich, wenn die weggelassenen Token zu dem Preis, zu dem sie wirklich berechnet worden wären, mehr wert sind als der verlorene Cache-Rabatt hinter der Lücke und die Kosten der Auswahl.
Eine Chat-Anfrage enthält jedes Mal das ganze Gespräch. Der zehnte Zug bezahlt die neun davor noch einmal. Zwei Verfahren senken diese Rechnung. Prompt Caching macht den wiederholten Anfang eines Prompts günstiger. Kontextkürzung lässt frühere Wortwechsel weg, die die aktuelle Nachricht nicht braucht. Beide hängen zusammen: Eine Lücke im Verlauf entwertet den Cache für alles, was dahinter steht. Ob sich Kürzen lohnt, muss deshalb je Anfrage gerechnet werden, und manchmal kostet es mehr, als es vermeidet.
Warum lange Gespräche teuer werden
Ein Modell merkt sich zwischen zwei Anfragen nichts. Die Anwendung schickt den Systemprompt, die Tool-Definitionen und jede frühere Nachricht bei jedem Zug erneut, und alles wird als Eingabe-Token berechnet. Kommt mit jedem Wortwechsel etwa gleich viel Text hinzu, trägt Zug n etwa das n-Fache davon, und die Eingabe des gesamten Gesprächs wächst mit dem Quadrat seiner Länge.
Ein erfundenes Beispiel: Jeder Wortwechsel bringt 1.000 Token. Zug 1 sendet 1.000 Eingabe-Token, Zug 10 sendet 10.000. Zusammen haben die zehn Züge 55.000 Eingabe-Token gesendet, für ein Gespräch, das 10.000 enthält. Wie die Token-Arten bepreist werden, steht im Artikel LLM-Token-Kosten erklärt.
Wie Prompt Caching funktioniert
Der Anbieter speichert die verarbeitete Form des Prompt-Anfangs. Eine spätere Anfrage, die mit genau denselben Token beginnt, wird für diesen Teil zum Cache-Lesepreis abgerechnet, der unter dem Eingabepreis liegt. Vier Regeln gelten bei allen Anbietern, die Einzelheiten stehen in der jeweiligen Dokumentation:
- Der Cache ist ein Präfix. Der Abgleich läuft vom ersten Token an. Ein Zeitstempel im Systemprompt oder Tools in anderer Reihenfolge genügen, und nichts hinter dieser Stelle wird aus dem Cache gelesen.
- Es gibt eine Mindestlänge. Kurze Prompts werden nicht gecacht.
- Ein Eintrag verfällt. Ein Präfix, das im Zeitfenster des Anbieters nicht wieder gelesen wird, wird verworfen.
- Caching läuft automatisch oder auf Anforderung. Manche Anbieter cachen jedes ausreichend lange Präfix ohne Aufpreis, so beschreibt es der Prompt-Caching-Leitfaden von OpenAI. Andere cachen dort, wo der Aufrufer eine Markierung setzt, und berechnen das Schreiben höher als den Eingabepreis, so die Prompt-Caching-Dokumentation von Anthropic.
Wo das Schreiben Aufpreis kostet, hat ein Cache seine eigene Gewinnschwelle:
Ersparnis = Lesevorgänge × Präfix-Token × (Eingabepreis − Cache-Lesepreis)
− Schreibvorgänge × Präfix-Token × (Cache-Schreibpreis − Eingabepreis)Ein Präfix, das geschrieben und nie wieder gelesen wird, kostet mehr als gar kein Caching. Zählen Sie, wie viele Lesevorgänge auf einen Schreibvorgang folgen, bevor Sie etwas markieren.
Den Prompt von stabil nach veränderlich ordnen
Weil der Cache ein Präfix ist, entscheidet die Reihenfolge im Prompt darüber, was gecacht werden kann. Zuerst kommen Tool-Definitionen und Systemprompt, dann lange Referenzdokumente, danach das Gespräch und zuletzt die aktuelle Nachricht. Werte, die sich je Anfrage ändern, etwa das Datum, der Name des Nutzers oder abgerufene Textstellen, gehören nicht an den Anfang. Im Chat ist der Verlauf selbst ein wachsendes Präfix: Jeder Zug liest die früheren Züge aus dem Cache und fügt nur das neue Ende an.
Warum Kürzen gegen den Cache arbeitet
Beim Kürzen geht die Anfrage ohne die früheren Wortwechsel hinaus, die mit der aktuellen Nachricht nichts zu tun haben. Weggelassene Token werden nicht berechnet. Nimmt man aber einen Wortwechsel aus der Mitte, ändert sich der Prompt ab dieser Stelle. Alles hinter der Lücke passt nicht mehr zum gecachten Präfix und wird wieder zum vollen Eingabepreis berechnet.
| Lage | Was das Kürzen bei einer Anfrage vermeidet |
|---|---|
| Verlauf nicht im Cache | entfernte Token × Eingabepreis |
| Verlauf aus dem Cache bedient | entfernte Token × Cache-Lesepreis − Token nach der ersten Lücke × (Eingabepreis − Cache-Lesepreis) |
Wählt ein Modell aus, was wegbleibt, gehen die Kosten dieses Aufrufs in beiden Zeilen ab.
Ein Rechenbeispiel mit erfundenen Preisen
Angenommen, der Eingabepreis beträgt 10,00 je Million Token und der Cache-Lesepreis 1,00 je Million. Beide Preise sind erfunden. Ein Gespräch hat 60.000 Token Verlauf, 30.000 davon haben mit der aktuellen Nachricht nichts zu tun.
| Fall | Rechnung | Ergebnis je Anfrage |
|---|---|---|
| Kein Cache | 30.000 × 10,00 ÷ 1.000.000 | 0,30 vermieden |
| Cache, 8.000 Token bleiben nach der Lücke | 30.000 × 1,00 ÷ 1.000.000 − 8.000 × 9,00 ÷ 1.000.000 = 0,03 − 0,072 | 0,042 teurer |
| Cache, 2.000 Token bleiben nach der Lücke | 30.000 × 1,00 ÷ 1.000.000 − 2.000 × 9,00 ÷ 1.000.000 = 0,03 − 0,018 | 0,012 vermieden |
Dasselbe Gespräch und dieselbe Kürzung ergeben drei Antworten. Ohne Cache lohnt sich Kürzen fast immer. Mit Cache lohnt es sich nur, wenn das Entfernte groß ist im Verhältnis zu dem, was hinter der Lücke folgt.
Was schiefgeht
- Den gespeicherten Verlauf kürzen. Kürzt die Anwendung das Gespräch, das sie aufbewahrt, lässt sich eine spätere Frage zum entfernten Teil nicht mehr beantworten. Gekürzt wird nur die Kopie, die an das Modell geht.
- Tool-Aufrufe von ihren Ergebnissen trennen. Anbieter weisen ein Tool-Ergebnis ohne zugehörigen Aufruf ab. Ein Nutzerzug und alles bis zum nächsten Nutzerzug bleiben zusammen oder fallen zusammen weg.
- Aus einer Nachricht urteilen, die nichts sagt. „Mach das“ oder „und das zweite?“ gibt keine Grundlage für Relevanz. Dann geht der volle Verlauf hinaus.
- Den ersten Wortwechsel oder die Systemanweisungen entfernen. Dort steht in der Regel die Aufgabe.
- Die Ersparnis zum Eingabepreis zählen. War der Verlauf im Cache, kosteten die entfernten Token nur den Cache-Lesepreis.
- Nur die Kosten messen. Ein kürzerer Kontext kann die Antwort verändern. Die Rechnung sagt, was eine Anfrage kostet, und nicht, ob die Antwort gleich gut ist. Prüfen Sie das an Ihren eigenen Aufgaben, bevor Sie die Kürzung einschalten.
Wie Cureman das macht
Der Kontext-Optimierer von Cureman arbeitet im Gateway, das der Artikel Was ist ein LLM-Gateway beschreibt. Bei Gesprächen oberhalb einer Länge, die die Organisation festlegt, teilt er den Verlauf in Wortwechsel, sendet Systemnachrichten, den ersten Wortwechsel und die jüngsten immer mit und beurteilt den Rest danach, ob er für die aktuelle Nachricht gebraucht wird: über einen deterministischen Wortabgleich oder, wo eingerichtet, mit einem kleinen Modell. Das Gespräch des Aufrufers wird nie verändert. Nur die Kopie, die an den Anbieter geht, ist kürzer, und der nächste Zug wird neu aus dem vollständigen Verlauf beurteilt.
Gekürzt wird eine Anfrage nur, wenn die Rechnung oben zum Preis des Modells, das sie beantwortet, positiv ausfällt. Das kleine Modell wird nur aufgerufen, wenn das, was es höchstens vermeiden kann, ein Mehrfaches seiner eigenen Kosten beträgt, und diese Kosten werden abgezogen. Ist die aktuelle Nachricht zu kurz für ein Urteil oder liefert die Auswahl kein verwertbares Ergebnis, geht der volle Verlauf hinaus. Weist der Anbieter die gekürzte Anfrage ab, sendet das Gateway in der Voreinstellung das Original. Ein Header an der Anfrage erhält ihren vollen Verlauf.
Im Beobachtungsmodus wird nichts verändert: Das Gateway hält fest, was eine Kürzung vermieden hätte, die Wirkung ist also bekannt, bevor sie eingeschaltet wird. Gemessen werden Kosten, nicht die Qualität der Antworten. Außerdem listet das Gateway große Prompt-Präfixe auf, die immer wieder gesendet und nie aus dem Cache gelesen werden, mit Rechenweg und der Annahme dahinter. Dieselbe Richtlinie kann einfache Anfragen von einem günstigeren Modell beantworten lassen, siehe LLM-Modell-Routing. Das Modul ist auf der Seite zum Kontext-Optimierer beschrieben.
Fragen und Antworten
Was ist Prompt Caching?
- Der Modellanbieter speichert den verarbeiteten Anfang eines Prompts. Eine spätere Anfrage, die mit genau denselben Token beginnt, wird für diesen Teil zum Cache-Lesepreis abgerechnet, der unter dem normalen Eingabepreis liegt. Der Abgleich läuft vom ersten Token an. Ändert sich weit vorn ein Zeichen, wird nichts dahinter aus dem Cache gelesen.
Spart Kontextkürzung immer Geld?
- Nein. War der Verlauf nicht im Cache, spart jedes weggelassene Token den vollen Eingabepreis. Hat der Anbieter den Verlauf aus dem Cache bedient, kosteten die entfernten Token nur den Cache-Lesepreis, und alles hinter der Lücke verliert seinen eigenen Cache-Rabatt. Geht mehr Rabatt verloren, als an Kosten entfällt, ist die gekürzte Anfrage die teurere.
Wie berechne ich, ob sich das Kürzen eines Gesprächs lohnt?
- Ohne Cache multiplizieren Sie die entfernten Token mit dem Eingabepreis. Mit Cache multiplizieren Sie die entfernten Token mit dem Cache-Lesepreis und ziehen die Token, die nach der ersten Lücke stehen bleiben, mal der Differenz aus Eingabepreis und Cache-Lesepreis ab. Davon gehen die Kosten der Auswahl ab. Gekürzt wird nur bei positivem Ergebnis.
Verändert die Kürzung das Gespräch, das der Nutzer sieht?
- Das sollte sie nicht. Gekürzt wird nur die Kopie der Anfrage, die an das Modell geht. Die Anwendung behält den vollständigen Verlauf, und der nächste Zug wird wieder aus diesem vollständigen Verlauf beurteilt. Ein Wortwechsel, der jetzt wegbleibt, wird wieder gesendet, sobald sich eine spätere Nachricht auf ihn bezieht.
Wie entscheidet Cureman, ob eine Anfrage gekürzt wird?
- Der Kontext-Optimierer berechnet für jede Anfrage die vermiedenen Eingabekosten zum Preis des Modells, das sie beantwortet. Im Cache-Fall rechnet er mit dem Cache-Lesepreis abzüglich des Rabatts, der hinter der Lücke verloren geht, und zieht die Kosten eines Auswahl-Aufrufs ab. Gekürzt wird nur bei positivem Ergebnis, im Beobachtungsmodus wird nur festgehalten, was eine Kürzung vermieden hätte.