KI-Kosten

KI-Budgets und Limits: je Schlüssel, je Nutzer, je Modell

Aktualisiert 6 Min. LesezeitMarkdown
Kurz gesagt

Die Abrechnung nach Token hat von sich aus keine Obergrenze. Ein Budget schafft eine, indem vor jeder Anfrage die im Monat bisher erfassten Kosten mit einer Grenze verglichen werden und die Anfrage abgewiesen wird, sobald die Grenze erreicht ist. Drei Grenzen leisten das meiste. Ein Monatsbudget je Schlüssel begrenzt eine Anwendung, ein Monatsbudget je Nutzer eine Person an einem gemeinsamen Schlüssel, und eine Freigabeliste verhindert, dass das teuerste Modell zum Standard wird. Ein Budget greift zwischen den Anfragen, die Anfrage über die Grenze wird also noch bedient, und die Anwendung muss die Abweisung als endgültig behandeln und nicht als Rate-Limit wiederholen.

Die Abrechnung nach Token hat von sich aus keine Obergrenze: Ein Agent in einer Schleife oder ein Job, der endlos wiederholt, gibt Geld aus, bis jemand die Rechnung liest. Ein Budget ist eine Obergrenze, die vor jeder Anfrage geprüft wird. Die im Zeitraum bisher erfassten Kosten werden mit einer Grenze verglichen, und eine Anfrage jenseits der Grenze wird abgewiesen. Drei Grenzen leisten das meiste: ein Monatsbudget je Schlüssel, ein Monatsbudget je Nutzer und eine Liste der Modelle, die ein Schlüssel anfragen darf.

Was jede Grenze aufhält

GrenzeGilt fürWas sie aufhältWas sie nicht aufhält
Monatsbudget je SchlüsselEine Anwendung oder einen DienstEinen entgleisten Job oder eine Schleife in dieser AnwendungEine Person, die verbraucht, was für alle gedacht war
Monatsbudget je NutzerEine Person an einem SchlüsselEinen einzelnen Vielnutzer einer gemeinsamen AnwendungAnfragen ohne Nutzerangabe
Freigabeliste für ModelleEinen SchlüsselDass das teuerste Modell zum Standard wirdHohe Mengen auf einem erlaubten Modell
Maximale Ausgabe-TokenEine AnfrageEine einzelne sehr lange AntwortViele Anfragen
Ausgabenlimit beim AnbieterDas ganze Konto oder ProjektAlles, als letzte SicherungNichts gezielt: Jede Anwendung steht zugleich

Die Grenzen bauen auf der Zuordnung auf. Ein Budget je Nutzer braucht an jeder Anfrage einen Nutzer, siehe KI-Kosten Teams zuordnen.

Wie eine Budgetprüfung abläuft

  1. Jede abgeschlossene Anfrage wird mit ihren Kosten erfasst: ihre Token mal dem Preis des Modells, das geantwortet hat.
  2. Bevor eine neue Anfrage weitergeleitet wird, werden die erfassten Kosten des Schlüssels, oder des Schlüssels und des Nutzers, seit Beginn des Zeitraums summiert.
  3. Hat die Summe die Grenze erreicht, wird die Anfrage abgewiesen. Andernfalls geht sie hinaus.

Aus dieser Reihenfolge folgt dreierlei:

  • Geprüft wird zwischen den Anfragen. Was eine Anfrage kostet, steht erst fest, wenn die Antwort vollständig ist, beim Streaming also ganz am Ende. Die Anfrage, die die Grenze überschreitet, wird vollständig bedient.
  • Die Überschreitung ist das, was gerade läuft. Bei parallelem Verkehr wird jede Anfrage fertig, die begonnen hat, bevor die Summe die Grenze erreichte. Ein System, das sich die Summe kurz merkt, lässt die Ausgaben einiger weiterer Sekunden durch.
  • Der Zeitraum braucht eine Festlegung. Kalendermonat in welcher Zeitzone? Ein Budget, das um Mitternacht UTC neu beginnt, beginnt in Berlin um ein oder zwei Uhr nachts.

Was am Limit geschieht

Eine abgewiesene Anfrage kommt in der Regel mit HTTP-Status 429 und einer Meldung zurück. Denselben Status verwenden die Anbieter für Rate-Limits, und die meisten SDKs wiederholen ihn automatisch mit wachsendem Abstand. Ein Rate-Limit löst sich in Sekunden. Ein Budget nicht. Der aufrufende Code sollte deshalb:

  1. die Meldung lesen und eine Budget-Abweisung von einem Rate-Limit unterscheiden,
  2. eine Budget-Abweisung nicht wiederholen,
  3. in einer interaktiven Anwendung der Person in einem Satz sagen, was geschehen ist, wann das Budget neu beginnt und an wen sie sich wendet,
  4. in einem Hintergrundjob anhalten und den Verantwortlichen benachrichtigen.

Am Limit kann ein System abweisen, nur warnen oder auf ein günstigeres Modell ausweichen. Nur das Abweisen begrenzt die Ausgaben. Entscheiden Sie je Schlüssel, ob er überhaupt angehalten werden darf: Eine Funktion, die Ihre Kunden nutzen, braucht ein großzügiges Budget und jemanden, der hinsieht, keinen engen harten Stopp.

Wie man die Beträge festlegt

  1. Erst messen. Lassen Sie einen Monat ohne Grenze laufen und halten Sie die Kosten je Schlüssel und je Nutzer fest.
  2. Budget des Schlüssels. Nehmen Sie einen typischen Monat und schlagen Sie das Wachstum auf, das Sie ohne Rückfrage hinnehmen würden. Das Budget soll das Ungewöhnliche abfangen und nicht die normale Arbeit rationieren.
  3. Budget je Nutzer. Wo eine Sitzlizenz die Alternative ist, bildet ihr Monatspreis eine natürliche Obergrenze: Wer nach Token mehr kosten würde, ist mit einem Sitz besser bedient. Die Rechnung steht im Artikel KI-Chat: Sitzlizenz oder Abrechnung nach Token.
  4. Beide gegeneinander prüfen. Multiplizieren Sie die Nutzer mit dem Budget je Nutzer und vergleichen Sie mit dem Budget des Schlüssels.

Ein Rechenbeispiel mit erfundenen Beträgen. Ein gemeinsamer Chat-Schlüssel hat 40 Nutzer, ein Budget von 20,00 je Nutzer und ein Schlüsselbudget von 500,00. 40 × 20,00 = 800,00, das ist mehr als 500,00. Schöpfen 25 Personen ihre 20,00 aus, ist der Schlüssel am Limit, und die übrigen 15 werden abgewiesen, obwohl sie nichts verbraucht haben. Heben Sie entweder das Schlüsselbudget auf 800,00 an oder nehmen Sie hin, dass es die eigentliche Grenze ist, und sagen Sie das auch. Ohne das Budget je Nutzer könnte eine Person mit einem Skript die 500,00 allein verbrauchen.

Die Freigabeliste für Modelle

Zwischen dem kleinsten und dem größten Modell eines Anbieters unterscheidet sich der Preis je Token um ein Mehrfaches. Eine Freigabeliste legt fest, welche Modelle ein Schlüssel überhaupt anfragen darf. Eine Anfrage nach einem anderen Modell wird mit einer Meldung abgewiesen, die die erlaubten nennt, und eine Chat-Oberfläche zeigt in ihrer Modellauswahl nur diese. Routing ist ein anderes Werkzeug: Es lässt eine einfache Anfrage von einem günstigeren Modell beantworten als dem angefragten. Siehe LLM-Modell-Routing.

Was schiefgeht

  • Ein Budget für alles. Ein Nachtlauf schöpft es aus, und der Assistent, den Ihre Kunden nutzen, steht.
  • Ein Budget je Nutzer ohne Nutzer. Anfragen ohne Kennung zählen bei niemandem.
  • Die Abweisung wiederholen. Eine Wiederholschleife auf Status 429 läuft bis zum Monatsersten.
  • Eine andere Währung. Ein Budget in Euro gegen eine Rechnung in Dollar schwankt mit dem Wechselkurs.
  • Modelle ohne Preis. Eine Anfrage, die mit null erfasst wird, erreicht nie eine Grenze.

Wie Cureman das macht

Im Gateway von Cureman kann jeder Schlüssel drei optionale Einstellungen tragen: eine Liste erlaubter Modelle, ein Monatsbudget für den Schlüssel und ein Monatsbudget für jeden Endnutzer des Schlüssels. Budgets gelten in US-Dollar je Kalendermonat, gerechnet in UTC. Bevor eine Anfrage weitergeleitet wird, summiert das Gateway die im Monat erfassten Kosten des Schlüssels, einschließlich der Klassifikator- und Auswahl-Aufrufe für seine Anfragen, und vergleicht sie mit dem Budget. Das Budget je Nutzer gilt für Anfragen, die einen Nutzer nennen: über einen Header, über das Endnutzerfeld des Anfragekörpers oder über den angemeldeten Nutzer, den eine Chat-Oberfläche weitergibt.

Am Limit wird die Anfrage mit Status 429 und einer Meldung beantwortet, die sagt, ob das Budget des Schlüssels oder das der Person aufgebraucht ist und dass es am Monatsersten neu beginnt oder von einem Administrator angehoben werden kann. Die Summe wird einige Sekunden lang gemerkt, und eine laufende Anfrage wird zu Ende bedient. Eine Grenze kann also um das überschritten werden, was in diesem Moment ausgegeben wird. Eine Anfrage nach einem Modell, das nicht auf der Liste des Schlüssels steht, wird mit der Liste der freigegebenen Modelle abgewiesen, und die Modellliste, die Chat-Oberflächen abrufen, enthält nur diese. Ein Modell ohne Preis in der Preisliste wird mit null erfasst und zählt für kein Budget, bis sein Preis eingetragen ist.

Dieselben Einstellungen gelten für den Schlüssel des Arbeitsplatzes für Mitarbeitende, an dem das Budget je Person und die Modellliste gesetzt werden. Was ein Gateway darüber hinaus leistet, erklärt der Artikel Was ist ein LLM-Gateway, das Modul beschreibt die Seite zum KI-Gateway.

Fragen und Antworten

Was geschieht, wenn ein API-Schlüssel sein KI-Budget erreicht?

Die nächste Anfrage wird abgewiesen, bevor sie den Modellanbieter erreicht, in der Regel mit HTTP-Status 429 und einer Meldung. Für eine abgewiesene Anfrage wird nichts berechnet. Der Schlüssel arbeitet wieder, wenn der Zeitraum neu beginnt oder jemand die Grenze anhebt. Die Anwendung sollte deshalb eine klare Meldung zeigen und anhalten, statt zu wiederholen.

Kann ein KI-Budget überschritten werden?

Ja, geringfügig. Was eine Anfrage kostet, steht erst fest, wenn die Antwort vollständig ist, geprüft wird deshalb vor einer Anfrage und nicht währenddessen. Die Anfrage, die die Grenze überschreitet, wird vollständig bedient, ebenso Anfragen, die parallel schon unterwegs waren. Die Überschreitung ist durch das begrenzt, was in diesem Moment läuft.

Was unterscheidet ein Budget von einem Rate-Limit?

Ein Rate-Limit begrenzt Anfragen oder Token je Minute, schützt Kapazität und löst sich in Sekunden. Ein Budget begrenzt Geld je Monat und bleibt erreicht, bis der Monat endet oder die Grenze angehoben wird. Beide werden oft mit Status 429 beantwortet. Der aufrufende Code muss deshalb die Meldung lesen und darf eine Budget-Abweisung nicht wiederholen.

Wie legt man ein Monatsbudget je Nutzer fest?

Messen Sie zuerst einen Monat ohne Grenze und setzen Sie den Betrag dann über das, was normale Arbeit kostet. So fängt er den Ausnahmefall ab und rationiert nicht die gewöhnliche Nutzung. Wo eine Sitzlizenz die Alternative ist, bildet ihr Monatspreis eine natürliche Obergrenze, denn wer nach Token mehr kostet als ein Sitz, ist mit dem Sitz besser bedient.

Wie arbeiten Budgets in Cureman?

Jeder Gateway-Schlüssel kann eine Liste erlaubter Modelle, ein Monatsbudget für den Schlüssel und ein Monatsbudget je Endnutzer tragen. Vor dem Weiterleiten vergleicht das Gateway die im Kalendermonat erfassten Kosten des Schlüssels mit dem Budget und antwortet mit Status 429, sobald es erreicht ist. Eine Anfrage nach einem Modell, das nicht auf der Liste steht, wird abgewiesen und erfährt, welche Modelle freigegeben sind.