Was ist ein LLM-Gateway und wann braucht man eines?
Ein LLM-Gateway ist ein Proxy zwischen den Anwendungen einer Organisation und ihren Modellanbietern. Die Anwendungen behalten ihr SDK und ändern zwei Einstellungen, die Basis-URL und den Schlüssel. Das Gateway verwahrt die Anbieterschlüssel, leitet jede Anfrage an einen Upstream weiter und hält je Anfrage fest, was ein Nutzungsbericht nur als Summe zeigt, nämlich Modell, Token, Kosten, aufrufende Funktion und Person. Darauf gestützt kann es Budgets und Modelllisten durchsetzen und auf Wunsch Anfragen routen. Sie brauchen eines, wenn mehrere Anwendungen oder Teams Modelle aufrufen und der Bericht des Anbieters nicht mehr beantwortet, wer was wofür ausgegeben hat.
Ein LLM-Gateway ist ein Proxy zwischen Ihren Anwendungen und den Modellanbietern. Die Anwendungen senden ihre Anfragen an das Gateway statt an den Anbieter, das Gateway leitet sie mit einem Anbieterschlüssel weiter, den nur es selbst verwahrt, und hält jede Anfrage fest. Sie brauchen eines, wenn mehrere Anwendungen oder Teams Modelle aufrufen und der Nutzungsbericht des Anbieters nicht mehr beantwortet, wer was ausgegeben hat und wofür.
Wie ein LLM-Gateway arbeitet
Eine Anfrage durchläuft das Gateway in sechs Schritten:
- Die Anwendung sendet ihre Anfrage im API-Format des Anbieters an die Adresse des Gateways, mit einem Gateway-Schlüssel.
- Das Gateway erkennt den Schlüssel und schlägt nach, was zu ihm gehört: Upstream, erlaubte Modelle, Budget, Richtlinie.
- Es prüft die Anfrage gegen diese Regeln und lehnt ab, was nicht erlaubt ist, mit einem Fehler in dem Format, das das SDK erwartet.
- Es leitet die Anfrage mit dem Anbieterschlüssel an den Upstream weiter.
- Es gibt die Antwort zurück, auch gestreamte, und liest dabei den Token-Verbrauch mit.
- Es schreibt einen Datensatz zur Anfrage.
Für die Anwendung ändern sich zwei Einstellungen:
vorher Basis-URL https://api.anbieter.example/v1 Schlüssel Anbieterschlüssel
nachher Basis-URL https://gateway.example/v1 Schlüssel Gateway-SchlüsselWas ein LLM-Gateway misst
Der Nutzungsbericht eines Anbieters liefert Summen je Tag, Modell und Projekt. Ein Gateway sieht jede einzelne Anfrage und kann festhalten, was im Bericht fehlt.
| Je Anfrage festgehalten | Wozu |
|---|---|
| Angefragtes und tatsächlich bedienendes Modell | Grundlage jedes Preisvergleichs |
| Input-, Output-, Cache-Lese- und Cache-Schreib-Token | Kosten, berechnet aus der Preisliste |
| Schlüssel, Tag und Endnutzer | Zuordnung zu Anwendung, Funktion, Kostenstelle, Person |
| Status und Latenz | Fehler, Wiederholungen, langsame Upstreams |
| Merkmale der Anfrage: Größe, Zahl der Werkzeuge, Länge des Gesprächs | Einstufung, wie anspruchsvoll die Anfrage war |
| Ein Hash des festen Prompt-Anfangs und der gesamten Anfrage | Präfixe finden, die sich ungecacht wiederholen, und exakte Wiederholungen |
Nichts davon braucht den Text eines Prompts oder einer Antwort. Ob ein Gateway trotzdem Inhalte speichert, ist eine Produktentscheidung, nach der Sie fragen sollten, spätestens wenn Datenschutz und Betriebsrat mit am Tisch sitzen. Wie aus Token-Zahlen Geld wird, steht im Artikel LLM-Token-Kosten erklärt.
Upstreams und Schlüssel
Ein Upstream ist das Ziel, an das das Gateway Anfragen sendet: die API eines Anbieters oder jeder Endpunkt, der dasselbe Format spricht, etwa die Bereitstellung eines Modells in der eigenen Cloud oder ein selbst betriebenes Modell. Am Upstream hängt der Anbieterschlüssel.
Ein Gateway-Schlüssel ist das, was eine Anwendung vorlegt. Er gehört zu einem Upstream und trägt die Regeln für seinen Inhaber. Diese Trennung ist der wichtigste betriebliche Gewinn:
- Der Anbieterschlüssel liegt an einer Stelle. Wird er getauscht, betrifft das das Gateway und keine Anwendung.
- Jede Anwendung und jeder Dienst bekommt einen eigenen Schlüssel, der sich einzeln sperren lässt.
- Ein Schlüssel lässt sich auf bestimmte Modelle beschränken und mit einem Monatsbudget versehen, für den Schlüssel insgesamt und je Endnutzer. Was an der Grenze geschehen soll, behandelt der Artikel KI-Budgets und Limits.
- Die Ausgaben ordnen sich nach Schlüssel, bevor irgendjemand etwas gekennzeichnet hat. Die feinere Zuordnung nach Funktion und Person ist Thema des Artikels KI-Kosten Teams zuordnen.
API-Formate
Anwendungen sprechen mit Modellen in wenigen Formaten, darunter Anthropic Messages, OpenAI Chat Completions und OpenAI Responses. Ein Gateway reicht ein Format entweder an einen Upstream durch, der es spricht, oder es übersetzt zwischen Formaten. Beim Durchreichen bleibt jede Funktion der Anbieter-API erhalten, weil die Anfrage so ankommt, wie sie geschrieben wurde. Die Übersetzung lässt eine Anwendung jeden Anbieter erreichen, um den Preis, dass Funktionen, die es nur in einem Format gibt, verloren gehen oder nur angenähert werden.
Streaming verlangt in beiden Fällen Sorgfalt. Das Gateway muss den Strom so durchreichen, wie er eintrifft, und trotzdem den Verbrauch lesen, den die Anbieter in Ereignissen des Stroms selbst melden. Im Format Chat Completions enthält ein Strom den Verbrauch nur, wenn die Anfrage ihn anfordert (stream_options.include_usage). Ein messendes Gateway muss diese Option also setzen.
Was ein Gateway über das Messen hinaus kann
Sobald jede Anfrage durch eine Stelle läuft, werden drei Dinge möglich:
- Grenzen. Budgets und Modelllisten greifen, bevor eine Anfrage etwas kostet.
- Beobachtung. Jede Anfrage wird eingestuft, und das Gateway hält fest, was ein günstigeres Modell für dieselben Token gekostet hätte, ohne die Antwort zu verändern.
- Routing. Nach einer Richtlinie, die Sie festlegen, werden als einfach eingestufte Anfragen von einem günstigeren Modell bedient. Wie das funktioniert und wie man es misst, erklärt der Artikel LLM-Modell-Routing.
Die Reihenfolge zählt. Erst messen, eine Weile beobachten und über Routing anhand der aufgezeichneten Zahlen entscheiden.
Wann Sie eines brauchen
| Lage | Was das Gateway beiträgt |
|---|---|
| Anbieterschlüssel liegen verstreut in Anwendungen und bei Personen | Eine Stelle für Anbieterschlüssel, ein sperrbarer Schlüssel je Aufrufer |
| Der Nutzungsbericht zeigt eine Summe je Projekt | Kosten je Funktion, Team, Kostenstelle und Person |
| Ein entgleister Job oder eine beliebte Funktion kann das Monatsbudget aufbrauchen | Budgets, die Anfragen an der Grenze ablehnen |
| Jemand schlägt für einen Teil des Verkehrs ein günstigeres Modell vor | Gemessene Zahlen je Anfrage, bevor sich etwas ändert |
| Mehr als ein Anbieter oder eine Bereitstellung ist im Einsatz | Dieselbe Aufzeichnung für alle |
Bei einer Anwendung, einem Anbieter und einem Schlüssel genügt der Nutzungsbericht. Beginnen Sie mit einem Audit der KI-Kosten und ergänzen Sie ein Gateway, wenn dessen Fragen auftauchen.
Was es Sie kostet
Ein Gateway ist Infrastruktur im Weg jeder Anfrage.
- Ein weiterer Sprung. Jede Anfrage nimmt einen Netzwerkschritt mehr, und eine Einstufung, die ein Modell aufruft, kostet einen zusätzlichen Hin- und Rückweg.
- Verfügbarkeit. Fällt das Gateway aus, fallen alle Anwendungen dahinter aus.
- Vertrauen. Prompts laufen hindurch, und Anbieterschlüssel sind darin gespeichert.
- Die Messung ist nicht die Rechnung. Vergleichen Sie einen Tag gemessener Kosten mit dem Bericht des Anbieters, bevor Sie sich darauf verlassen.
Fragen Sie bei jedem Gateway, was es speichert, was es an einer Anfrage verändert und was es tut, wenn der Upstream eine veränderte Anfrage ablehnt.
Wie Cureman das macht
Das Gateway von Cureman bietet Endpunkte für Anthropic Messages, OpenAI Chat Completions und OpenAI Responses, Streaming eingeschlossen, und reicht jedes Format an einen Upstream durch, der es spricht: Anthropic, OpenAI, Azure OpenAI oder jede OpenAI-kompatible Adresse mit öffentlichem HTTPS. Der Anbieterschlüssel der Organisation wird verschlüsselt gespeichert, von einem Gateway-Schlüssel nur ein Hash. Ein Schlüssel kann eine Modellliste und Monatsbudgets je Schlüssel und je Endnutzer tragen. Eine Anfrage über dem Budget wird mit einer Meldung abgelehnt, die das sagt. Jede Anfrage wird mit angefragtem und bedienendem Modell, den vier Token-Zahlen, den Kosten aus der Modellpreisliste, Status, Latenz, Tag und Nutzer festgehalten. Tag und Nutzer können Aufrufer als x-gateway-tag und x-gateway-user mitsenden. Ein Modell, das in der Preisliste fehlt, wird mit seinen Token, aber ohne Kosten erfasst und nie geroutet. Eine Richtlinie beginnt im beobachtenden Modus, in dem Anfragen so durchlaufen, wie sie geschrieben wurden. Geroutet wird nur im durchsetzenden Modus. Eine Anfrage kann sich per Header ausnehmen, und wenn die Richtlinie nichts anderes vorsieht, wird eine veränderte Anfrage, die der Anbieter ablehnt, genau so erneut gesendet, wie sie gestellt wurde. Das Modul ist auf der Seite zum KI-Gateway beschrieben.
Fragen und Antworten
Was ist ein LLM-Gateway?
- Ein Proxy zwischen Anwendungen und Modellanbietern. Die Anwendungen senden ihre Anfragen im API-Format des Anbieters an das Gateway, das Gateway leitet sie mit dem Anbieterschlüssel weiter, den es verwahrt, und gibt die Antwort zurück. Unterwegs hält es Token, Kosten und den Aufrufer fest und kann Budgets, Modelllisten und Routing-Regeln anwenden.
Müssen Anwendungen für ein Gateway umgeschrieben werden?
- Nein, solange das Gateway das API-Format spricht, das die Anwendung schon verwendet. Die Anwendung behält ihr SDK und ändert zwei Einstellungen, die Basis-URL und den API-Schlüssel. Kennzeichen für die Kostenzuordnung, etwa die aufrufende Funktion oder der Endnutzer, sind optionale Header.
Speichert ein LLM-Gateway Prompts und Antworten?
- Das hängt vom Produkt ab und ist die erste Frage, die Sie stellen sollten. Zum Messen braucht es Token-Zahlen, keine Inhalte. Cureman speichert Token-Zahlen, Merkmale der Anfrage, Hashes, die Art der Aufgabe und die Nutzerreferenz und speichert weder Prompts noch Antworten, solange die Organisation keine Prompt-Stichproben einschaltet.
Verändert ein Gateway Anfragen oder Antworten?
- Ein Gateway, das nur misst, reicht beides unverändert durch. Eines, das routet, schickt eine Anfrage an ein anderes Modell als das, das die Anwendung genannt hat. Diese Änderung muss die Organisation bewusst einschalten. Zu einer soliden Lösung gehören ein Modus, der nur beobachtet, die Möglichkeit, einzelne Anfragen auszunehmen, und ein erneuter Versand der ursprünglichen Anfrage, wenn die geänderte abgelehnt wird.
Wann braucht man kein LLM-Gateway?
- Wenn eine Anwendung einen Anbieter mit einem Schlüssel aufruft, beantwortet dessen Nutzungsbericht bereits, was ausgegeben wird. Ein Gateway lohnt sich bei mehreren Anwendungen, Teams oder Anbietern, wenn Kosten Funktionen oder Personen zugeordnet werden müssen, wenn Budgets halten sollen oder wenn Sie messen wollen, was Routing bewirken würde, bevor Sie darüber entscheiden.