Module

KI-Gateway: ein Endpunkt, der misst, einordnet und weiterleitet

Aktualisiert Markdown
Kurz gesagt

Das KI-Gateway von Cureman ist ein Endpunkt vor jedem Modellanbieter. Anwendungen behalten ihr SDK und ändern Basis-URL und Schlüssel. Das Gateway spricht Anthropic Messages, OpenAI Chat Completions und OpenAI Responses, leitet an jeden kompatiblen Upstream mit den eigenen Schlüsseln der Organisation weiter, erfasst Token und Kosten jeder Anfrage und ordnet sie ein. Nach einer Routing-Regel, die die Organisation selbst festlegt, werden einfache Anfragen aus einem günstigeren Modell bedient. Das Gespräch des Aufrufers verändert es nie, und es beginnt im Beobachtungsmodus, in dem es misst und nichts ändert.

Anwendungen behalten das SDK, das sie bereits nutzen, und ändern zwei Einstellungen: die Basis-URL und den API-Schlüssel. Von da an läuft jede Modellanfrage über einen Endpunkt, der festhält, was sie gekostet hat, einordnet, um welche Art von Anfrage es sich handelt, und eine einfache Anfrage aus einem günstigeren Modell bedient, wenn die Routing-Regel der Organisation das vorsieht.

Was es annimmt

FormatEndpunkt unter der Basis-URL des Gateways
Anthropic Messages/v1/messages
OpenAI Chat Completions/v1/chat/completions
OpenAI Responses/v1/responses
Modellliste für SDKs und Chat-Oberflächen/v1/models

Streaming funktioniert in allen drei Formaten. Das Gateway leitet an einen Upstream weiter: einen Anbieter oder jeden Endpunkt, der eines dieser Formate spricht, aufgerufen mit dem eigenen API-Schlüssel der Organisation. Dieser Schlüssel wird verschlüsselt gespeichert und nicht wieder angezeigt. Eine Anwendung meldet sich mit einem Gateway-Schlüssel an, der einmal angezeigt und nur als Hashwert gespeichert wird. Ein Gateway-Schlüssel gehört zu einem Upstream und kann eine Liste erlaubter Modelle, ein Monatsbudget, ein Budget je Endnutzer und eine Routing-Regel tragen. Eine Organisation kann den Endpunkt auch unter einen eigenen Hostnamen legen.

Was es festhält

Zu jeder Anfrage speichert das Gateway, von wem sie kam (Schlüssel, Tag, Nutzerbezug), das angefragte und das bedienende Modell, die Token für Eingabe, Ausgabe, Cache-Lesen und Cache-Schreiben, die aus der Modellpreisliste berechneten Kosten, die Komplexitätsklasse, die Art der Aufgabe, Antwortzeit und Status. Texte von Prompts und Antworten speichert es nicht, solange die Organisation keine Prompt-Stichproben einschaltet.

Wie das Routing entscheidet

  1. Das Gateway liest Merkmale aus der Anfrage, ohne ein Modell aufzurufen: Umfang der Eingabe, Zahl der Werkzeuge, Programmcode in der Anfrage, Formulierungen, die auf mehrstufiges Schlussfolgern oder auf eine einfache Aufgabe hindeuten, ob erweitertes Nachdenken angefordert wurde, die Länge des Gesprächs, Anhänge und die Begrenzung der Ausgabe.
  2. Ein Bewertungsverfahren macht daraus einen Punktwert und nennt seine Gründe. Zwei Schwellen der Regel teilen den Wert in einfach, normal oder komplex ein.
  3. Wo die Regel es verlangt, ordnet stattdessen ein kleines Modell auf demselben Upstream die Anfrage ein, und nur dann, wenn die Anfrage teuer genug ist, dass sich dieser Aufruf rechnet. Seine Kosten werden an der Anfrage festgehalten und von der Einsparung abgezogen.
  4. Die Regel nennt je Klasse ein Zielmodell: zuerst eine Alternative, die für das angefragte Modell hinterlegt ist, dann die Vorgabe für den Anbieter. Das Ziel wird nur verwendet, wenn es in der Preisliste steht, vom Upstream angeboten wird und günstiger ist als das angefragte Modell. Auf ein teureres Modell leitet das Gateway nie um.
  5. Lehnt der Anbieter die geänderte Anfrage ab, schickt das Gateway in der Voreinstellung genau das, was angefragt war.

Eine Regel läuft in einem von drei Modi. Aus leitet weiter und misst, ohne einzuordnen. Im Modus Beobachten bedient das angefragte Modell jede Anfrage, und das Gateway hält fest, welches Modell die Regel gewählt hätte und was dieselben Token dort gekostet hätten. Im Modus Durchsetzen bedient dieses Modell die Anfrage. Ein Antwort-Header nennt das Modell, das die Anfrage bedient hat. Das Vorgehen beschreibt der Artikel LLM-Modell-Routing.

Was es findet

BefundWie er berechnet wird
Routing würde sich rechnenAnfragen, die die Regel aus einem günstigeren Modell bedient hätte: ihre Kosten auf den angefragten Modellen minus dieselben Token auf den Zielmodellen
Wiederholte Prompt-AnfängeGroße, gleichbleibende Systemprompts und Werkzeugdefinitionen, die zum vollen Eingabepreis gesendet werden, neu bepreist zum Preis für Cache-Lesen, mit der angenommenen Trefferquote im Rechenweg
Identische AnfragenAnfragen, die eine frühere Anfrage Byte für Byte wiederholen, und was sie gekostet haben
HintergrundjobsArbeitslasten, deren Tag zeigt, dass kein Nutzer auf die Antwort wartet, neu bepreist zum Batch-Preis des Anbieters

Jeder Befund zeigt seinen Rechenweg und den Zeitraum des Verkehrs, auf dem er beruht.

Budgets und Grenzen

Eine Anfrage nach einem Modell außerhalb der Liste erlaubter Modelle eines Schlüssels wird abgelehnt. Haben die gemessenen Kosten des Monats das Budget des Schlüssels oder das eines Endnutzers erreicht, werden weitere Anfragen abgelehnt, bis der nächste Monat beginnt oder ein Administrator das Budget erhöht. Mehr dazu im Artikel KI-Budgets und Limits.

Vom Beobachten zum Durchsetzen

Eine Regel beginnt im Modus Beobachten. Der Routing-Befund hat einen Aktionsplan, dessen Schritt die Regeln von Beobachten auf Durchsetzen stellt. Der Schritt wird vorbereitet, angezeigt und wirkt erst, nachdem ein Mensch ihn in der Liste der Entscheidungen freigegeben hat. Nichts im Produkt schaltet eine Routing-Regel von selbst um.

Was es braucht und was es misst

Das Gateway setzt kein anderes Modul voraus. Es braucht einen Upstream mit dem eigenen Schlüssel der Organisation und Preise für die genutzten Modelle. Der Kontext-Optimierer, die Prompt-Analyse und der KI-Arbeitsplatz bauen darauf auf. Gemessen wird die Preisdifferenz zwischen angefragtem und bedienendem Modell bei gerouteten Anfragen, abzüglich der Kosten der Einordnung durch ein Modell.

Zum Weiterlesen

Fragen und Antworten

Müssen Anwendungen für das Gateway umgeschrieben werden?

Nein. Eine Anwendung behält ihr SDK von Anthropic oder OpenAI und ändert zwei Einstellungen, die Basis-URL und den API-Schlüssel. Zwei optionale Header ergänzen ein Tag für die aufrufende Funktion und den Endnutzer, für den die Anfrage läuft. Darauf beruhen die Kostenzuordnung und die Budgets je Nutzer.

Verändert das Gateway Anfragen oder Antworten?

Im Beobachtungsmodus wird eine Anfrage so weitergeleitet, wie sie kam, abgesehen von der Bitte an den Anbieter, bei einem Stream den Tokenverbrauch mitzuliefern. Im Modus „Durchsetzen“ ersetzt das Gateway den Modellnamen bei Anfragen, die die Regel an ein günstigeres Modell schickt. Das Gespräch des Aufrufers ändert es nie, und Antworten laufen Byte für Byte zurück. Ein Aufrufer kann eine einzelne Anfrage per Header ausnehmen, eine Regel kann Tags ausnehmen.

Speichert das Gateway Prompts und Antworten?

Nein. Gespeichert werden Tokenmengen, Merkmale der Anfrage, Hashwerte, die Art der Aufgabe und der Nutzerbezug. Texte von Prompts und Antworten werden nicht gespeichert, es sei denn, die Organisation schaltet Prompt-Stichproben ein. Dann wird der Anfang des Systemprompts jeder Anfrage aufbewahrt.

An welche Anbieter kann es weiterleiten?

An jeden Endpunkt, der das Format Anthropic Messages oder die OpenAI-Formate über öffentliches HTTPS spricht, aufgerufen mit dem eigenen API-Schlüssel der Organisation. Das umfasst die Anbieter selbst und kompatible Endpunkte anderer Hersteller. Damit ein Modell bepreist und geroutet wird, muss es in der Modellpreisliste stehen.

Was passiert, wenn ein Budget aufgebraucht ist?

Das Gateway lehnt weitere Anfragen für diesen Schlüssel oder diesen Endnutzer ab, mit einer Fehlermeldung, die den Grund nennt. Das Budget zählt die gemessenen Kosten des Kalendermonats und beginnt am Ersten des Folgemonats neu, oder ein Administrator erhöht es.