KI-Kosten

LLM-Modell-Routing: einfache Anfragen günstiger bedienen

Aktualisiert 6 Min. LesezeitMarkdown
Kurz gesagt

Modell-Routing bedient eine Anfrage mit einem günstigeren Modell als dem, das die Anwendung verlangt hat, wenn die Anfrage einfach genug ist. Ein Router stuft jede Anfrage ein, nach Regeln über ablesbare Merkmale oder mit einem kleinen Modell, und eine Richtlinie ordnet jeder Klasse ein Zielmodell zu. Die Preisdifferenz ist eine Rechnung. Man bepreist die Token jeder gerouteten Anfrage mit dem angefragten und mit dem bedienenden Modell, bildet die Differenz und zieht die Kosten der Einstufung ab. Diese Zahl misst Kosten und sagt nichts über die Qualität der Antworten. Deshalb wird Routing zuerst nur beobachtet und dann für eine Arbeitslast nach der anderen eingeschaltet.

Modell-Routing bedient eine Anfrage mit einem günstigeren Modell als dem, das die Anwendung verlangt hat, wenn die Anfrage dafür einfach genug ist. Es besteht aus drei Teilen: einer Einstufung jeder Anfrage, einer Richtlinie, die Klassen auf Modelle abbildet, und einer Messung, die dieselben Token mit beiden Modellen bepreist.

Was Modell-Routing verändert

Eine Anwendung nennt in jeder Anfrage ein Modell. Die meisten Anwendungen nennen ein Modell für alles, gewählt für den schwierigsten Fall. So beantwortet dasselbe Modell die Bitte, eine von fünf Kategorien auszuwählen, und den Auftrag, eine Codebasis umzubauen. Ein Router sitzt im Weg der Anfrage, zum Beispiel in einem LLM-Gateway, und ersetzt den Modellnamen dort, wo seine Richtlinie es vorsieht. Alles andere an der Anfrage bleibt, wie es geschrieben wurde.

Routing aus Kostengründen geht nur nach unten: zu einem Modell, das günstiger ist als das angefragte. Weil Input und Output getrennt bepreist werden, braucht „günstiger“ eine Definition, etwa einen Mischpreis, der Input und Output in einem festen Verhältnis gewichtet. Die Grundlagen stehen im Artikel LLM-Token-Kosten erklärt.

Eine Anfrage einstufen

Es gibt zwei Wege zu beurteilen, wie anspruchsvoll eine Anfrage ist, und sie lassen sich verbinden.

Regeln über Merkmale. Ein Bewerter liest Merkmale an der Anfrage ab, ohne ein Modell aufzurufen, und addiert sie zu einer Punktzahl.

Merkmal der AnfrageWirkung auf die Punktzahl
Großer InputErhöht sie
Werkzeuge, die dem Modell angeboten werdenErhöht sie, je Werkzeug
Code in der letzten NachrichtErhöht sie
Stichwörter wie „root cause“, „trade-offs“, „step by step“Erhöhen sie
Stichwörter wie „classify“, „extract“, „translate“, „yes or no“Senken sie
Vom Aufrufer angefordertes erweitertes NachdenkenErhöht sie
Langes Gespräch, angehängte Bilder oder DokumenteErhöhen sie
Hohe Obergrenze für die AntwortlängeErhöht sie
Sehr niedrige Obergrenze, kleine Aufgabe mit strukturierter AusgabeSenken sie

Regeln kosten weder Zeit noch Geld, und jede Entscheidung lässt sich mit ihren Gründen zeigen. Ihre Schwäche sind Formulierungen, für die es keine Regel gibt. Stichwortregeln sind meist auf Englisch geschrieben und erkennen deutsche Prompts dann nur an den übrigen Merkmalen. Prüfen Sie das an eigenen Anfragen.

Ein kleines Modell als Klassifikator. Die letzte Nachricht, ein Auszug des Systemprompts und einige Angaben zur Anfrage gehen an ein kleines, schnelles Modell, das eine der Klassen zurückgibt. Es liest Bedeutung, wo Regeln Stichwörter lesen. Es kostet einige hundert Token und einen Hin- und Rückweg und sollte deshalb nur laufen, wo es sich rechnen kann: wenn es für das angefragte Modell ein günstigeres Ziel gibt und wenn die Anfrage so teuer ist, dass die Einstufung daran nur einen kleinen Teil ausmacht. Der Klassifikator muss die Anfrage als Daten behandeln und darf Anweisungen darin nicht folgen. Im Zweifel wählt er die höhere Klasse. Und wenn er langsam ist oder etwas Unerwartetes antwortet, gilt das Ergebnis der Regeln.

Schwellen und Richtlinie

Zwei Schwellen teilen die Punktzahl in drei Klassen: einfach unter der unteren, komplex über der oberen, Standard dazwischen. Die Richtlinie legt dann fest, wohin jede Klasse geht.

  1. Nennen Sie ein Zielmodell für die Klassen, die wechseln dürfen, je Anbieter und bei Bedarf je angefragtem Modell.
  2. Lassen Sie die Klasse „komplex“ auf dem angefragten Modell.
  3. Lassen Sie ein Ziel nur zu, wenn es in der Preisliste steht, vom selben Anbieter stammt, vom Upstream angeboten wird und günstiger ist als das angefragte Modell.
  4. Führen Sie die Tags auf, die nie geroutet werden, und lassen Sie Aufrufer einzelne Anfragen ausnehmen.
  5. Behalten Sie einen Rückweg: Lehnt der Upstream die geroutete Anfrage ab, wird die ursprüngliche gesendet.

Die Schwellen sind die Stellschraube. Eine niedrigere Schwelle für „einfach“ bewegt weniger Anfragen und geht weniger Risiko ein, eine höhere bewegt mehr.

Erst beobachten, dann durchsetzen

Ein Router sollte einen Modus haben, in dem er jede Anfrage einstuft, festhält, welches Modell die Richtlinie gewählt hätte und was dieselben Token dort gekostet hätten, und die Anfrage trotzdem mit dem Modell bedient, das die Anwendung verlangt hat. Für die Anwendung ändert sich nichts, und nach ein bis zwei Wochen haben Sie Zahlen aus dem eigenen Verkehr: wie viele Anfragen in jede Klasse fallen, bei welchen Arbeitslasten, und wie groß die Preisdifferenz gewesen wäre. Das ist die Entscheidungsgrundlage, auch gegenüber Fachbereich und Controlling.

Die Preisdifferenz berechnen

Für jede geroutete Anfrage:

Differenz = Kosten ihrer Token auf dem angefragten Modell
          − Kosten ihrer Token auf dem bedienenden Modell
Netto     = Summe der Differenzen − Kosten aller Klassifikator-Aufrufe

Ein Rechenbeispiel mit erfundenen Preisen. Das angefragte Modell kostet 4,00 je Million Input-Token und 20,00 je Million Output-Token, das Zielmodell 0,50 und 2,50. In einer Woche werden 10.000 Anfragen als einfach eingestuft, zusammen mit 30 Millionen Input-Token und 4 Millionen Output-Token. 2.000 davon hat ein kleines Modell eingestuft, mit etwa 900 Input- und 30 Output-Token je Aufruf.

PostenRechnungBetrag
Token auf dem angefragten Modell30 × 4,00 + 4 × 20,00200,00
Token auf dem Zielmodell30 × 0,50 + 4 × 2,5025,00
Differenz200,00 − 25,00175,00
Klassifikator-Aufrufe1,8 × 0,50 + 0,06 × 2,501,05
Netto in der Woche175,00 − 1,05173,95

Ein kleineres Modell schreibt womöglich eine etwas längere oder kürzere Antwort, als das größere es getan hätte. Die Differenz ist also exakt für die Kosten, die angefallen sind, und eine Näherung für die Kosten, die vermieden wurden.

Was die Zahl nicht zeigt

Die Preisdifferenz misst Kosten. Ob die Antworten gleich gut waren, misst sie nicht. Das muss getrennt geprüft werden:

  • Schalten Sie Routing für einen Tag oder eine Arbeitslast nach der anderen ein und beginnen Sie dort, wo eine schwächere Antwort wenig schadet.
  • Nehmen Sie eine Stichprobe echter Anfragen, lassen Sie sie auf beiden Modellen laufen und die Verantwortlichen der Funktion die Antworten vergleichen.
  • Beobachten Sie, was die Funktion ohnehin misst: Fehlerquoten, Wiederholungen, Korrekturen durch Nutzer, gescheiterte Prüfungen strukturierter Ausgaben.
  • Nehmen Sie Arbeitslasten aus, bei denen ein Fehler teuer ist.

Was schiefgeht

  • Durchsetzen ohne zu beobachten. Die ersten Zahlen stammen dann aus Antworten im Produktivbetrieb.
  • Die Bruttodifferenz zählen. Klassifikator-Aufrufe sind Kosten des Routings und gehören in die Rechnung.
  • Quer durch einen Prompt-Cache routen. Caches werden je Modell geführt. Ein Gespräch, dessen Runden zwischen zwei Modellen wechseln, zahlt dafür, beide zu füllen. Siehe Prompt-Caching und Kontext.
  • Gleiches Verhalten annehmen. Ein kleineres Modell unterstützt womöglich einen Parameter, eine Werkzeugfunktion oder dieselbe Kontextgröße nicht. Ohne Rückweg scheitert die Anfrage.

Wie Cureman das macht

Im Gateway von Cureman stuft ein regelbasierter Bewerter jede Anfrage nach den oben genannten Merkmalen ein und hält die Punktzahl mit ihren Gründen fest. Eine Richtlinie kann ein kleines Modell am selben Upstream als Klassifikator hinzunehmen. Es wird nur aufgerufen, wenn es ein günstigeres Ziel gibt und die Anfrage voraussichtlich ein Mehrfaches der Einstufung kostet, und seine Kosten werden an der Anfrage festgehalten und abgezogen. Das Modell vergibt nur die Klasse, jeden Betrag berechnet deterministischer Code. Die Richtlinie enthält die Schwellen, die Ziele je Anbieter und je angefragtem Modell, die ausgenommenen Tags und den Rückweg, und sie routet nur zu einem bepreisten, günstigeren Modell desselben Anbieters, das der Upstream anbietet. Im beobachtenden Modus werden das empfohlene Modell und die Kosten derselben Token darauf festgehalten, geändert wird nichts. Der daraus entstehende Befund zeigt seinen Rechenweg und weist aus, dass Qualität nicht gemessen wird. Sein Maßnahmenplan schaltet die Richtlinie erst auf Durchsetzen, nachdem ein Mensch das freigegeben hat. Das Modul ist auf der Seite zum KI-Gateway beschrieben.

Fragen und Antworten

Was ist LLM-Modell-Routing?

Eine Anfrage wird von einem anderen Modell bedient als dem, das die Anwendung genannt hat, und die Wahl richtet sich danach, wie anspruchsvoll die Anfrage ist. Geht es um Kosten, heißt das, einfache Anfragen wie Klassifikation, Extraktion oder kurze Umformulierungen an ein kleineres, günstigeres Modell desselben Anbieters zu geben und anspruchsvolle dort zu lassen, wo sie sind.

Woran erkennt ein Router, dass eine Anfrage einfach ist?

Entweder an Regeln oder mit einem Modell. Regeln berechnen eine Punktzahl aus Merkmalen der Anfrage, etwa ihrer Größe, der Zahl der Werkzeuge, Code im Prompt, Formulierungen, die auf Schlussfolgern hindeuten, und der Obergrenze für die Antwort. Ein Modell als Klassifikator schickt die letzte Nachricht an ein kleines Modell, das eine Klasse zurückgibt. Regeln kosten nichts und lassen sich Zeile für Zeile erklären. Ein Modell liest Formulierungen besser und kostet Token und einen Hin- und Rückweg.

Wie misst man die Einsparung durch Modell-Routing?

Je Anfrage und aus gemessenen Token. Die Token jeder gerouteten Anfrage werden mit dem angefragten und mit dem bedienenden Modell bepreist, die Differenz wird gebildet, und davon gehen die Kosten der Klassifikator-Aufrufe ab. Bevor Routing eingeschaltet ist, zeigt dieselbe Rechnung auf beobachteten Anfragen, was es gespart hätte.

Verschlechtert Modell-Routing die Antworten?

Das kann passieren, und die Kostenzahl zeigt es nicht. Ein kleineres Modell beantwortet eine Anfrage womöglich schlechter, und ein Klassifikator kann eine anspruchsvolle Anfrage für einfach halten. Dagegen hilft, erst zu beobachten und dann durchzusetzen, Routing für eine Arbeitslast nach der anderen einzuschalten, Antworten an einer Stichprobe eigener Anfragen zu vergleichen und Arbeitslasten auszunehmen, bei denen ein Fehler teuer ist.

Lässt sich eine einzelne Anfrage oder Arbeitslast vom Routing ausnehmen?

Das sollte jeder Router können. Üblich sind eine Liste von Tags, die nie geroutet werden, ein Header, mit dem ein Aufrufer eine Anfrage ausnimmt, und Modelle, für die die Richtlinie kein günstigeres Ziel kennt. Ausgenommene Anfragen werden weiterhin gemessen.