Module

KI-Kosten-Audit: Modellkosten nach Anbieter, Modell und Projekt

Aktualisiert Markdown
Kurz gesagt

Das KI-Kosten-Audit von Cureman zeigt, was eine Organisation an Modellanbieter zahlt und wohin das Geld fließt. Es liest die Nutzungsberichte der Anbieter über Konnektoren, die nur lesen, bepreist jedes Token mit einer Modellpreisliste, deren Zeilen sagen, ob ein Mensch sie geprüft hat, und gliedert die Kosten nach Anbieter, Modell, Projekt und Tag. Für jedes Modell rechnet es außerdem aus, was dieselben Token auf einem günstigeren Modell desselben Anbieters kosten würden, als reine Rechnung und ohne Aussage über die Qualität.

Die Rechnung eines Modellanbieters ist eine Summe pro Monat. Das Audit zerlegt diese Summe bis auf das Token: welches Modell, welches Projekt, welcher Tag, und was dieselben Token auf einem anderen Modell desselben Anbieters gekostet hätten.

Was es liest

Das Modul liest die Nutzungsberichte, die Modellanbieter über ihre Admin-Schnittstellen bereitstellen, mit Konnektoren für Anthropic und OpenAI. Ein Bericht nennt je Tag und Modell die Token für Eingabe, Ausgabe, Cache-Lesen und Cache-Schreiben und die Zahl der Anfragen, dazu das Projekt oder den Workspace, den der Anbieter erfasst hat, und ob die Nutzung als Batch lief. Konnektoren lesen nur, und ein Konnektor-Manifest gilt als Beta, bis es gegen ein echtes Konto gelaufen ist.

Für einen Anbieter ohne verbundenen Bericht nutzt das Audit die Anfragen, die das KI-Gateway gemessen hat, sofern dieses Modul gebucht ist, gruppiert nach dem Tag, den der aufrufende Dienst mitgeschickt hat. Ein Anbieter wird nie aus beiden Quellen gezählt.

Die Modellpreisliste

Jeder Betrag auf diesen Seiten ist Arithmetik: Tokenmenge mal Preis je Million Token, getrennt für Eingabe, Ausgabe, Cache-Lesen und Cache-Schreiben. Die Preise stehen in einer Modellpreisliste, die im Produkt einsehbar ist, in US-Dollar, weil die Anbieter so abrechnen. Jede Zeile trägt einen Status. Ein Preis, der mit dem Produkt ausgeliefert oder durch Recherche entworfen wurde, gilt als ungeprüft, bis ein Mensch ihn mit der Liste des Anbieters abgeglichen hat, und ist überall als ungeprüft gekennzeichnet.

Enthält der Bericht des Anbieters eigene Kosten, werden diese als Ausgaben gezeigt, und die Seite sagt, wenn sie von Tokenmenge mal Listenpreis abweichen, etwa wegen eines Rabatts oder eines Batch-Preises. Ein Modell, das in der Liste fehlt, erscheint ohne Preis, und für dieses Modell wird nichts berechnet. Wie sich ein Tokenpreis zusammensetzt, erklärt der Artikel LLM-Token-Kosten erklärt.

Was es zeigt

AnsichtWelche Frage sie beantwortet
Kosten nach Anbieter und TagWie sich die Summe im gewählten Zeitraum entwickelt hat, verglichen mit dem Zeitraum davor, soweit Daten vorliegen
Kosten nach ModellWelche Modelle die Kosten tragen, mit Token, Anfragen und dem Status des verwendeten Preises
Gleiche Token, anderes ModellWas dieselben Tokenmengen zum Listenpreis eines günstigeren Modells desselben Anbieters kosten würden
Kosten nach ProjektZu welchem Projekt oder Workspace die Nutzung laut Anbieter gehört
Anteil der Cache-LesezugriffeWie viel der Eingabe aus dem Prompt-Cache des Anbieters bedient wurde

Der Vergleich mit einem anderen Modell ist eine Neubepreisung derselben Token, mit Listenpreisen auf beiden Seiten. Er sagt nichts darüber, ob das günstigere Modell die Arbeit leisten könnte.

Was es findet

Das Audit erzeugt zwei Arten von Befunden, und beide beziffern eine Frage, ohne sie zu beantworten.

  • Modellmix. Geht ein großer Teil der Kosten an die teuerste Modellklasse eines Anbieters, zeigt der Befund, was dieselben Token auf der nächstgünstigeren kosten würden. Diese Zahl ist eine Obergrenze: Sie wird mit ihrem Rechenweg gezeigt und nicht als identifizierte Einsparung gezählt, weil ein Bericht nicht sagt, welche Anfragen einfach waren.
  • Prompt-Caching. Tragen Anfragen viel Eingabe und wird fast nichts davon aus dem Cache gelesen, benennt der Befund das. Er nennt keinen Betrag, weil ein Bericht nicht zeigt, welche Prompts sich wiederholen.

Beide Befunde haben bewusst eine niedrige Sicherheit. Die Antwort zu messen ist Aufgabe des Gateways im Beobachtungsmodus, der jede Anfrage einordnet und nichts verändert.

Vom Befund zur Entscheidung

Jeder Befund hat einen Aktionsplan mit einem vorbereiteten Schritt: das Gateway-Modul zu buchen, damit sich der Verkehr beobachten lässt. Der Schritt wartet in der Liste der Entscheidungen, bis ein Mensch ihn freigibt. Das Audit selbst bucht nichts, schaltet nichts um und verschickt nichts.

Was es braucht und was es misst

Das Modul setzt kein anderes Modul voraus. Es braucht die Verbindung zum Nutzungsbericht mindestens eines Anbieters oder Verkehr über das Gateway. Für die monatliche Abrechnung misst es nichts.

Zum Weiterlesen

Fragen und Antworten

Braucht das Audit das Gateway?

Nein. Das Audit arbeitet mit den Nutzungsberichten, die ein Anbieter über seine Admin-Schnittstelle bereitstellt, und setzt kein anderes Modul voraus. Das Gateway ergänzt, was ein Bericht nicht zeigen kann, nämlich welche einzelnen Anfragen einfach waren, welche Prompts sich wiederholen und von wem sie kamen. Für einen Anbieter ohne verbundenen Bericht nutzt das Audit die Anfragen, die das Gateway gemessen hat.

Woher stammen die Modellpreise?

Aus einer Modellpreisliste im Produkt, in US-Dollar je Million Token, mit getrennten Preisen für Eingabe, Ausgabe, Cache-Lesen und Cache-Schreiben. Ein Preis, der mit dem Produkt ausgeliefert oder durch Recherche entworfen wurde, gilt als ungeprüft, bis ein Mensch ihn mit der Preisliste des Anbieters abgeglichen hat, und ist überall so gekennzeichnet.

Sagt das Audit, welches Modell eine Anwendung nutzen sollte?

Nein. Es bepreist dieselben Tokenmengen mit dem Listenpreis eines günstigeren Modells desselben Anbieters, und das ist Arithmetik. Ob ein günstigeres Modell die Arbeit leisten kann, lässt sich aus einem Nutzungsbericht nicht ablesen. Die Differenz wird deshalb als Obergrenze gezeigt und nicht als Einsparung gezählt.

Ändert der Konnektor etwas beim Anbieter?

Nein. Konnektoren lesen nur. Der Konnektor eines Anbieters liest den Nutzungsbericht, und es wird dort nichts geschrieben oder umgeschaltet. Ein Konnektor-Manifest gilt als Beta, bis es gegen ein echtes Konto gelaufen ist.