KI-Kosten

KI-Kosten Teams, Projekten und Personen zuordnen

Aktualisiert 5 Min. LesezeitMarkdown
Kurz gesagt

Die Rechnung eines Modellanbieters zeigt einen Betrag je Modell, bestenfalls je API-Schlüssel oder Projekt. Wer wissen will, welches Team, welche Funktion oder welche Person ihn verursacht hat, muss jeder Anfrage beim Absenden drei Kennzeichen mitgeben. Der Schlüssel sagt, welche Anwendung sie gesendet hat, ein Tag, welche Funktion oder welcher Job, und eine Nutzerkennung, für wen sie war. Die Kosten werden je Anfrage aus den Token und dem Preis des Modells berechnet, das geantwortet hat, nach Kennzeichen summiert und mit dem Nutzungsbericht des Anbieters abgeglichen. Was kein Kennzeichen trägt, steht als nicht zugeordnet da und wird nicht umgelegt.

Die Rechnung eines Modellanbieters zeigt einen Betrag je Modell, bestenfalls je API-Schlüssel oder Projekt. Wer wissen will, welches Team, welche Funktion oder welche Person ihn verursacht hat, muss jeder Anfrage im Moment des Absendens drei Kennzeichen mitgeben: den Schlüssel, mit dem sie gesendet wurde, ein Tag für die Funktion oder den Job und den Nutzer, für den sie war. Die Kosten werden dann je Anfrage aus ihren Token berechnet und nach jedem der drei summiert. Was kein Kennzeichen trägt, steht als nicht zugeordnet da und wird nicht umgelegt.

Was der Bericht des Anbieters sagt und was nicht

Nutzungsberichte gliedern die Ausgaben nach Tag und Modell, oft auch nach API-Schlüssel, Projekt oder Workspace. Das ergibt Anwendungen, sofern jede ihren eigenen Schlüssel hat. Es ergibt weder die Funktionen innerhalb einer Anwendung noch die Personen hinter einem gemeinsamen Schlüssel. Eine Chat-Anwendung mit 300 Nutzern an einem Schlüssel ist eine Zeile. Wie man diese Berichte liest, steht im Artikel KI-Kosten prüfen.

Drei Kennzeichen an jeder Anfrage

KennzeichenWelche Frage es beantwortetWer es setztBeispiel
SchlüsselWelche Anwendung, in welcher Umgebung?Die Stelle, die Schlüssel ausgibtSupport-Assistent, Produktion
TagWelche Funktion oder welcher Job in der Anwendung?Die Anwendung, mit jeder Anfrageticket-zusammenfassung, nachtlauf-klassifikation
NutzerFür welche Person war die Anfrage?Die Anwendung oder die Chat-Oberfläche, aus der AnmeldungEine E-Mail-Adresse oder eine stabile interne Kennung

Jedes Kennzeichen bleibt mit einer Regel brauchbar:

  • Schlüssel. Einer je aufrufendem Dienst und Umgebung, nie von zwei Anwendungen geteilt.
  • Tag. Aus einer kurzen, abgestimmten Liste, in Kleinbuchstaben. Freitext macht aus einer Funktion drei Zeilen.
  • Nutzer. Eine Kennung, die Ihr Verzeichnisdienst einer Abteilung und damit einer Kostenstelle zuordnen kann, immer gleich geschrieben.

Wo die Kennzeichen erfasst werden

  1. Beim Anbieter. Ein Projekt oder Schlüssel je Anwendung. Das kostet nichts und endet bei der Anwendung.
  2. In jeder Anwendung. Der Nutzungsblock jeder Antwort wird mit eigenen Kennzeichen protokolliert. Das ist fein gegliedert, aber jedes Team baut es neu und rechnet Preise auf seine Weise ein.
  3. In einem Gateway vor allen Anbietern. Jede Anfrage läuft über eine Stelle, die die Kennzeichen aus Headern oder Feldern der Anfrage liest, die Token festhält und sie aus einer Preisliste bepreist. Siehe Was ist ein LLM-Gateway.

Die großen Schnittstellen haben außerdem im Anfragekörper ein Feld für eine Endnutzerkennung. Füllt eine Anwendung es bereits, kann ein Gateway es lesen, und am Code muss sich nichts ändern.

Von Token zum Betrag je Kennzeichen

  1. Halten Sie zu jeder Anfrage vier Token-Zahlen fest: Eingabe ohne Cache, Ausgabe, Cache-Lesen und Cache-Schreiben. Halten Sie das Modell fest, das geantwortet hat. Es kann vom angefragten abweichen, wenn Anfragen umgeleitet werden.
  2. Bepreisen Sie jede Zahl mit dem Preis dieses Modells je Million Token und addieren Sie. Die Formel erklärt der Artikel LLM-Token-Kosten erklärt.
  3. Summieren Sie nach Schlüssel, Tag, Nutzer und Monat.
  4. Ordnen Sie die Kennzeichen Kostenstellen zu: einen Schlüssel dem Team, das die Anwendung verantwortet, ein Tag dem Verantwortlichen der Funktion, einen Nutzer der Abteilung aus dem Verzeichnis.
  5. Gleichen Sie ab. Vergleichen Sie die Summe aller erfassten Anfragen mit dem Nutzungsbericht des Anbieters für denselben Zeitraum.

Ein Rechenbeispiel mit erfundenen Beträgen

Der Anbieter meldet für einen Monat 10.000,00. Die erfassten Anfragen ergeben:

ZeileBetragWer ihn trägt
Schlüssel „Support-Assistent“4.200,00Kundenservice, über Tags nach Funktionen geteilt
Schlüssel „Mitarbeiter-Chat“3.100,00Die Abteilungen der Nutzer
Schlüssel „Datenstrecke“1.900,00Das Datenteam, über Tags nach Jobs geteilt
Erfasst9.200,00
Nutzungsbericht des Anbieters10.000,00
Differenz800,00Noch niemand

Die 800,00 sind ein Befund und kein Rundungsfehler. Jemand ruft den Anbieter mit einem Schlüssel auf, der an der Erfassung vorbeigeht, oder ein Modell ist falsch bepreist. Führen Sie den Betrag als eigene Zeile, bis die Quelle gefunden ist.

Erst zeigen, dann verrechnen

Zeigen Sie den Teams ihre Werte einige Monate lang, bevor eine interne Verrechnung daran hängt. In dieser Zeit fallen fehlende Tags auf, gemeinsame Schlüssel werden getrennt und die Zuordnung zum Verzeichnis wird berichtigt. Eine Umlage auf Kennzeichen, die niemand geprüft hat, löst einen Streit über die Kennzeichen aus und keinen über die Ausgaben. Stimmen die Werte, tragen dieselben Kennzeichen auch eine Grenze, siehe KI-Budgets und Limits.

Werte je Person sind personenbezogene Daten

Die Nutzung je Person zeigt, wie viel und für welche Art von Arbeit jemand ein Werkzeug einsetzt. Begrenzen Sie, wer das sehen darf, legen Sie eine Aufbewahrungsdauer fest und speichern Sie für die Zuordnung keinen Prompt-Text, denn die Token-Zahlen genügen. Die Einführung technischer Einrichtungen, die dazu bestimmt sind, Verhalten oder Leistung der Arbeitnehmer zu überwachen, unterliegt nach § 87 Abs. 1 Nr. 6 BetrVG der Mitbestimmung des Betriebsrats. Binden Sie den Betriebsrat ein, bevor Auswertungen je Person eingeschaltet werden, und regeln Sie Zweck und Einsicht am besten in einer Betriebsvereinbarung. Dies ist keine Rechtsberatung.

Was schiefgeht

  • Ein Schlüssel für alles. Ohne getrennte Schlüssel lässt sich der Bericht des Anbieters gegen nichts prüfen.
  • Das angefragte Modell bepreisen. Hat ein günstigeres Modell geantwortet, hat die Anfrage gekostet, was dieses Modell kostet.
  • Cache-Token als Eingabe bepreisen. Cache-Lesen wird unter dem Eingabepreis berechnet. Das Team mit dem besten Caching wird sonst zu hoch belastet.
  • Doppelt zählen. Der Bericht des Anbieters und die eigene Erfassung beschreiben denselben Verkehr. Das eine ist die Summe, das andere die Gliederung.
  • Kennungen, die niemand zuordnen kann. Eine gehashte Sitzungskennung ordnet Kosten einer Zeichenfolge zu und keiner Abteilung.

Wie Cureman das macht

Das Gateway von Cureman hält zu jeder Anfrage den Schlüssel, das Tag, den Nutzer, das angefragte und das antwortende Modell, die vier Token-Zahlen und die aus der Modellpreisliste berechneten Kosten fest. Das Tag kommt im Header x-gateway-tag. Der Nutzer kommt im Header x-gateway-user, andernfalls vom angemeldeten Nutzer, den die Chat-Oberfläche des Arbeitsplatzes weitergibt, andernfalls aus dem Endnutzerfeld des Anfragekörpers. Ein Modell, das noch keinen Preis in der Liste hat, wird mit null erfasst, Preise werden also zuerst eingetragen.

Die Prompt-Analyse ergänzt zu jeder Anfrage eine Aufgabenart: Programmieren, Extraktion, Zusammenfassung, Übersetzung, Schreiben, Analyse, Chat oder Sonstiges. Ein regelbasierter Klassifikator setzt sie, oder ein kleines Modell, wo die Routing-Richtlinie eines verwendet. Die Seite zeigt Aufgabenmix und Kosten je Tag und je Person und dazu, wie viele Anfragen überhaupt einen Nutzer tragen. Sie entsteht aus den Metadaten der Anfragen. Prompt-Text wird nicht gespeichert, solange die Organisation Prompt-Stichproben nicht einschaltet. Werte je Person sehen nur Rollen, die Personen einsehen dürfen, Beträge nur Rollen, die Ausgaben einsehen dürfen.

Für die Gesamtsumme ist ein angebundener Nutzungsbericht des Anbieters die Quelle. Die Erfassung des Gateways füllt nur bei Anbietern ohne solchen Bericht auf, derselbe Verkehr wird also nicht doppelt gezählt. Wo die Zahlen es tragen, empfiehlt ein Befund mit Rechenweg ein anderes Werkzeug, zum Beispiel einen Sitz für jemanden, dessen Token-Kosten bei bestimmten Aufgaben deutlich über dem Preis des Sitzes liegen. Das Modul ist auf der Seite zur Prompt-Analyse beschrieben.

Fragen und Antworten

Wie ordne ich LLM-API-Kosten Teams zu?

Geben Sie jeder aufrufenden Anwendung einen eigenen Schlüssel, lassen Sie die Anwendungen ein Tag für Funktion oder Job und eine Kennung für den Endnutzer mitsenden und halten Sie die Token jeder Anfrage zusammen mit diesen Kennzeichen fest. Bepreisen Sie jede Anfrage mit dem Modell, das geantwortet hat, und summieren Sie nach Kennzeichen. Danach ordnen Sie Schlüssel und Tags den verantwortlichen Teams zu und Nutzer ihren Abteilungen.

Was unterscheidet Schlüssel, Tag und Nutzer bei der Kostenzuordnung?

Der Schlüssel bezeichnet Anwendung und Umgebung, aus der eine Anfrage kommt, und wird von der Stelle vergeben, die Schlüssel ausgibt. Das Tag benennt die Funktion oder den Job innerhalb der Anwendung und wird von ihr mit jeder Anfrage gesendet. Der Nutzer ist die Person, für die die Anfrage gestellt wurde. Eine gemeinsam genutzte Chat-Anwendung braucht den Nutzer, eine Batch-Strecke das Tag, und beide brauchen einen eigenen Schlüssel.

Was geschieht mit KI-Kosten, die sich nicht zuordnen lassen?

Weisen Sie sie als eigene Zeile aus. Die Differenz zwischen dem, was erfasst wurde, und dem, was der Anbieter meldet, deutet auf einen direkt genutzten Schlüssel oder einen fehlenden Preis. Wer den Betrag nach Köpfen auf die Teams umlegt, verdeckt den Befund und belastet Leute mit Verkehr, den sie nicht verursacht haben.

Braucht die Kostenzuordnung den Text der Prompts?

Nein. Die Kosten einer Anfrage ergeben sich aus ihren Token, dem Modell und der Preisliste, und die Kennzeichen sagen, wem sie gehört. Prompt-Text zu speichern wirft eine Datenschutzfrage auf und trägt zur Zuordnung nichts bei. Lassen Sie es abgeschaltet, solange es keinen anderen Grund dafür gibt.

Wie ordnet Cureman KI-Kosten zu?

Das Gateway hält zu jeder Anfrage Schlüssel, Tag, Nutzer, das antwortende Modell, die Token und die berechneten Kosten fest. Tag und Nutzer kommen als Header der Anfrage, der Nutzer auch aus dem Anfragekörper oder von der Chat-Oberfläche, die den angemeldeten Nutzer weitergibt. Die Prompt-Analyse ergänzt eine Aufgabenart und zeigt Kosten je Tag und je Person, wobei Werte je Person nur Rollen sehen, die Personen einsehen dürfen.