KI-Arbeitsplatz: Chat für Mitarbeitende, nach Token bezahlt
Der KI-Arbeitsplatz von Cureman ist ein Chat für Mitarbeitende unter dem eigenen Namen der Organisation. Eine Chat-Oberfläche, in der Voreinstellung Open WebUI, ist mit dem KI-Gateway verbunden, die Mitarbeitenden wählen aus den Modellen, die die Organisation erlaubt, und die Nutzung wird jeder Person zugeordnet. Die Organisation zahlt dem Modellanbieter die tatsächlich genutzten Token statt einer pauschalen Sitzlizenz für alle. Jeden Monat rechnet das Modul aus, wer den Arbeitsplatz genutzt hat, was eine Sitzlizenz für jede dieser Personen gekostet hätte und was ihre Token gekostet haben. Die Differenz ist die Einsparung.
Ein Chat-Sitz kostet jeden Monat dasselbe, ob sein Inhaber fünf Nachrichten schickt oder fünfhundert. Der KI-Arbeitsplatz gibt Mitarbeitenden eine Chat-Oberfläche, die über das eigene Gateway der Organisation läuft. Die Organisation zahlt dem Modellanbieter dann die tatsächlich genutzten Token und sieht je Person, was dabei zusammenkam.
Was er ist
Der Arbeitsplatz ist eine Chat-Oberfläche, die mit dem KI-Gateway verbunden ist. In der Voreinstellung ist das Open WebUI, für jede Organisation als eigene Anwendung betrieben. Ihre OpenAI-kompatible Verbindung zeigt auf das Gateway und nutzt einen Arbeitsplatz-Schlüssel. Jede andere Oberfläche, die das OpenAI-Chat-Format gegen eine Basis-URL und einen Schlüssel spricht, funktioniert genauso.
Die Oberfläche reicht mit jeder Anfrage den angemeldeten Nutzer weiter. Dadurch kann das Gateway die Nutzung einer Person zuordnen und ein Budget je Person anwenden. Der Anbieter berechnet die Token dem eigenen API-Schlüssel der Organisation, wie bei jedem anderen Verkehr über das Gateway.
Was die Organisation steuert
| Einstellung | Wirkung |
|---|---|
| Modelle | Die Modellliste des Arbeitsplatz-Schlüssels ist das, woraus Mitarbeitende in der Oberfläche wählen können |
| Budget je Person | Ein Monatsbudget je Nutzer am Schlüssel; ist es aufgebraucht, werden weitere Anfragen abgelehnt, bis der nächste Monat beginnt oder ein Administrator es erhöht |
| Routing | Routing-Regeln gelten wie für jeden anderen Gateway-Schlüssel, eine einfache Anfrage kann also aus einem günstigeren Modell bedient werden |
| Name und Adresse | Der Name, den Mitarbeitende sehen, und der Hostname, unter dem sie den Arbeitsplatz öffnen |
Wie weit sich das eigene Erscheinungsbild der Oberfläche ersetzen lässt, hängt von den Lizenzbedingungen dieser Oberfläche ab.
Was er zeigt
Für den laufenden Kalendermonat führt die Seite des Arbeitsplatzes die Personen auf, die ihn genutzt haben, mit Anfragen, Token und Anbieterkosten je Person, und dasselbe je Modell, einschließlich der Zahl der Anfragen, die eine Routing-Regel aus einem anderen Modell bedient hat. Namen erscheinen nur für Rollen mit der Berechtigung, Personen einzusehen.
Der Vergleich mit Sitzlizenzen
- Jede Person, die im Monat mindestens eine vereinbarte Zahl von Anfragen gestellt hat, zählt als ein Sitz, der nicht gebraucht wurde.
- Diese Zahl von Personen mal dem vereinbarten Sitzpreis ergibt, was die Sitze gekostet hätten, im laufenden Monat anteilig.
- Davon werden die Anbieterkosten aller Token des Arbeitsplatzes abgezogen, einschließlich der Aufrufe für Einordnung und Auswahl.
- Die Differenz ist die Einsparung. In einem Monat, in dem die Token mehr kosten, als die Sitze gekostet hätten, gibt es keine Einsparung, und es wird keine gezählt.
Der Sitzpreis wird nicht gemessen. Er ist die Lizenz, die in den Konditionen des Moduls als Vergleich vereinbart ist, also das, was die Organisation für einen Chat-Sitz zahlt oder zahlen würde. Jeder Schritt steht mit seiner Formel auf der Seite des Arbeitsplatzes. Wie sich die Schwelle für eine einzelne Person ausrechnen lässt, beschreibt der Artikel KI-Chat: Sitzlizenz oder Abrechnung nach Token.
Von der Sitzlizenz zum Arbeitsplatz wechseln
Ob der Arbeitsplatz für jemanden reicht, der heute einen Chat-Sitz hält, beantwortet die Lizenzoptimierung, sofern dieses Modul gebucht ist. Das Playbook eines Chat-Dienstes vergleicht die gemessene Nutzung jedes Inhabers mit dem, was dieselbe Nutzung nach Token kosten würde. Wo die Daten nicht entscheiden können, fragt eine Kampagne die Inhaber, ob der Arbeitsplatz abdecken würde, was sie tun.
Diese Kampagne wird entworfen und geht erst raus, nachdem ein Mensch sie freigegeben hat, und wer auf der Nicht-kontaktieren-Liste der Organisation steht, wird nicht gefragt. Wer sagt, dass der Arbeitsplatz reicht, bekommt Zugang, und das Entfernen des Sitzes ist ein Schritt eines Aktionsplans, den ein Mensch freigibt. Alle anderen behalten ihren Sitz.
Was er braucht und was er misst
Der KI-Arbeitsplatz setzt das KI-Gateway voraus, mit einem Upstream im OpenAI-Format, weil Chat-Oberflächen dieses Format sprechen. Die Prompt-Analyse ist optional und ergänzt den Aufgabenmix je Person.
Gemessen werden die Personen, die den Arbeitsplatz im Monat genutzt haben, was eine Sitzlizenz für jede von ihnen gekostet hätte, und die Anbieterkosten ihrer Token.
Zum Weiterlesen
Fragen und Antworten
Welche Chat-Oberfläche nutzt der Arbeitsplatz?
- In der Voreinstellung Open WebUI, für jede Organisation als eigene Anwendung betrieben und mit einem Arbeitsplatz-Schlüssel auf das Gateway gerichtet. Jede Chat-Oberfläche, die das OpenAI-Chat-Format gegen eine Basis-URL und einen Schlüssel spricht, funktioniert genauso, weil das Gateway misst und die Grenzen durchsetzt.
Wer bezahlt die Token?
- Die Organisation zahlt direkt an ihren Modellanbieter, denn das Gateway leitet jede Anfrage mit dem eigenen API-Schlüssel der Organisation weiter. Das Gateway misst jede Anfrage, berechnet ihre Kosten aus der Modellpreisliste und ordnet sie der Person zu, die sie gestellt hat.
Worauf beruht der Vergleich mit Sitzlizenzen?
- Auf drei Dingen. Der Sitzpreis ist ein in den Konditionen des Moduls vereinbarter Betrag, die Lizenz, die die Organisation je Chat-Nutzer zahlt oder zahlen würde, und keine Messung. Die Nutzer werden aus den Anfragen am Gateway gezählt, jede Person ab einer vereinbarten Zahl von Anfragen im Monat. Die Tokenkosten werden gemessen. Dieselben Anfragen ergeben immer dasselbe Ergebnis.
Lässt sich die Nutzung je Person begrenzen?
- Ja. Ein Arbeitsplatz-Schlüssel kann ein Monatsbudget je Person und eine Liste erlaubter Modelle tragen. Ist das Budget einer Person für den Monat aufgebraucht, werden weitere Anfragen abgelehnt, bis der nächste Monat beginnt oder ein Administrator das Budget erhöht. Die Oberfläche bietet nur die Modelle an, die auf der Liste des Schlüssels stehen.
Speichert das Gateway die Chats?
- Nein. Das Gateway speichert zu jeder Anfrage Tokenmengen, Kosten, den Aufgabentyp und den Nutzerbezug, und keine Texte von Prompts oder Antworten, solange die Organisation keine Prompt-Stichproben einschaltet. Den Chatverlauf hält die Chat-Oberfläche, die die Organisation selbst betreibt.