KI-Gateway
KI-Kosten im Griff behalten: Budgets, Limits und die Fehler, die teuer werden
KI-Kosten fallen selten durch Missbrauch an, sondern durch Gewohnheit: zu große Kontexte, zu teure Modelle, eine Automatisierung in der Schleife. Dieser Beitrag zeigt, wo das Geld hingeht und welche Grenzen im Ernstfall tatsächlich stoppen.
Von Christoph Weiß · Veröffentlicht · 3 Min. Lesezeit
Wofür Sie eigentlich bezahlen
Cloud-Modelle rechnen nach Token ab, also nach Textbausteinen – und zwar für Eingabe und Ausgabe getrennt, meist zu unterschiedlichen Preisen. Daraus folgen drei Dinge, die im Alltag oft übersehen werden:
- Der Kontext wird jedes Mal neu bezahlt. Wer bei jeder Frage dasselbe 20-seitige Handbuch mitschickt, bezahlt es bei jeder Frage erneut.
- Lange Gespräche werden teurer. Viele Anwendungen hängen den bisherigen Verlauf an jede Anfrage an. Die zehnte Nachricht kostet damit ein Vielfaches der ersten.
- Das Modell entscheidet den Preis. Zwischen einem kleinen und einem großen Modell liegt oft ein zweistelliger Faktor – bei Aufgaben, die beide lösen können.
Wie Token und Kontextfenster zusammenhängen, erklären unsere FAQ-Antworten zu Token und zum Context-Window.
Die drei teuren Muster
| Muster | Was passiert | Gegenmittel |
|---|---|---|
| Die Schleife | Eine fehlerhafte Automatisierung ruft das Modell tausendfach auf, oft nachts | Harte Obergrenze pro Schlüssel und Organisation |
| Der Kontext-Rucksack | Bei jeder Anfrage werden vorsorglich alle Dokumente mitgeschickt | Gezielt suchen statt alles mitgeben (RAG), Kontext begrenzen |
| Das Prestigemodell | Alle nutzen das größte Modell, auch für Textbausteine und Zusammenfassungen | Modellfreigaben je Einsatzzweck, kleine Modelle für einfache Aufgaben |
Welche Grenzen wirklich greifen
„Kostenkontrolle“ steht auf vielen Produktseiten. Entscheidend ist, ob eine Grenze die Anfrage stoppt oder nur eine Nachricht verschickt. Vier Ebenen haben sich bewährt:
- Tokens pro Anfrage: Verhindert, dass eine einzelne Anfrage ein ganzes Archiv mitschickt.
- Anfragen pro Minute und parallele Anfragen je Schlüssel: Bremst Schleifen aus, bevor sie Fahrt aufnehmen.
- Budget je Organisation oder Abteilung, in Token oder Euro, mit harter Obergrenze: Das ist die Reißleine. Ohne sie ist alles andere Kosmetik.
- Modellfreigaben: Wer keinen Zugriff auf das teuerste Modell braucht, bekommt ihn nicht – das spart mehr als jede Optimierung am Prompt.
Kosten sichtbar machen, bevor man sie senkt
Die meisten Einsparungen entstehen nicht durch Verzicht, sondern durch Sichtbarkeit. Wenn zu jeder Anfrage Zeitpunkt, Schlüssel, Modell, Einsatzzweck, Token-Verbrauch und Kosten protokolliert werden, sehen Sie nach zwei Wochen:
- welche Abteilung welchen Anteil verursacht,
- welcher Einsatzzweck überraschend teuer ist,
- ob ein teures Modell für Aufgaben läuft, die ein günstigeres genauso erledigt,
- und wo viele Anfragen fehlschlagen – jeder Fehlversuch kostet trotzdem Eingabe-Token.
Diese Zuordnung entsteht nur, wenn Schlüssel an Einsatzzwecke gebunden sind. Sonst haben Sie am Monatsende eine Summe, aber keine Erklärung.
Sparen, ohne die Qualität zu opfern
- Kontext gezielt zusammenstellen: Mit RAG werden nur die passenden Abschnitte mitgeschickt statt ganzer Handbücher.
- Gesprächsverlauf begrenzen: Ältere Nachrichten zusammenfassen statt vollständig mitzuschicken.
- Modelle nach Aufgabe wählen: Klassifizieren, Umformulieren und Zusammenfassen brauchen selten das größte Modell.
- Wiederholungen abfangen: Gleiche oder sehr ähnliche Anfragen lassen sich zwischenspeichern; einige Gateways bieten dafür einen Cache an.
- Lokale Modelle prüfen: Bei gleichmäßig hoher Last können eigene Modelle günstiger sein – die Abwägung steht im Beitrag Lokale KI oder Cloud-KI?
In vier Schritten zur Kontrolle
- Zentralisieren: Alle Anfragen über eine Stelle leiten, statt Schlüssel zu verteilen – siehe Was ist ein KI-Gateway?
- Zuordnen: Je Abteilung oder Projekt einen eigenen Schlüssel mit dokumentiertem Einsatzzweck.
- Begrenzen: Budget mit harter Obergrenze setzen, dazu Limits pro Anfrage und pro Minute.
- Nachsehen: Nach zwei Wochen die Protokolle auswerten und die Grenzen an die Realität anpassen – nicht umgekehrt.