KI-Gateway
AI Gateway oder API Gateway? Der Unterschied, der in der Praxis zählt
„Wir haben doch schon ein API-Gateway.“ Der Satz fällt in fast jedem Projekt. Er stimmt – und löst das Problem trotzdem nicht. Dieser Beitrag zeigt, wo die Aufgaben auseinandergehen und wie beide zusammenspielen.
Von Christoph Weiß · Veröffentlicht · 3 Min. Lesezeit
Was ein klassisches API-Gateway tut
Ein API-Gateway sitzt vor Ihren Schnittstellen und übernimmt, was jede Anwendung sonst selbst lösen müsste: Authentifizierung, Weiterleitung an den richtigen Dienst, Ratenbegrenzung, TLS-Terminierung, Protokollierung. Produkte wie Kong, nginx oder Traefik sind darin ausgereift.
Die Sicht eines API-Gateways auf eine Anfrage ist dabei bewusst grob: Es interessiert sich für Pfade, Methoden und Statuscodes, nicht für den Inhalt. Genau diese Abstraktion macht es schnell und universell – und für KI-Anfragen unzureichend.
Warum KI-Anfragen anders sind
Eine Anfrage an ein Sprachmodell unterscheidet sich in vier Punkten von einem normalen API-Aufruf:
- Der Inhalt ist das Risiko. Im Prompt können Namen, Kundennummern oder ganze Verträge stehen. Wer nur Pfade prüft, sieht davon nichts.
- Die Kosten hängen am Inhalt. Abgerechnet wird nach Token, nicht nach Aufruf. Zehn Anfragen können zehn Cent oder zehn Euro kosten.
- Die Antwort ist nicht vorhersagbar. Dasselbe Eingabefeld liefert jedes Mal einen anderen Text, mit wechselnder Länge und Qualität.
- Die Anfrage kann angegriffen werden. Eine Prompt Injection steckt im Text selbst – etwa in einem hochgeladenen Dokument.
Was ein KI-Gateway zusätzlich kann
| Aufgabe | API-Gateway | KI-Gateway |
|---|---|---|
| Zugriff steuern | Nach Schlüssel und Route | Zusätzlich nach Modell und dokumentiertem Einsatzzweck |
| Begrenzen | Anfragen pro Minute | Zusätzlich Tokens pro Anfrage und Budgets in Euro mit harter Obergrenze |
| Inhalte prüfen | Nicht vorgesehen | Personenbezogene Daten maskieren, Prompt Injection erkennen |
| Protokollieren | Status, Dauer, Pfad | Zusätzlich Modell, Token-Verbrauch, Kosten, Einsatzzweck |
| Anbieter wechseln | Upstream umstellen | Einheitliche, meist OpenAI-kompatible Schnittstelle über mehrere Modellanbieter |
Dass diese Aufgaben real sind, zeigt der Markt: Kong hat seinem API-Gateway eine eigene KI-Schicht zur Seite gestellt, die unter anderem Anfragen „bei unerlaubten Themen oder Schlüsselwörtern blockiert“, personenbezogene Daten „vor dem Erreichen des LLM-Anbieters entfernt“ und Kosten „einschließlich Cache- und Kontextfenster-Preisen“ berechnet, um Ausgabengrenzen durchzusetzen.
Brauche ich dann beides?
Meistens ja, aber nicht als Konkurrenz. Die beiden Schichten liegen hintereinander:
- Ihre Anwendung ruft eine interne Schnittstelle auf – dort steht Ihr API-Gateway mit Authentifizierung und Routing.
- Wenn diese Schnittstelle ein Sprachmodell braucht, geht die Anfrage an das KI-Gateway.
- Das KI-Gateway prüft Einsatzzweck und Modellfreigabe, maskiert bei Bedarf personenbezogene Daten, setzt Limits durch und leitet an den Modellanbieter weiter.
- Zurück kommt die Antwort, protokolliert wird die Nutzung – ohne dass Inhalte gespeichert werden müssen.
Woran Sie merken, dass die KI-Schicht fehlt
- Niemand kann auf Anhieb sagen, wie viele KI-Schlüssel im Unternehmen im Umlauf sind.
- Die Modellkosten erscheinen als eine Sammelrechnung, ohne Zuordnung zu Abteilung oder Projekt.
- Auf die Frage, ob personenbezogene Daten in Prompts landen, lautet die Antwort „wahrscheinlich nicht“.
- Ein Modellwechsel würde bedeuten, mehrere Anwendungen anzufassen.
- Für einen Nachweis der Nutzung müsste jemand Rechnungen und Log-Dateien zusammensuchen.
Treffen zwei oder mehr dieser Punkte zu, ist die Frage nicht mehr, ob eine zentrale Schicht nötig ist, sondern nur noch, ob Sie sie selbst bauen oder einkaufen – dazu der Beitrag Selbst betreiben oder fertige Lösung?