KI-Gateway
KI-Gateway: selbst bauen, Open Source betreiben oder einkaufen?
Wer KI zentral steuern will, hat drei Wege: selbst entwickeln, eine Open-Source-Lösung betreiben oder einen fertigen Dienst nutzen. Dieser Beitrag vergleicht sie nach dem, was im zweiten Jahr zählt – nicht nach dem, was in der ersten Woche schnell geht.
Von Christoph Weiß · Veröffentlicht · 3 Min. Lesezeit
Die drei Wege
Am Anfang sieht die Aufgabe klein aus: Anfragen entgegennehmen, Schlüssel prüfen, weiterleiten. Der Unterschied zeigt sich erst, wenn Abteilungen, Budgets, Modellwechsel und Nachweise dazukommen.
1. Eigenbau
Ein kleiner Dienst, der Anfragen durchreicht, ist an einem Tag geschrieben. Was danach kommt, ist der eigentliche Aufwand: Schlüsselverwaltung mit Rollen, Budgets, die auch bei parallelen Anfragen halten, Protokolle, die man exportieren kann, Streaming korrekt durchreichen, neue Modelle und geänderte Schnittstellen nachziehen. Der Eigenbau lohnt sich, wenn Sie sehr spezielle Anforderungen haben – und wenn jemand dauerhaft dafür zuständig ist.
2. Open Source betreiben
Ausgereifte Projekte nehmen Ihnen die Grundfunktionen ab. LiteLLM etwa bietet nach eigener Beschreibung eine einheitliche Schnittstelle zu über 100 Anbietern im OpenAI-Format, dazu virtuelle Schlüssel für die Zugriffskontrolle, Kostenerfassung, Guardrails, Lastverteilung und Protokollierung; betreiben lässt es sich per Docker, Kubernetes-Chart oder Terraform. Der Kern ist quelloffen, einzelne Unternehmensfunktionen stehen unter einer kommerziellen Lizenz.
Sie bekommen also viel geschenkt – und übernehmen den Betrieb: Updates, Verfügbarkeit, Sicherung der Datenbank, Härtung, Monitoring. Das ist machbar, aber es ist eine Aufgabe für die IT, kein Nebenbei-Projekt.
3. Gemanagter Dienst
Hier betreibt ein Anbieter die Schicht für Sie. Sie sparen den Betriebsaufwand und bekommen in der Regel schneller neue Funktionen. Dafür müssen Sie genau hinsehen, wo verarbeitet wird, was gespeichert wird und wie Sie wieder herauskommen – dieselben Fragen wie bei jedem anderen Dienst, die der Beitrag KI-Hosting in der EU durchgeht.
Der Vergleich
| Eigenbau | Open Source selbst betrieben | Gemanagter Dienst | |
|---|---|---|---|
| Start | Langsam | Schnell | Sehr schnell |
| Laufender Aufwand | Hoch, dauerhaft | Mittel: Updates, Verfügbarkeit, Sicherung | Gering |
| Kontrolle über Daten | Vollständig | Vollständig | Vertraglich geregelt |
| Anpassbarkeit | Beliebig | Hoch, im Rahmen des Projekts | Begrenzt |
| Risiko | Wissen hängt an Personen | Betriebsfehler, verpasste Updates | Abhängigkeit vom Anbieter |
Die Punkte, an denen es im Betrieb hängt
Unabhängig vom Weg entscheiden fünf Details, ob die Schicht trägt:
- Harte Grenzen statt Warnungen. Ein Budget, das nur eine E-Mail auslöst, verhindert keine Kosten. Es muss die Anfrage stoppen.
- Streaming. Antworten laufen tokenweise durch. Wer das nicht sauber durchreicht, verliert die gefühlte Geschwindigkeit – Nutzer merken das sofort.
- Einsatzzweck statt nur Schlüssel. Erst die Bindung an einen dokumentierten Zweck macht Protokolle später auswertbar.
- Maskierung an der richtigen Stelle. Personenbezogene Daten müssen ersetzt werden, bevor die Anfrage das Haus verlässt, nicht im Nachhinein im Protokoll.
- Exportierbare Nachweise. Was sich nicht als CSV oder JSON herausziehen lässt, hilft bei einer Prüfung nicht.
Eine Entscheidungshilfe
- Ein Team, ein Anwendungsfall, unkritische Daten: Anfangs reicht oft die Schlüsselverwaltung des Modellanbieters. Warten Sie mit der eigenen Schicht, bis der zweite Anwendungsfall kommt.
- Mehrere Abteilungen, Budgets sollen getrennt sichtbar sein: Jetzt lohnt sich eine zentrale Schicht – Open Source oder gemanagt.
- Personenbezogene Daten sind im Spiel, Nachweise werden gefordert: Hier zählen Maskierung und Protokollierung. Prüfen Sie, ob die Lösung beides ernsthaft kann, nicht nur als Häkchen auf der Website.
- Eigene IT knapp besetzt: Gemanagt. Betrieb ist der Posten, der am häufigsten unterschätzt wird.
- Sehr spezielle Anforderungen, eigenes Produkt: Eigenbau – aber mit klarer Zuständigkeit und Zeitbudget.
Welche Funktionen eine solche Schicht überhaupt haben sollte, steht im Beitrag Was ist ein KI-Gateway?. Warum ein vorhandenes API-Gateway die Aufgabe nicht übernimmt, erklärt AI Gateway oder API Gateway?