Lokale KI oder Cloud-KI? Eine Entscheidungshilfe für den Mittelstand

Drei Betriebsformen im Überblick

Wer Sprachmodelle (LLMs) im Unternehmen einsetzen will, hat heute im Kern drei Möglichkeiten. Sie unterscheiden sich vor allem darin, wo die Daten verarbeitet werden, wer die Infrastruktur betreibt und wie viel Kontrolle Sie über Modelle und Kosten haben.

1. Öffentliche KI-Dienste: Sie nutzen Modelle großer Anbieter direkt über deren Oberfläche oder Schnittstelle. Die Verarbeitung erfolgt auf der Infrastruktur des Anbieters und nach dessen Vertrags- und Datenschutzbedingungen.
2. Gemanagte KI aus europäischer Cloud: Offene Modelle laufen bei einem Dienstleister in Rechenzentren in Europa; Sie nutzen sie über eine Schnittstelle, ohne eigene Hardware. Ein Beispiel ist unser Angebot Cervus KI.
3. Lokale KI (On-Premise): Die Modelle laufen auf Hardware, die Sie kontrollieren – im eigenen Serverraum oder dediziert für Sie betrieben. Anfragen und Dokumente müssen das Unternehmen dafür nicht verlassen. Mehr dazu unter Was bedeutet lokale KI?

Dazu kommt in der Praxis häufig eine Kombination: vertrauliche Aufgaben lokal, allgemeine Aufgaben über ein Cloud-Modell – gesteuert über eine zentrale Schicht, die Zugriffe, Datenmaskierung und Kosten regelt.

Die entscheidenden Kriterien

1. Wie sensibel sind die Daten?

Das wichtigste Kriterium ist fast immer die Art der Daten. Personalunterlagen, Konstruktionsdaten, Verträge oder Gesundheitsdaten stellen andere Anforderungen als Marketingtexte. Je mehr personenbezogene oder geschäftskritische Informationen im Spiel sind, desto wichtiger werden Verarbeitungsort, Auftragsverarbeitungsvertrag, mögliche Übermittlungen in Drittländer und die Frage, ob Eingaben vom Anbieter weiterverwendet werden dürfen.

Lokale KI vereinfacht diese Fragen, weil die Daten im eigenen Einflussbereich bleiben. Sie ersetzt aber keine Datenschutzprüfung: Auch lokal braucht es Berechtigungen, Protokollierung und klare Regeln, wer welche Daten in welches System eingeben darf.

2. Welche Aufgaben soll die KI übernehmen?

Für viele typische Aufgaben im Unternehmen – Zusammenfassen, Formulieren, Klassifizieren, Fragen zu internen Dokumenten beantworten (RAG) – sind aktuelle offene Modelle gut geeignet. Bei sehr anspruchsvollen Aufgaben, etwa komplexem mehrstufigem Schlussfolgern, liegen die größten Cloud-Modelle oft noch vorn. Die ehrliche Antwort lautet deshalb: mit echten Beispielen aus Ihrem Alltag testen, bevor Sie sich festlegen.

3. Wie viele Nutzer, wie viel Last?

Lokale Hardware wird für eine bestimmte Last dimensioniert. Ein kompaktes System reicht für Entwicklung und kleine Teams; für viele gleichzeitige Nutzer braucht es Server mit mehreren GPUs. Cloud-Angebote skalieren dagegen mit der Nutzung – das ist bequem, macht die Kosten aber von der Nutzungsmenge abhängig. Welche Hardware wofür passt, beschreibt unser Beitrag Welche Hardware braucht ein lokales Sprachmodell?

4. Kosten: Investition oder laufende Gebühr?

Lokale KI bedeutet eine Anfangsinvestition in Hardware plus Betrieb (Strom, Wartung, Updates). Danach hängen die Kosten kaum noch davon ab, wie viel die KI genutzt wird. Cloud-Dienste haben keine Anfangsinvestition, rechnen aber pro Nutzer oder pro verarbeitetem Token ab. Ob sich lokale Hardware rechnet, hängt deshalb stark vom erwarteten Nutzungsvolumen und der Laufzeit ab – eine Pauschalaussage ist nicht seriös.

5. Betrieb und Know-how

Ein lokales System will betrieben werden: Modell-Updates, Sicherheitsupdates, Monitoring, Backups. Diese Aufgabe kann Ihre IT übernehmen oder ein Dienstleister. Bei gemanagten Cloud-Angeboten entfällt dieser Teil weitgehend. Klären Sie früh, wer die Zuständigkeit trägt – das entscheidet oft mehr über den Erfolg als die Modellwahl.

Typische Muster aus der Praxis

• Einstieg ohne Hardware: Ein Unternehmen testet KI mit gemanagten Modellen aus europäischer Cloud, um Anwendungsfälle zu finden – und entscheidet später, ob sich eigene Hardware lohnt.
• Lokal für Vertrauliches: Wissensassistent über interne Dokumente läuft lokal, weil Handbücher, Angebote und Verträge das Haus nicht verlassen sollen.
• Hybrid über ein Gateway: Lokale Modelle für Standardaufgaben, ein ausgewähltes Cloud-Modell für Sonderfälle. Ein KI-Gateway legt fest, wer welches Modell nutzen darf, und maskiert personenbezogene Daten, bevor sie an ein Cloud-Modell gehen.

So gehen Sie vor

1. Drei bis fünf konkrete Anwendungsfälle aufschreiben – mit Beispielen echter Anfragen.
2. Für jeden Fall festhalten, welche Daten verarbeitet werden und wie sensibel sie sind.
3. Grobe Nutzungsmenge schätzen: Wie viele Personen, wie oft, wie lange Texte?
4. Zwei bis drei Modelle mit den Beispielen testen, idealerweise ohne Hardwarekauf.
5. Erst dann über Betriebsform, Hardware und Budget entscheiden.