Lokale KI: Wie Unternehmen KI sicher mit sensiblen Daten nutzen

Konstruktionsdaten, Prüfberichte, Verträge oder Patientenakten gehören nicht in Copilot, ChatGPT und Co. Diese Grenze ziehen die meisten Unternehmen zu Recht. Dazu kommt ein zweites Problem: Allgemeine KI-Assistenten klingen überzeugend, kennen aber weder Ihre Prozesse noch Ihre Dokumente. Für Aufgaben, bei denen es auf jedes Detail ankommt, reicht das nicht. Deshalb investieren Unternehmen in eine eigene KI, die mit ihren Daten arbeitet und diese Daten nicht aus der Organisation gibt.

Laut einer Bitkom-Befragung vom September 2026 setzen 57 Prozent der Unternehmen in Deutschland KI ein, ein Jahr zuvor waren es noch 36 Prozent. Zwei Drittel der Unternehmen, die KI bereits nutzen, nennen die Anforderungen an den Datenschutz als größtes Hemmnis.

Lokale KI löst diesen Konflikt. Die Sprachmodelle laufen auf Ihren eigenen Servern oder in einem Rechenzentrum in Deutschland, und Ihre Daten verlassen diese Umgebung nicht. So können Sie KI auch für sensible Aufgaben einsetzen. Und weil die KI auf Ihre eigenen Dokumente zugreift, beruhen ihre Antworten auf Ihrem Wissen und lassen sich bis zur Quelle nachprüfen. In diesem Beitrag erfahren Sie, was lokale KI ist, wie sie sich von Cloud-KI unterscheidet, was sie für Unternehmen interessant macht, wo ihre Grenzen liegen und wie der Einstieg gelingt.

Lokale KI ist eine KI-Lösung, die auf der eigenen Infrastruktur eines Unternehmens oder in einem dedizierten, DSGVO-konformen Rechenzentrum betrieben wird. Das Unternehmen behält damit die vollständige Kontrolle über Daten, Modell und Betrieb.

Ähnliche Begriffe sind Unternehmens-KI, eigene KI, private KI oder souveräne KI. Sie werden nicht einheitlich verwendet, manche Anbieter bezeichnen damit auch Cloud-Angebote mit Rechenzentren in der EU. In diesem Beitrag meint lokale KI immer, dass das Unternehmen das Modell selbst betreibt oder exklusiv für sich betreiben lässt.

Im Kern besteht eine lokale KI aus einem Sprachmodell (Large Language Model, kurz LLM), das nicht bei einem Anbieter wie OpenAI oder Microsoft läuft, sondern auf Servern, die das Unternehmen selbst betreibt oder exklusiv gemietet hat. Eingaben, Dokumente und Antworten verlassen diese Umgebung nicht. Sie werden auch nicht genutzt, um das Modell eines Drittanbieters weiter zu trainieren.

Möglich ist das, weil es inzwischen leistungsfähige Open-Source-Modelle gibt, die jeder herunterladen und selbst betreiben darf, zum Beispiel von Mistral, Qwen oder Google (Gemma). Für viele Aufgaben im Unternehmensalltag, etwa Dokumente zusammenfassen, Wissen durchsuchen oder Vorlagen befüllen, reichen diese Modelle aus. Mehr dazu lesen Sie in unserem Beitrag zu lokalen LLMs im Unternehmen.

Zwischen „alles beim US-Anbieter“ und „alles auf eigenen Servern“ gibt es Abstufungen. Die folgende Übersicht zeigt die drei gängigen Betriebsmodelle.

Die souveräne Cloud ist ein Mittelweg: Die Daten bleiben in der EU, das Modell gehört aber weiterhin einem großen Anbieter. Für manche Anwendungen ist das die passende Wahl, etwa wenn sehr viele Anfragen verarbeitet werden müssen. Eine lokale KI im engeren Sinn ist es nicht. Wie ein solches Setup aussieht, zeigen wir im Beitrag Eigene KI bei Azure.

Wie sich Microsoft 365 Copilot, Google Gemini, ChatGPT und Claude im Einzelnen von einer lokalen Lösung unterscheiden, zeigt unser Beitrag Unternehmens-KI: Cloud-Lösungen vs. lokale KI im Vergleich.

Viele Unternehmen reagieren auf ChatGPT mit Verboten oder Nutzungsregeln, die im Alltag im schlimmsten Fall nicht eingehalten werden. Das Ergebnis ist Schatten-KI: Firmendaten landen in privaten Accounts, ohne dass jemand nachvollziehen kann, was mit ihnen geschieht. Laut einer Bitkom-Befragung von 2025 gehen 4 von 10 Unternehmen davon aus, dass Beschäftigte private KI-Tools für die Arbeit nutzen. Eine lokale KI dreht diese Situation um. Die IT stellt ein Werkzeug bereit, das im Alltag ähnlich bequem funktioniert, aber auf eigenen Servern läuft. Mitarbeitende dürfen damit auch vertrauliche Unterlagen bearbeiten, und das Unternehmen behält den Überblick, wer welche Daten nutzt. Welche Regeln, Schulungen und Schutzmaßnahmen außerdem dazugehören, zeigt unser Leitfaden zu sicherer KI für Unternehmen.

Bei Cloud-KI werden Eingaben in Rechenzentren verarbeitet, die oft außerhalb des Geltungsbereichs der DSGVO liegen. Ein Auftragsverarbeitungsvertrag regelt zwar den Umgang mit personenbezogenen Daten, schützt aber nicht automatisch Betriebsgeheimnisse oder vertrauliches Wissen. Bei lokaler KI stellt sich diese Frage nicht, weil die Daten das Unternehmen nicht verlassen. Das vereinfacht auch die Abstimmung mit Datenschutzbeauftragten und Betriebsrat. Mehr dazu im Beitrag KI und Datenschutz.

Cloud-KI wird in der Regel pro Nutzer oder pro Anfrage abgerechnet, und die Preise legt der Anbieter fest. Eine eigene lokale KI verursacht vor allem Kosten für Erstentwicklung, Hardware oder Hosting und für den Betrieb. Diese Kosten sind planbar und steigen nicht mit jeder zusätzlichen Anfrage. Ob sich das rechnet, hängt von Nutzerzahl und Nutzungsintensität ab. Eine erste Einschätzung liefert unser Kostenrechner für Hardware und Betrieb.

Wer seine Prozesse auf das Modell eines einzelnen Anbieters baut, ist von dessen Preisen, Nutzungsbedingungen und Produktentscheidungen abhängig. Bei einer lokalen KI lässt sich das Sprachmodell austauschen, sobald ein besseres verfügbar ist. Die Anwendung, die Sie darauf aufbauen, bleibt Ihr Eigentum. Dieser Wunsch nach Unabhängigkeit ist verbreitet: Laut einer Bitkom-Befragung vom November 2026 würden 96 Prozent der Unternehmen bevorzugt KI-Anwendungen deutscher Anbieter nutzen.

ChatGPT steht jedem Unternehmen zur Verfügung. Ihre Konstruktionshistorie, Ihre Prüfberichte und die Erfahrung aus Jahrzehnten Projektarbeit hat dagegen nur Ihr Unternehmen. Eine KI, die auf dieses Wissen zugreift, beantwortet Fragen, die ein allgemeines Modell nicht beantworten kann. Das Wissen erfahrener Mitarbeitender bleibt verfügbar, auch wenn sie in den Ruhestand gehen. Aus einer Datenschutzfrage wird so ein Wettbewerbsvorteil.

Damit die KI mit Handbüchern, Prüfberichten, Verträgen oder der E-Mail-Historie arbeiten kann, hat sich ein Verfahren namens Retrieval Augmented Generation (RAG) durchgesetzt. Die KI sucht bei jeder Frage die passenden Dokumente heraus und formuliert die Antwort auf dieser Grundlage. Die Dokumente werden dabei nicht in das Modell eintrainiert und bleiben jederzeit aktuell. Gerade bei sensiblen Unterlagen ist es naheliegend, diesen Zugriff lokal umzusetzen. Wie das technisch funktioniert, erklären wir im Beitrag LLM mit RAG.

Lokale KI ist nicht für jede Aufgabe die beste Wahl. Die größten kommerziellen Modelle sind den Open-Source-Modellen bei komplexem Schlussfolgern und sehr langen Texten noch voraus. Für eine Recherche über das gesamte Internet oder für kreative Aufgaben ohne sensible Daten ist Cloud-KI die bessere Option.

Außerdem muss jemand die Infrastruktur betreiben. Server, Updates, Überwachung und Sicherheit gehören dazu, ebenso die Qualitätssicherung der Antworten. Sprachmodelle können falsche Aussagen sehr überzeugend formulieren. Deshalb braucht jede KI-Anwendung im Unternehmen Tests und klare Regeln, wann ein Mensch das Ergebnis prüft. Wer diesen Aufwand nicht selbst tragen will, sollte das Hosting von Anfang an mitplanen. Viele KI-Projekte bleiben im Pilotstadium stecken, weil genau diese Fragen erst gestellt werden, wenn der Prototyp fertig ist. Wer Betrieb, Tests und Integration von Beginn an mitdenkt, bringt die Lösung in den Arbeitsalltag.

Dieser Abschnitt richtet sich an IT-Verantwortliche, die den Aufwand einschätzen möchten.

Für den Unternehmenseinsatz kommen Open-Source-Modelle in Frage, etwa von Mistral (zum Beispiel Ministral), Qwen oder Google (Gemma). Welches Modell passt, hängt von Sprache, Aufgabe und verfügbarer Hardware ab. Kleinere Modelle antworten schneller und brauchen weniger Rechenleistung, größere liefern bei anspruchsvollen Aufgaben bessere Ergebnisse. Bewährt hat sich, mehrere Modelle mit echten Daten aus dem Anwendungsfall zu testen, bevor man sich festlegt.

Sprachmodelle laufen am besten auf Grafikprozessoren (GPUs) mit ausreichend Grafikspeicher. Für einen Pilotbetrieb mit einem kleineren Modell genügt oft ein einzelner Server mit einer leistungsfähigen GPU. Sollen viele Mitarbeitende gleichzeitig arbeiten oder größere Modelle laufen, steigt der Bedarf entsprechend. Die Hardware muss nicht gekauft werden, sie lässt sich auch als dedizierter Server in einem Rechenzentrum mieten.

Für den Betrieb der Modelle ist Ollama weit verbreitet. Bei sehr hoher Last kommen spezialisierte Laufzeitumgebungen wie vLLM in Frage. Für RAG brauchen Sie zusätzlich ein Embedding-Modell und eine Vektordatenbank, zum Beispiel PostgreSQL mit der Erweiterung pgvector. Um KI lokal zu betreiben, haben Sie beim Hosting zwei Möglichkeiten: im eigenen Rechenzentrum (On-Premises) oder auf dedizierten Servern in einem deutschen Rechenzentrum. Welche Technologien wir dafür einsetzen, zeigt unsere Seite zur lokalen KI-Technologie.

Lokale KI lohnt sich vor allem dort, wo Mitarbeitende viel Zeit mit Dokumenten verbringen und die Inhalte vertraulich sind:

• Unternehmenswissen finden: Mitarbeitende stellen Fragen in natürlicher Sprache und erhalten Antworten aus internen Handbüchern, Richtlinien und Projektunterlagen, mit Verweis auf die Quelle.
• Dokumente auswerten: Die KI liest Prüfberichte, Verträge oder Rechnungen aus und überträgt die relevanten Angaben in strukturierte Daten.
• Vorlagen befüllen: Wiederkehrende Dokumente wie Abnahmeprotokolle oder Berichte entstehen automatisch aus vorhandenen Daten und werden nur noch geprüft.
• Kommunikation vorbereiten: Entwürfe für Antworten an Kunden oder für interne Berichte, die ein Mensch freigibt.

Lokale KI verbindet die Möglichkeiten großer Sprachmodelle mit der Kontrolle über die eigenen Daten. Für Unternehmen, die mit Betriebsgeheimnissen, personenbezogenen Daten oder regulierten Prozessen arbeiten, ist sie häufig die Voraussetzung, KI überhaupt sicher und produktiv einzusetzen. Sie erlaubt, was bisher verboten war, und macht aus dem Wissen, das in Ihrem Unternehmen steckt, ein Werkzeug, das kein Wettbewerber kopieren kann. Der Weg dorthin braucht Planung bei Modellwahl, Hardware und Betrieb. Am Ende steht eine Unternehmens-KI, die Ihnen gehört und die Sie unabhängig weiterentwickeln können.