Lokale LLMs im Unternehmen

Es ist nicht überraschend: Die Nutzung von Künstlicher Intelligenz (KI) in deutschen Unternehmen nimmt zu. Laut aktuellen Zahlen des Statistischen Bundesamts setzen inzwischen rund 20 % der Unternehmen KI-Technologien ein. Dabei sind größere Unternehmen tendenziell häufiger Vorreiter als kleinere. Die Gründe, die viele Unternehmen daran hindern, KI in ihren Alltag zu integrieren, lassen sich klar benennen:

Diese Zahlen zeigen, dass eine breite Adaption von KI nicht nur eine Frage der technischen Möglichkeiten, sondern auch der Informations- und Vertrauensbildung ist. In diesem Artikel möchten wir einige dieser Bedenken adressieren und zeigen, wie Unternehmen durch den Einsatz von lokal gehosteten „LLMs“ das Potenzial von KI-Technologien sicher und datenschutzkonform nutzen können. Denn für viele der angeführten Hürden gibt es bereits praxistaugliche Lösungsansätze – insbesondere, wenn KI-Lösungen lokal oder innerhalb datenschutzkonformer Infrastrukturen in Deutschland betrieben werden.

Datenschutz und rechtliche Sicherheit sind zentrale Aspekte, die Unternehmen bei der Einführung von KI-Technologien beachten sollten. Betriebsgeheimnisse oder personenbezogene Daten einfach in Dienste wie ChatGPT einzutippen, ist keine gute Idee. Insbesondere in Deutschland und Europa, wo die Datenschutz-Grundverordnung (DSGVO) strenge Vorgaben macht, spielen diese Themen eine entscheidende Rolle. Unternehmen müssen sicherstellen, dass personenbezogene Daten, die von KI-Systemen verarbeitet werden, gemäß den gesetzlichen Bestimmungen geschützt sind.

Eine der effektivsten Möglichkeiten, Datenschutz- und Sicherheitsbedenken zu adressieren, ist die Nutzung lokaler KI-Lösungen. Durch den Betrieb von KI-Systemen auf eigenen Servern oder innerhalb datenschutzkonformer Hosting-Dienste in Deutschland behalten Unternehmen die volle Kontrolle über ihre Daten. Dies reduziert nicht nur rechtliche Risiken, sondern sorgt auch für ein höheres Maß an Datensicherheit und Vertrauen. 

Dabei gehört zur Wahrheit: Es gibt noch keine Open Source-Sprachmodelle, die lokal betrieben werden und auf ganzer Linie mit den Modellen von ChatGPT und anderen kommerziellen Angeboten mithalten können. Doch trotzdem gibt es zahlreiche Möglichkeiten, Sprachmodelle so zu nutzen, dass deutsche Datenschutzstandards eingehalten werden und Datensouveränität vorliegt. Eine dieser Möglichkeiten ist die Nutzung lokaler LLMs.

Ein LLM (Large Language Model) ist ein KI-System, das speziell darauf trainiert wurde, Sprache zu verstehen und selbst zu generieren . Dabei wird auf umfangreiche Textdatensätze zurückgegriffen, um Muster, Strukturen und Bedeutungen in der Sprache zu erkennen. Mithilfe von „Deep Learning“ lernt das Modell, Zusammenhänge zwischen Wörtern und Sätzen herzustellen, sodass es auf Eingaben präzise, kontextbezogene Antworten geben kann.

Die Einsatzmöglichkeiten von LLMs sind vielfältig: Sie unterstützen beispielsweise Chatbots, automatisierte Übersetzungssysteme, Textgenerierung und komplexe Analysen von großen Textmengen. Trotz ihrer Fähigkeiten haben LLMs auch ihre Grenzen, etwa wenn es um die Interpretation von Ambiguitäten oder die Vermeidung von Vorurteilen aus den Trainingsdaten geht.

Es gibt ein paar Eigenschaften, die sich allen LLMs zuschreiben lassen. Sie gelten, egal ob das Modell lokal betrieben wird oder eine öffentliche KI basierend auf dem Sprachmodell genutzt wird.

• LLMs haben ein „cut off date“ und kennen keine tagesaktuellen Informationen.
• LLMs fantasieren – teilweise sehr überzeugend.
• LLMs sind auf öffentliche Informationen trainiert und können nur diese berücksichtigen.

Besonders, dass die Modelle „fantasieren“ bedeutet, dass KI nicht einfach so ohne ein gewisses Vorwissen des Teams genutzt werden sollte. Es muss ein Bewusstsein für die Grenzen und Möglichkeiten von Sprachmodellen entstehen: Darunter fallen auf einer Seite der Datenschutz und auf der anderen Seite die Möglichkeit, dass die generierten Ergebnisse nicht stimmen. Mit Schulungen des Teams und einer bedachten Nutzung sowie einem Datenschutzfreundlichen, technischen Setting steht dem Einsatz von Sprachmodellen im Unternehmen nichts im Weg. 

Es gibt mittlerweile eine Vielzahl von großen Sprachmodellen, die von unterschiedlichen Organisationen und Forschungseinrichtungen entwickelt wurden. Das wohl bekannteste Sprachmodell ist die GPT-Reihe von OpenAI, dem ChatGPT zugrunde liegt. Doch auch Meta (llama3), Google (gemma), Microsoft (phi3) oder auch DeepSeek haben eigene Sprachmodelle entwickelt. Einige von ihnen stehen frei zur Verfügung, die trainierten Modelle können von Unternehmen und Privatpersonen für ihre Einsatzzwecke genutzt werden. 

Ende des Jahres begannen wir mit dem Projekt makandra.ai: Wir entwickelten auf Basis des lokal betriebenen Ollama-Models unsere eigene KI. Unser Ziel: Wir möchten unsere interne Wissensdatenbank makandra cards über ein Chat-Interface mit einem Sprachmodell verknüpfen. makandra cards enthält destilliert unsere Arbeitsweise und unsere Prozesse: unter anderem öffentlich verfügbare Best Practices und Tipps zum Programmieren von Webanwendungen und zum Thema DevOps – unsere Kernkompetenzen. Mit makandra.ai wollten wir dieses dort in tausenden Cards verfügbare Wissen noch leichter zugänglich machen und für das Schreiben von Code und für die Arbeit an Kundenprojekten nutzbar machen.

Der Clou an der Sache: Die genannten internen Informationen müssen dabei nicht für weiteres Training ins Modell eingespielt werden, sie bleiben ausschließlich auf unseren Servern. Wir nutzen dafür – je nach Anwendungszweck – verschiedene Sprachmodelle von Ollama.

Technisch funktioniert das so: Unternehmensinterne Informationen werden über RAG (Retrieval Augmented Generation) in das LLM aufgenommen. Dabei werden sogenannte embedding-Modelle genutzt, um die bestehenden Unterlagen, wie in unserem Fall die Wissens-Datenbank, in einer sog. Vektordatenbank abzulegen. Semantische ähnliche Dokumente werden in dieser Datenbank nahe zueinander abgelegt. Bei Anfragen an makandra.ai werden dann wiederum die Dokumente aus dieser Vektordatenbank herausgenommen, die für den Prompt (also die Anfrage) am relevantesten erscheinen.

Die Daten werden dann mit in den Prompt aufgenommen. So schafft man eine Nutzung der sensiblen, unternehmensinternen Informationen in einem LLM. 

Mit diesem Ansatz hat das LLM zudem effektiv Zugriff auf aktuelle Informationen, womit der Nachteil des oben erwähnten „cut off dates“ ausgeglichen wurde.

Wenn ein Unternehmen lokale KI-Lösungen einsetzen möchte, sollten bereits im Vorfeld einige Punkte bedacht werden. Zuerst sollte ein Konzept für das Thema erarbeitet werden, das die bestehenden Prozesse, Sicherheitsanforderungen und den Wandel der Unternehmenskultur berücksichtigt. Eine sorgfältige Planung und Abstimmung zwischen den IT-Abteilungen, Fachbereichen und externen Spezialisten bildet die Basis. Im Folgenden werden einige Best Practices vorgestellt, die als Leitfaden für die erfolgreiche Implementierung lokaler KI-Lösungen dienen können:

• Auswahl passender Modelle
  Wählen Sie ein Sprachmodell, das flexibel an die internen Anforderungen angepasst werden kann. Entscheiden Sie sich für Anbieter, die transparente Trainingsprozesse und datenschutzkonforme Lösungen anbieten.
• Sichere Infrastruktur
  Bauen Sie eine IT-Umgebung auf, die höchsten Sicherheitsstandards entspricht – idealerweise unter Einhaltung deutscher bzw. europäischer Datenschutzgesetze.
• Integration in bestehende Prozesse
  Sorgen Sie dafür, dass die KI nahtlos in bestehende Workflows integriert wird. Eine enge Zusammenarbeit zwischen IT-Abteilung, Fachbereichen und externen Spezialisten ist hier entscheidend.
• Schulung und Change Management
  Begleiten Sie die Einführung der KI mit umfassenden Schulungen für Ihre Mitarbeiter. Nur so kann das Potenzial der neuen Technologie optimal genutzt und eventuelle Vorbehalte abgebaut werden.

Wenn Sie in diesen Bereichen Unterstützung brauchen, machen wir Ihnen gerne ein Angebot, wie wir gemeinsam mit Ihnen Ihre KI entwickeln können. 

Um das volle Potenzial eines LLMs auszuschöpfen, ist es oft notwendig, interne, unternehmensspezifische Daten einzubinden. Mit einem lokalen LLM ist das problemlos möglich. 

Durch die Nutzung von RAG-Pipelines mit firmeneigenen Daten – etwa internen Dokumenten, E-Mails oder Best Practices – wird das LLM zu einem echten Wissensspeicher, der auf die spezifischen Anforderungen und das Vokabular Ihres Unternehmens zugeschnitten ist. Dabei bleiben bei lokalen Lösungen sämtliche Daten im eigenen Unternehmen. So können sensible Informationen, wie z. B. Geschäftsgeheimnisse oder Kundendaten, sicher verarbeitet werden, ohne dass sie in externe Cloud-Umgebungen gelangen.

Durch die Integration interner Daten wird das Modell nicht nur präziser in seinen Antworten, sondern kann auch branchenspezifische Fragestellungen und Probleme besser adressieren. Unternehmen profitieren von einer individuellen KI-Lösung, die passgenau auf ihre Bedürfnisse abgestimmt ist.

Lokale KI-Lösungen bieten vielfältige Einsatzmöglichkeiten, die weit über reine Textgenerierung – beispielsweise mit ChatGPT hinausgehen. 

• Wissensmanagement
  Interne Wissensdatenbanken werden durch die KI einfacher durchsuchbar und nutzbar gemacht. Mitarbeiter finden schnell relevante Informationen, Best Practices und Lösungsvorschläge aus vergangenen Projekten. 
• Softwareentwicklung
  Durch die Integration von Best Practices und Codebeispielen aus internen Repositories können Entwickler schneller auf bewährte Lösungsansätze zugreifen und so die Entwicklungszyklen verkürzen.
• Kundenservice und E-Mail-Management
  Mit Hilfe von KI können Kundenanfragen automatisch kategorisiert und priorisiert werden. Ein Beispiel: Tausende E-Mails mit teils datenschutzsensiblen Themen werden in Sekundenschnelle gescannt. Dabei kann die KI anhand des Inhalts beurteilen, ob es sich beispielsweise um eine eher gering priorisierte Beschwerde handelt – wie etwa „War in einem Hotel das Waschbecken nicht richtig sauber?“ – oder ob dringender Handlungsbedarf besteht. So werden die Nachrichten nicht nur automatisch sortiert, sondern auch sensible Informationen erkannt und entsprechend behandelt, ohne dass diese das Unternehmen verlassen.
• Datenanalyse und Reporting
  Sensible Daten aus verschiedenen Abteilungen lassen sich zentral analysieren. Die KI generiert Berichte oder gibt Handlungsempfehlungen, die auf den aktuellen Unternehmensdaten basieren, ohne dass die Daten den sicheren Server verlassen.

Der Schlüssel zum Erfolg in der digitalen Zukunft liegt in der intelligenten Nutzung von Daten – und in der Wahrung von Datenschutz und rechtlicher Sicherheit. Lokale LLMs bieten hierfür eine ideale Lösung, indem sie KI-Technologie mit der nötigen Kontrolle über Unternehmensdaten verbinden. Unternehmen, die frühzeitig in datenschutzkonforme KI-Lösungen investieren, sichern sich nicht nur wertvolle Wettbewerbsvorteile, sondern positionieren sich langfristig als Vorreiter in ihrer Branche. Gleichzeitig kann der gezielte Einsatz von KI dazu beitragen, Engpässe in der Personalgewinnung zu überbrücken und administrative Prozesse effizient zu automatisieren. Da jede Branche und jedes Unternehmen individuelle Anforderungen hat, ermöglichen maßgeschneiderte lokale KI-Lösungen, passgenaue Antworten auf spezifische Herausforderungen zu liefern.

Wir laden Sie herzlich ein, gemeinsam mit uns das Potenzial lokaler KI-Lösungen zu entdecken – sei es in einem Workshop, in einer detaillierten Analyse Ihrer aktuellen Prozesse oder in einer individuellen Beratung. Lassen Sie uns herausfinden, wie wir und die von uns betriebenen KI-Lösungen Sie dabei unterstützen können, Ihre Herausforderungen zu meistern und den nächsten Schritt in eine sichere, datengetriebene Zukunft zu gehen.