Kostenrechner für Lokale KI: Entwicklung eines POCs

Für die Workstation-Konfigurationen nicht. Die stehen im Büro, laufen an einer normalen Steckdose und sind im Alltag leise, unter Volllast aber hörbar. Die Server-Konfigurationen (2 bis 4 Höheneinheiten) gehören in einen Serverschrank mit Kühlung, den die meisten Unternehmen ohnehin haben. Erst bei den großen Mehrfach-GPU-Systemen werden Stromanschluss und Kühlung zum Planungsthema, das klären wir vor der Bestellung.

Ehrliche Antwort: Die größten Cloud-Modelle sind in der Spitze weiterhin vorn. Für die meisten abgegrenzten Unternehmensaufgaben wie Klassifikation, Extraktion, Dokumenten-Suche oder Code-Assistenz ist der Unterschied im Alltag aber klein bis nicht spürbar, wenn das Modell zur Aufgabe passt. Die größten Open-Weight-Modelle erreichen in vielen Aufgaben das Niveau kommerzieller Cloud-Modelle. Entscheidend ist der Fit zwischen Modell und Aufgabe, und diesen prüfen wir in der Potenzialanalyse mit Ihren Daten.

Dann tauschen Sie das Modell, nicht die Hardware. Open-Weight-Modelle sind austauschbar, ein Wechsel ist ein Download und ein Testlauf, keine Neuanschaffung. Die Entwicklung arbeitet dabei für Sie: Die Qualität pro Gigabyte Grafikspeicher steigt seit Jahren, dieselbe Maschine kann über ihre Laufzeit also immer bessere Modelle ausführen.

Ja, und das ist der Hebel für die Wirtschaftlichkeit. Ein Server kann mehrere Modelle vorhalten oder ein Modell für verschiedene Zwecke nutzen, etwa tagsüber als Assistent für Mitarbeiter und nachts für die Stapelverarbeitung von Dokumenten. Die Auslastung steigt, die Kosten pro Anwendungsfall sinken. Die Konfiguration aus dem Rechner ist deshalb oft der Anfang, nicht das Ende der Nutzung.

Der Rechner kalkuliert den Kauf und legt die Anschaffung auf 36 Monate um. Leasing über Hardware-Partner ist möglich und schont die Liquidität, ändert an den Gesamtkosten aber wenig. Dedizierte GPUs bei europäischen Rechenzentren zu mieten ist ein Zwischenweg für Fälle, in denen Daten zwar nicht zu US-Anbietern, aber in ein externes Rechenzentrum dürfen. Was zu Ihren Anforderungen passt, besprechen wir am konkreten Fall.

Automatische DSGVO-Konformität gibt es leider nicht. Aber die strukturell größten Hürden entfallen: kein Drittlandtransfer, kein US-Auftragsverarbeiter, Ihre Daten verlassen das Haus nicht. Es gelten die Sorgfaltspflichten, die Sie von anderen internen Systemen kennen, etwa Zugriffskonzept und Löschregeln. Für Ihren Datenschutzbeauftragten ist das eine deutlich einfachere Ausgangslage als jede Cloud-Anbindung.