Kostenrechner für Lokale KI: Hardware und Betrieb

Wir rechnen mit fünf Qualitätsstufen von Open-Weight-Modellen, standardmäßig in 4-Bit-Quantisierung (im Experten-Modus anpassbar). 

• Die Stufe Kompakt steht für Modelle mit 7 bis 8 Milliarden Parametern, etwa Qwen3-8B oder Llama 3.1 8B, wie sie für Klassifikation, Extraktion und einfache Textaufgaben ausreichen. 
• Solide entspricht der 30B-Klasse, etwa Qwen3-32B oder Gemma 3 27B, für Code-Assistenz und anspruchsvollere Textarbeit. 
• Groß bildet dichte Modelle ab 70 Milliarden Parametern ab, etwa Llama 3.3 70B, die höchste Qualitätsstufe klassischer Modellarchitekturen.
• Darüber folgen zwei Frontier-Stufen mit Mixture-of-Experts-Architektur, bei der pro Anfrage nur ein Teil des Modells aktiv rechnet. Frontier kompakt steht für Modelle mit 200 bis 300 Milliarden Parametern, etwa Qwen3-235B oder DeepSeek V4 Flash, die den größten Modellen erstaunlich nahekommen und sich deutlich günstiger betreiben lassen. Frontier umfasst die größten frei verfügbaren Modelle mit über 700 Milliarden Parametern, die in vielen Aufgaben das Niveau kommerzieller Cloud-Modelle erreichen.

Neben den Modellgewichten kalkulieren wir den Speicherbedarf für den KV-Cache ein. Das ist der Bereich im Grafikspeicher, in dem sich das Modell den bisherigen Gesprächsverlauf und gelesene Dokumente merkt. Er wächst mit der Kontextlänge und der Zahl gleichzeitiger Anfragen und wird in der Praxis oft unterschätzt.

Die Empfehlung wählt die kleinste Konfiguration, deren Grafikspeicher für Modell, KV-Cache und Betriebsreserve ausreicht. Die Stufenleiter beginnt bei einer einzelnen RTX 4090 oder RTX 5090 in einer Workstation (24 beziehungsweise 32 GB Grafikspeicher), führt über die RTX 6000 Ada (48 GB) im Server und reicht bis zu Systemen mit einer, zwei, vier oder acht RTX PRO 6000 Blackwell mit je 96 GB. Damit decken wir alles ab von der Workstation für rund 7.000 Euro inklusive Einrichtung bis zum GPU-Server mit 768 GB Grafikspeicher, auf dem auch die größten Open-Weight-Modelle vollständig lokal laufen. Reicht selbst das nicht, sind Sie im Bereich individuell geplanter Cluster, für die wir keine Pauschalpreise nennen.

Für die Frontier-Stufen bietet der Experten-Modus zusätzlich ein Experten-Offloading an: Dabei wird ein Teil des Modells in den Arbeitsspeicher ausgelagert, was kleinere Grafikkarten ermöglicht, die Antworten aber deutlich verlangsamt. Für Experimente und einzelne Nutzer eine Option, für den Produktivbetrieb empfehlen wir es nicht.

Bei der Inferenz von Sprachmodellen ist fast immer die GPU der Engpass. CPU und Arbeitsspeicher legen wir deshalb nach Faustregel aus: Der RAM beträgt mindestens das Doppelte des Grafikspeichers, damit Modelle beim Laden und Wechseln gepuffert werden können, also 64 GB in den Workstations bis 1,5 TB im größten GPU-Server. Als Prozessor genügt eine aktuelle Mehrkern-CPU mit mindestens 16 Kernen und ausreichend PCIe-Lanes für die Grafikkarten. Diese Komponenten sind in den Systempreisen enthalten. Wichtig zu wissen: Gerade ECC-Arbeitsspeicher hat sich im Zuge der aktuellen Speicherknappheit deutlich verteuert. Unsere Systempreise enthalten deshalb einen entsprechenden Aufschlag und werden regelmäßig aktualisiert.

Die Software kostet nichts: Open-Weight-Modelle und Inferenz-Server wie vLLM oder Ollama sind Open Source, Lizenzgebühren fallen nicht an. In der Anschaffung enthalten ist eine Einrichtungspauschale für Installation, Konfiguration und Absicherung des Systems. Die monatliche Betriebspauschale deckt Updates, Monitoring und Wartung ab. Dazu kommen die Stromkosten, die wir aus der tatsächlichen Auslastung Ihres Szenarios berechnen: Die Grundlast des Systems läuft rund um die Uhr, die GPU-Last fällt nur an, wenn Anfragen verarbeitet werden. Für die Gesamtkosten pro Monat legen wir die Anschaffung auf 36 Monate um.

Nicht enthalten ist die eigentliche Projektarbeit: die Anbindung an Ihre Systeme und Prozesse, RAG-Pipelines auf Ihren Dokumenten oder die Evaluierung, welches Modell Ihre Aufgabe wirklich gut löst. Das ist der Teil, den wir gemeinsam mit Ihnen entwickeln.

Ehrliche Antwort: nicht immer. Wer nur wenige Anfragen pro Tag hat und dessen Daten die Cloud verlassen dürfen, fährt mit einer API meist günstiger. Lokale KI spielt ihre Stärken aus, sobald eine dieser Bedingungen zutrifft: Ihre Daten dürfen das Haus nicht verlassen, Sie brauchen den Betrieb ohne Internetverbindung, oder die Nutzung ist so intensiv, dass nutzungsabhängige API-Kosten die eigene Hardware übersteigen. Das passiert schneller, als viele denken, besonders bei agentischen Anwendungen und eingebetteten Prozessen mit hohem Volumen. Dazu kommen planbare Kosten statt variabler Monatsrechnungen und Unabhängigkeit von Preisänderungen und Modellabkündigungen der Anbieter.