Die meisten Aussagen zu lokaler KI im Mittelstand sind Hochrechnungen. Unsere waren es auch, bis wir gemessen haben. Bei uns läuft eine KI-Workstation im Alltag, und dieser Beitrag fasst zusammen, was sie kann, was sie nicht kann und welche Aufgabe an welchen Ort gehört. Die Antwort ist selten „lokal oder Cloud“. Sie ist „lokal und Cloud, mit einer klaren Regel dazwischen“.
Was steht bei uns im Regal?
Eine Workstation mit einem 16-Kern-Prozessor, zwei Grafikkarten mit je 16 Gigabyte Speicher und 96 Gigabyte Arbeitsspeicher. Keine Serverhardware, sondern Komponenten, die jeder Betrieb beschaffen kann. Die zweite Grafikkarte war eine bewusste Entscheidung gegen eine deutlich teurere Profikarte: Sie hätte bei einzelnen Aufgaben etwa das Doppelte gebracht, die zweite Karte brachte Gleichzeitigkeit, und die war wichtiger.
Darauf laufen offene Modelle: ein Expertenmodell mit 20 Milliarden Parametern als Arbeitspferd, ein dichtes Modell mit 12 Milliarden für Deutsch, ein 27-Milliarden-Modell mit Bilderkennung für Dokumente, und zum Test ein 120-Milliarden-Modell, das nur mit Auslagerung in den Arbeitsspeicher passt. Dazu Bildgenerierung und lokale Spracherkennung.
Was haben wir gemessen?
| Modell | Art | Token je Sekunde |
|---|---|---|
| 26 Milliarden, Expertenmodell | passt in den Grafikspeicher | 134,6 |
| 20 Milliarden, Expertenmodell | passt in den Grafikspeicher | 91,5 |
| 12 Milliarden, dicht | passt in den Grafikspeicher | 48,1 |
| 27 Milliarden, dicht, mit Bilderkennung | beide Karten voll | 36,9 |
| 120 Milliarden, Expertenmodell | Auslagerung in den Arbeitsspeicher | 28,9 |
Die Tabelle erzählt die wichtigste Regel: Entscheidend ist nicht die Modellgröße, sondern wie viele Parameter je Token aktiv sind und ob alles in den Grafikspeicher passt. Grafikspeicher liefert rund 450 Gigabyte je Sekunde, Arbeitsspeicher rund 90. Faktor fünf. Ein dichtes 70-Milliarden-Modell läuft auf dieser Maschine mit etwa zwei Token je Sekunde, das ist unter Lesegeschwindigkeit. Deshalb laufen solche Modelle bei uns bewusst nicht lokal, sondern im europäischen Rechenzentrum.
Die zweite Karte brachte beim großen Modell 22 bis 30 Prozent mehr Tempo. Der eigentliche Gewinn war ein anderer: Bildgenerierung auf der einen Karte, Sprachmodell auf der anderen, beide zu 100 Prozent ausgelastet, und beide Seiten ohne messbaren Verlust gegenüber dem Alleinlauf. Das ist der Punkt, an dem eine Workstation vom Spielzeug zum Werkzeug wird.
Was hat unsere Annahmen umgeworfen?
Beim Deutschen gewann das kleinere Modell. Sechs Praxisaufgaben, beide Modelle in Werkseinstellung, Ergebnis 3:1 für das 12-Milliarden-Modell gegen das 27-Milliarden-Modell bei zwei Unentschieden. Der Abstand liegt in Idiomatik und Fehlerarmut, nicht in der Substanz. Wir hatten das Gegenteil erwartet. Seitdem gilt Rollenverteilung statt Modellgröße: das kleine Modell für deutsche Texte, das große für Dokumentanalyse mit Bildern.
Stammdaten füllt kein Modell aus. Derselbe Test lieferte die Regel, die in jede Schulung gehört: Ein Sprachmodell erfindet im Zweifel eine plausible Postleitzahl, statt zu sagen, dass es sie nicht kennt. Deshalb kommen Adressen, Nummern und Stammdaten bei uns aus einem Werkzeug, das fehlende Werte als „nicht hinterlegt“ meldet, und das Modell formuliert nur den Text darum herum.
Nach jeder Aktualisierung messen. Unser Deutsch-Modell wurde durch eine reine Softwareaktualisierung, ohne Hardwareänderung, fast ein Fünftel schneller. Dieselbe Aktualisierung kann Voreinstellungen ändern, die die Verteilung auf die Karten betreffen. Wer nicht nachmisst, weiß beides nicht.
Was gehört in die Cloud?
Alles, was Spitzenqualität braucht oder ungleichmäßige Last hat.
Die Kostenlogik haben wir für eine Organisation mit mehreren tausend Nutzern über fünf Jahre durchgerechnet. Ergebnis: Ein eigenes Rechencluster kostet etwa das Zehnfache von einer Wächter-Workstation im Haus plus Abrechnung je Anfrage bei einem europäischen Anbieter. Und es liefert die schlechteren Modelle. Pro Anfrage kann nicht das passende Modell gewählt werden, sondern nur das, was vor fünf Jahren in den Grafikspeicher passte.
Eigene Hardware gewinnt rechnerisch in genau einem Fall: sehr gleichmäßige Dauerlast rund um die Uhr, etwa eine nächtliche Massenverarbeitung. Bürobetrieb ist das Gegenteil, Spitzen am Vormittag, Stillstand am Wochenende. Ein reservierter Server ist ein Ferrari in der Stadt.
Wo lokale KI unersetzlich ist
Nicht bei der Modellqualität. Bei der Stelle, an der Daten das Haus verlassen würden.
Unser Aufbau: Vor jedem Modellaufruf ersetzt ein Wächter personenbezogene und vertrauliche Angaben durch Platzhalter. Dieser Wächter läuft lokal, immer. Das Modell dahinter darf dann lokal sein, europäisch oder ein Spitzenmodell, je nach Vertraulichkeitsstufe der Anfrage. Für Daten, die das Haus nicht verlassen, braucht es keinen Auftragsverarbeitungsvertrag. Für alles andere schon, und bei Anbietern mit US-Konzernmutter bleibt nach Auffassung der Aufsichtsbehörden trotz Frankfurter Rechenzentrum ein Drittlandthema.
Drei Aufgaben bleiben bei uns immer im Haus: der Wächter selbst, Sprache-zu-Text und sensible Datenbank-Auswertungen. Diktat ist der einzige Weg, auf dem ein Name ungeschwärzt einen Anbieter erreichen könnte. Also bleibt die Spracherkennung lokal.
Wir verkaufen die Grenze mit. Was die lokale Maschine schlecht kann, steht auf demselben Blatt wie das, was sie gut kann.
Große Modelle mit Auslagerung vertragen keinen echten Parallelbetrieb. Reine Textmodelle lesen keine Bilder. Die deutsche Sprachqualität offener Modelle ist gut, aber nicht auf dem Niveau der Spitzenmodelle. Und die erste Anfrage nach dem Start ist langsamer, weil der Speicher kalt ist.
Was wir einem Betrieb raten
Nicht mit der Hardware anfangen, sondern mit der Liste der Aufgaben und ihrer Vertraulichkeit. Dann je Aufgabe den Rechenort: lokal, europäisch, Spitzenmodell. Die Workstation, die wir betreiben, ist die Referenz für den ersten Rechenort. Für die meisten Betriebe reicht eine abgespeckte Fassung mit einer Karte, weil sie nur eine Aufgabe hat: den Wächter und die Sprache, nicht die Spitzenqualität.
Und vor jeder Anschaffung vier Wochen messen, wie viele Anfragen wirklich gleichzeitig kommen. Danach ist die Entscheidung eine Rechnung statt einer Wette.
Veröffentlicht am 5. September 2026.