Lokale KI im Unternehmen: Was sie leistet, was sie kostet, wann sie sich nicht lohnt

„Lokale KI“ ist einer der wenigen Begriffe im KI-Umfeld, hinter dem eine echte Frage steht und keine Mode. Wer danach sucht, hat meistens ein konkretes Problem: Daten, die nicht zu einem US-Anbieter dürfen. Eine Berufsverschwiegenheit. Einen Betriebsrat. Oder schlicht das Unbehagen, den halben Schriftverkehr des Betriebs in ein Eingabefeld zu tippen, dessen Serverstandort niemand kennt.

Dieser Artikel klärt vier Dinge: was lokale KI technisch bedeutet, was sie an Hardware verlangt, was sie kostet und wann Sie die Finger davon lassen sollten. Der letzte Punkt ist der wichtigste, deshalb steht er weit oben.

Was „lokale KI“ bedeutet, und was nicht

Der Begriff wird für drei verschiedene Dinge benutzt. Sie haben unterschiedliche Kosten, unterschiedliche Datenschutz-Wirkung und unterschiedlichen Betreuungsaufwand. Wer sie verwechselt, plant falsch.

Variante 1: Eigene Hardware im Haus (On-Premise)

Das Sprachmodell läuft auf einer Maschine in Ihrem Serverraum oder Büro. Die Eingaben verlassen Ihr Netzwerk nicht. Das ist die strengste Form, technisch eindeutig und rechtlich am einfachsten zu erklären: Es gibt keinen Auftragsverarbeiter, weil niemand außer Ihnen die Daten sieht. Sie kaufen dafür Hardware, tragen den Strom und brauchen jemanden, der die Kiste pflegt.

Variante 2: Gemieteter Server in Deutschland

Sie mieten einen Server bei einem deutschen Anbieter und betreiben dort dieselbe Software. Die Daten liegen in einem deutschen Rechenzentrum, der Vertrag läuft auf Ihren Namen, es gibt kein Modelltraining mit Ihren Inhalten. Rechtlich ist das eine Auftragsverarbeitung, technisch fast identisch zu Variante 1. Für die allermeisten Betriebe ist das die wirtschaftlich sinnvolle Form von „lokal“, auch wenn das Wort dann streng genommen nicht mehr stimmt.

Variante 3: EU-Cloud bei einem großen Anbieter

Sie nutzen die Modelle der großen Anbieter über eine europäische Region, mit Auftragsverarbeitungsvertrag und ohne Training auf Ihren Daten. Das ist keine lokale KI. Es ist eine Datenschutz-Lösung, oft eine gute, aber die Daten liegen bei einem fremden Konzern und die Rechnung wächst mit der Nutzung. Warum wir trotzdem selten zu einem einzigen Anbieter raten, steht in Multi-Provider-KI statt ChatGPT-Reseller.

	Eigene Hardware	Deutscher Mietserver	EU-Cloud
Wo liegen die Eingaben	Bei Ihnen im Haus	Deutsches Rechenzentrum	Beim Anbieter, EU-Region
Auftragsverarbeitung nötig	Nein	Ja, mit dem Hoster	Ja, mit dem Anbieter
Einstiegskosten	Hardware plus Einrichtung	Einrichtung	Nahe null
Laufende Kosten	Strom, Pflege	Servermiete, Pflege	Pro Anfrage
Modellqualität	Offene Modelle	Offene Modelle	Die stärksten am Markt
Nutzerzahl treibt Kosten	Nein	Nein	Ja

Die letzte Zeile ist der eigentliche wirtschaftliche Hebel. Bei lokaler KI zahlen Sie die Maschine, nicht die Köpfe. Ab einer bestimmten Teamgröße und Nutzungsintensität kippt die Rechnung, vorher nicht.

Wann sich lokale KI lohnt

Es gibt vier Gründe, die in der Praxis tragen. Wenn keiner davon auf Sie zutrifft, lesen Sie den nächsten Abschnitt und sparen sich den Rest.

Erstens: Sie dürfen die Daten nicht herausgeben. Kanzleien, Praxen, Steuerberatung, Betreuungsdienste, Personalabteilungen mit vollständigen Akten. Berufsgeheimnisträger haben hier keinen Ermessensspielraum, und ein Auftragsverarbeitungsvertrag löst das Problem nicht in jedem Fall vollständig.

Zweitens: Es geht um Konstruktions-, Rezeptur- oder Preisdaten. Kein Datenschutzthema, ein Wettbewerbsthema. Wer seine Fertigungsunterlagen in ein fremdes System kippt, hat eine Entscheidung getroffen, die schwer rückgängig zu machen ist.

Drittens: Das Anfragevolumen ist hoch. Wenn zwanzig Leute den ganzen Tag Dokumente durch ein Modell schicken, wird die nutzungsabhängige Abrechnung der Cloud-Anbieter zum größten Posten im IT-Budget. Eine eigene Maschine hat eine feste Obergrenze.

Viertens: Sie brauchen Verfügbarkeit ohne Internet. Produktion, Außenstellen mit schlechter Anbindung, Anlagen im Keller. Ein lokales Modell antwortet auch dann, wenn die Leitung weg ist.

Wann sich lokale KI ausdrücklich nicht lohnt

Diesen Abschnitt schreiben Anbieter selten, weil er Geschäft kostet. Er stimmt trotzdem.

Sie brauchen KI zum Formulieren von E-Mails, Angebotstexten und Social-Media-Beiträgen. Dafür reicht ein Geschäftskonto bei einem der großen Anbieter, bei dem Ihre Eingaben nicht ins Training gehen. Das kostet pro Person und Monat einen zweistelligen Betrag, ist in fünf Minuten eingerichtet und liefert bessere Texte als jedes Modell, das auf einer Bürokiste läuft. Alles andere wäre teurer und schlechter.

Sie sind zu dritt und niemand kümmert sich um IT. Ein KI-Server ist ein Server. Er braucht Updates, Backups, Monitoring und einen Menschen, der reagiert, wenn er stehenbleibt. Wenn diese Rolle bei Ihnen niemand hat, kaufen Sie sich ein Problem, keine Lösung. Der gemietete deutsche Server mit Betreuungsvertrag ist dann der ehrlichere Weg.

Sie wollen „das Beste, was es gibt“. Offene Modelle sind für viele Alltagsaufgaben gut genug, aber bei den schwersten Aufgaben liegen die großen Cloud-Modelle vorn. Wer On-Premise als Vollersatz für alles verkauft bekommt, sollte nachfragen.

Sie erwarten, dass die Anschaffung sich in einem Jahr rechnet. Bei kleinen Teams tut sie das in der Regel nicht. Der Grund für lokale KI ist Datenhoheit oder Volumen, nicht der Preis.

Voraussetzungen: Hardware und Modellgrößen

Hier wird es konkret. Alle folgenden Angaben haben den Stand 08/2026 und beziehen sich auf 4-Bit-Quantisierung (die übliche Sparform, mit der Modelle in bezahlbaren Grafikspeicher passen). Modellnamen sind Verfallsware: Die Klassen und die Auswahl-Logik bleiben gültig, die konkreten Namen prüfen Sie bei späterer Lektüre besser gegen die aktuelle Modellbibliothek.

Der Befund, der über Erfolg oder Frust entscheidet

Unter etwa 7 Milliarden Parametern leidet die deutsche Sprachqualität sichtbar: Grammatikfehler und Wechsel ins Englische mitten im Text. Für deutschen Schriftverkehr im Betrieb ist die 7B-Klasse die untere Grenze.

Das ist der Punkt, an dem die meisten Selbstversuche scheitern. Ein winziges Modell läuft auf jedem Notebook, schreibt aber Deutsch wie eine schlechte Übersetzung. Wer daraufhin sagt „lokale KI taugt nichts“, hat nicht die lokale KI getestet, sondern eine zu kleine.

Einstiegsklasse: läuft auf bescheidener Hardware

Modell	Speicherbedarf	Stärke	Deutsch
Qwen3 8B	ca. 6 GB	Allrounder für Text und Anweisungen	Gut
Mistral Small	ca. 14 GB	Solide Textarbeit, europäisches Modell	Gut
Gemma 4 (kleine Variante)	ab ca. 7 GB	Kompakt, versteht auch Bilder	Brauchbar

Reicht für: Zusammenfassen, Stichpunkte zu Text ausformulieren, einfache Fragen an Dokumente.

Arbeitsklasse: hier trägt lokale KI im Alltag

Modell	Speicherbedarf	Stärke	Deutsch
Qwen3 27B	ca. 16 GB	Beste Qualität je Gigabyte, passt auf eine 24-GB-Karte	Sehr gut
Qwen3 Coder 30B	ca. 19 GB	Code und lange Dokumente (großes Kontextfenster)	Gut
DeepSeek R1 (destilliert, 14B bis 32B)	ca. 9 bis 20 GB	Schrittweises Denken, Analyse	Gut

Wenn deutsche Texte in Kundenqualität herauskommen sollen, ist das die Klasse, die Sie einplanen. Der Sprung in der Sprachqualität ist größer als der Sprung im Hardware-Preis.

Große Klasse: nur mit ernsthafter Grafikkarte

Modell	Speicherbedarf	Stärke	Deutsch
Llama 3.3 70B	ca. 43 GB	Arbeitstier für anspruchsvolle Texte	Sehr gut
Qwen3 (große Varianten)	ab ca. 60 GB	Nah an Cloud-Qualität, entsprechender Hardware-Bedarf	Sehr gut

Was das für die Anschaffung heißt

Die entscheidende Zahl ist der Grafikspeicher, nicht die Rechenleistung des Prozessors. Ein Modell muss vollständig in den Speicher der Grafikkarte passen, sonst wird es zäh. Grobe Orientierung:

• 8 bis 12 GB Grafikspeicher: Einstiegsklasse, ein bis zwei gleichzeitige Nutzer
• 24 GB Grafikspeicher: die Arbeitsklasse mit 27B, der Punkt mit dem besten Verhältnis von Preis zu Nutzen
• 48 GB und mehr: große Modelle oder viele gleichzeitige Nutzer

Ohne Grafikkarte läuft es auch, dann rechnet der Prozessor. Bei kleinen Modellen ist das mit Wartezeiten von einigen Sekunden erträglich, bei großen wird es unbenutzbar. Die gerechnete Aufstellung mit aktuellen Marktpreisen für Geräte und Mietserver steht auf Ollama-Hardware und Server mieten.

Software-seitig besteht der Aufbau aus drei Teilen: Ollama führt die Modelle aus, Open WebUI ist die Chat-Oberfläche für Ihr Team, und optional bindet n8n die Modelle in Abläufe ein. Den kompletten Aufbau Schritt für Schritt beschreibt Ollama selbst hosten. Wer statt Ollama einen grafischen Einstieg sucht: Der Vergleich Ollama vs LM Studio klärt, welches der beiden Werkzeuge zu welchem Einsatz passt.

Datenschutz und KI-Verordnung: was lokal löst und was nicht

Vorweg der Hinweis, den ich ernst meine: Das Folgende ist eine Einordnung aus der Praxis, keine Rechtsberatung. Für die verbindliche Bewertung Ihres Falls fragen Sie Ihre Datenschutzbeauftragte oder Ihre Rechtsberatung.

Was lokale KI löst: Der Drittlandtransfer entfällt. Bei eigener Hardware entfällt auch die Auftragsverarbeitung, weil kein Dritter die Daten verarbeitet. Es gibt kein Modelltraining mit Ihren Inhalten, weil niemand Ihre Inhalte bekommt. Der Dokumentationsaufwand sinkt spürbar, und die Frage „was passiert, wenn das Datenschutzabkommen mit den USA erneut gekippt wird“ stellt sich für diesen Teil Ihrer IT nicht mehr.

Was lokale KI nicht löst: Sie brauchen weiterhin eine Rechtsgrundlage für die Verarbeitung. Der Eintrag im Verarbeitungsverzeichnis bleibt Pflicht. Eine Datenschutz-Folgenabschätzung kann weiterhin nötig sein. Zugriffsrechte, Löschfristen und Verschlüsselung müssen Sie selbst regeln, ein lokaler Server ist nicht automatisch ein sicherer Server. Und wenn ein Modell Entscheidungen über Menschen vorbereitet, gelten dieselben Regeln wie überall sonst. Die vollständige Aufstellung steht in KI DSGVO-konform im Unternehmen einsetzen.

Die KI-Verordnung der EU trifft Sie unabhängig vom Serverstandort. Zwei Punkte betreffen den typischen internen Einsatz: die nachweisbare KI-Kompetenz der Mitarbeitenden, die seit Februar 2025 verlangt wird, und die Transparenzpflichten, sobald KI mit Kunden interagiert oder Inhalte veröffentlicht werden. Eigene Hardware befreit von nichts davon. Was für Ihren Fall gilt, ordnet der kostenlose AI-Act-Check ein, die Fristen im Überblick stehen in EU AI Act 2026: was KMU jetzt tun müssen.

Anwendungsfälle, die sich im Mittelstand rechnen

Lokale KI ist kein Selbstzweck. Diese vier Fälle tauchen in Gesprächen am häufigsten auf und haben einen Nutzen, den man benennen kann.

Fragen an die eigenen Dokumente

Der stärkste Fall. Verträge, Handbücher, Leistungsverzeichnisse, Protokolle: Das Modell bekommt Ihre Ablage angeschlossen und antwortet mit Quellenangabe statt aus dem Gedächtnis. Diese Technik heißt RAG. Nutzen: Die Frage „In welchem Vertrag stand nochmal die Kündigungsfrist“ kostet zehn Sekunden statt zwanzig Minuten Suche. Die Berechtigungen lassen sich mitführen, sodass niemand über den Umweg der KI Dokumente sieht, die er sonst nicht sehen darf.

Eingangspost sortieren und vorbereiten

E-Mails und Formularanfragen werden gelesen, kategorisiert und mit einem Antwortentwurf versehen. Der Mensch prüft und schickt. Nutzen: Die Bearbeitung startet nicht mehr bei null. Besonders wirksam bei Betrieben mit vielen gleichartigen Anfragen.

Protokolle und Berichte aus Stichpunkten

Aus zwölf Stichpunkten wird ein lesbarer Bericht in Ihrer Hausform. Nutzen: Der Teil der Arbeit, den alle vor sich herschieben, ist in Minuten erledigt. Genau hier zahlt sich die 27B-Klasse gegenüber einem kleinen Modell aus, weil der Text sonst nachbearbeitet werden muss und der Zeitgewinn verpufft.

Technische Auskunft im eigenen Bestand

Fertigungsunterlagen, Ersatzteillisten, Wartungshistorien. Wer im Service arbeitet, sucht sonst in PDF-Ordnern. Nutzen: Auskunftsfähigkeit am Telefon, ohne Rückruf. Und die Unterlagen bleiben im Haus, was bei Konstruktionsdaten der eigentliche Grund für die lokale Lösung ist.

Was lokale KI kostet

Endpreise, ohne Umsatzsteuer nach § 19 UStG. Die Zahlen sind unsere, nicht Marktdurchschnitte.

Der Server oder das Gerät: Ein gemieteter Server bei einem deutschen Anbieter startet für kleine Modelle bei etwa 10 bis 20 € im Monat. Sobald eine Grafikkarte dazukommt, liegen Sie deutlich höher. Eigene Hardware für die Arbeitsklasse ist eine vierstellige Anschaffung. Wir verkaufen keine Hardware und verdienen nichts daran, deshalb ist die Empfehlung im Check neutral.

Die Einordnung vorab: Der On-Prem-KI-Check kostet 890 €. Darin: Aufnahme der Anwendungsfälle, Datenlage, vorhandene IT, dazu eine Hardware-Empfehlung mit Budgetrahmen und eine schriftliche Entscheidungsvorlage, ob eigene Hardware oder deutscher Mietserver der richtige Weg ist. Wenn Sie nur wissen wollen, welche KI-Werkzeuge Ihr Team heute schon nutzt und ob das datenschutzrechtlich trägt, ist das KI-Audit für 490 € der kleinere Einstieg.

Die Einrichtung: Offene Modelle auf einem deutschen Server einrichten, härten und einweisen kostet ab 1.490 €. Die Einrichtung auf eigener Hardware im Haus, inklusive Netzwerk-Einbindung mit Ihrer IT, Härtung, Backup-Routine und Dokumentation, kostet ab 4.990 €. Der Anschluss Ihrer Dokumente per RAG ist ein eigener Baustein ab 1.990 €.

Der laufende Betrieb: Updates, Modellpflege, Monitoring im 15-Minuten-Takt und Störungshilfe werktags kosten 249 € im Monat für einen Cloud-Server, 449 € im Monat für eine Maschine im Haus (dort mit Vor-Ort-Anteil im Umkreis von 50 km). Drei Monate Mindestlaufzeit, danach monatlich kündbar. Neue Projekte, also zusätzliche Automationen oder neue Anwendungsfälle, laufen zu 80 € pro Stunde oder als eigenes Paket. Diese Grenze steht im Vertrag, damit sie nie zur Diskussion wird.

Die Schulung: Der Halbtags-Workshop für bis zu zehn Personen kostet 790 € und liefert die Teilnahmebestätigung für die KI-Kompetenz-Anforderung gleich mit.

Die Gegenrechnung: Ein Geschäftskonto bei einem großen Anbieter kostet pro Person und Monat einen zweistelligen Betrag. Bei fünf Personen sind das im Jahr etwa so viel wie eine EU-Cloud-Einrichtung. Bei fünfundzwanzig Personen sieht die Rechnung anders aus. Rechnen Sie ehrlich mit Ihrer Kopfzahl, bevor Sie Hardware kaufen.

Der kleinste sinnvolle Schritt

Fangen Sie nicht mit der Hardware an. Hardware ist die teuerste Art, eine offene Frage zu beantworten.

1. Schreiben Sie drei Aufgaben auf, die heute Zeit kosten und bei denen Text im Spiel ist. Nicht zehn, drei. Ohne konkrete Aufgabe ist jedes KI-Projekt ein Experiment.
2. Klären Sie, welche Daten dabei anfallen. Wenn keine davon schutzbedürftig ist, brauchen Sie keine lokale KI und sind mit einem Geschäftskonto schneller am Ziel.
3. Testen Sie auf einem gemieteten deutschen Server, bevor Sie kaufen. Ein Monat Miete kostet weniger als eine Fehlentscheidung bei der Grafikkarte, und Sie merken innerhalb von zwei Wochen, ob Ihr Team das Werkzeug wirklich nutzt.
4. Messen Sie die eingesparte Zeit an genau den drei Aufgaben aus Schritt 1. Erst diese Zahl rechtfertigt eine Anschaffung.
5. Kaufen Sie dann Hardware, wenn Volumen, Datenschutz oder beides es verlangen. Und nicht früher.

Die Kosten für Betrieb und Einrichtung getrennt aufgeschlüsselt, mit der Einordnung für wen sich das rechnet, stehen auf KI selbst hosten. Wenn es um den eigenen KI-Server im Betrieb geht, mit Hardware-Empfehlung, Einrichtung und laufendem Betrieb aus einer Hand, finden Sie die Bausteine einzeln buchbar auf On-Premise KI.

Häufige Fragen

Ist lokale KI so gut wie ChatGPT oder Claude?

Für Zusammenfassungen, Entwürfe, interne Suche und Textbausteine sind offene Modelle der Arbeitsklasse gut genug. Bei den schwersten Aufgaben liegen die großen Cloud-Modelle vorn. Deshalb raten wir meist zur gemischten Lösung: lokal, was lokal gehört, Cloud mit EU-Region dort, wo Spitzenqualität nötig ist.

Wie viele Leute können gleichzeitig damit arbeiten?

Das hängt am Grafikspeicher, nicht an Lizenzen. Eine 24-GB-Karte trägt ein Modell der Arbeitsklasse und mehrere gleichzeitige Anfragen, bei parallelen langen Dokumenten wird es enger. Das ist der große Unterschied zur Cloud-Abrechnung: Der zehnte Nutzer kostet nichts extra, er kostet Wartezeit.

Brauche ich dafür eine eigene IT-Abteilung?

Nein, aber jemanden, der zuständig ist. Entweder Ihre IT übernimmt den Betrieb mit unserer Dokumentation und Einweisung, oder wir übernehmen ihn im Abo. Was nicht funktioniert: eine Maschine aufstellen und hoffen, dass sie sich selbst pflegt.

Was passiert, wenn ein besseres Modell erscheint?

Sie tauschen es aus. Das ist der Vorteil offener Gewichte: Die Modelle sind austauschbar, die Oberfläche und die angeschlossenen Dokumente bleiben. Deshalb steht in diesem Artikel auch überall der Stand der Modell-Angaben dabei.

Ist das förderfähig?

Möglich. Schleswig-Holstein fördert KI-Vorhaben von KMU je nach Programm mit Zuschüssen, die Vorklärung läuft über den KI-Transfer-Hub der WTSH. Wichtigste Regel: Der Antrag muss vor Projektbeginn gestellt sein. Wir klären das im Check mit, versprechen aber keine Zusagen, die nur die Bewilligungsstelle geben kann.

Wer steckt hinter diesem Artikel?

webAION ist ein Ein-Personen-Betrieb aus Lauenburg an der Elbe. Kein Team, keine Vertriebsabteilung. Wir betreiben unsere eigene Infrastruktur self-hosted, inklusive lokaler Modelle und einem Wächter, der im 15-Minuten-Takt Kundenseiten überwacht. Was wir einrichten, betreiben wir selbst. Kundenreferenzen für On-Premise-Projekte nennen wir, sobald es sie gibt, und keinen Tag früher.

Zum On-Prem-KI-Check →