Lokale KI für Kanzleien: Was sie kann, was sie kostet, wo sie endet

Das Wichtigste in Kürze

• Lokale KI heißt: Das Sprachmodell läuft auf Hardware, die Ihre Kanzlei kontrolliert, im internen Netz. Mandantendaten gehen nicht an einen fremden KI-Anbieter.
• Sie eignet sich für Zusammenfassungen, Entwürfe und die Suche im eigenen Bestand mit Quellenangabe. Sie ersetzt keine Rechtsrecherche und keine fachliche Prüfung.
• Die Kosten bestehen aus Einrichtung, Hardware und Betrieb. Die Beträge stehen unten mit Stand.
• Für wenige Nutzer ist ein Server in Deutschland oft die wirtschaftlichere Lösung. Das sage ich dann auch.

Stand: 22.10.2026, Modellempfehlungen Stand 10/2026. Dieser Beitrag ist ein Hinweis aus der Praxis und keine Rechtsberatung. Was Ihre Berufsordnung oder Ihre Mandatsverträge verlangen, klären Sie mit Ihrer Kammer oder Ihrem Anwalt.

Warum Kanzleien danach fragen

Mitarbeitende nutzen ChatGPT, weil es Zeit spart. Gleichzeitig sollen Mandantendaten nicht zu einem fremden Anbieter. Wie Sie damit umgehen, wenn es schon passiert, steht in Schatten-KI im Betrieb. Dieser Beitrag beantwortet die Folgefrage: Was kann eine KI, die im eigenen Haus läuft, und was nicht?

Was lokale KI in der Kanzlei kann

Zusammenfassen. Lange Schriftsätze, Gutachten und Verträge auf eine Seite verdichten, als Einstieg in die Akte. Die Lektüre der entscheidenden Stellen bleibt Ihre Aufgabe.

Entwürfe schreiben. Standardkorrespondenz, Vermerke, Mandantenmails, Rohfassungen wiederkehrender Schreiben. Das Ergebnis geht ohnehin durch Ihre Hand.

Suche mit Quellenangabe. Die KI durchsucht Ihren eigenen Bestand (Vorlagen, Musterschreiben, Aktennotizen, Wissensablage) und nennt zu jeder Antwort die Fundstelle. Fachlich heißt das RAG. Der Nutzen: Sie prüfen nach, statt zu glauben.

Weitere Beispiele und ihre Grenzen stehen im Ratgeber KI in der Kanzlei.

Wo sie endet

• Rechtsfakten. Sprachmodelle können Fundstellen, Aktenzeichen und Leitsätze erfinden. Rechtsaussagen prüfen Sie an der Primärquelle, Recherche gehört weiter in die Fachdatenbanken.
• Qualität. Unter etwa 7 Milliarden Parametern leidet die deutsche Sprachqualität sichtbar; für Schriftverkehr ist die 8B-Klasse die Untergrenze, für gute Qualität die 27B-Klasse (Beispiel: Qwen3.5 27B, Stand 10/2026). Die größten Cloud-Modelle bleiben bei den schwersten Aufgaben besser.
• Urteil und Strategie. Subsumtion, Argumentation und Beratung bleiben Ihre Arbeit.
• Prüfpflicht. Jedes Ergebnis wird gelesen, bevor es das Haus verlässt.

Der Rahmen: Schweigepflicht und Datenschutz

Für Berufsgeheimnisträger ist § 203 StGB der Rahmen. Wer als Dienstleister Zugriff auf Mandantendaten haben kann, wird in der Regel zur Verschwiegenheit verpflichtet. Läuft die KI im eigenen Haus, entfällt die Frage nach einem fremden KI-Anbieter, der Eingaben sieht. Die Prüfung im Einzelfall ersetzt das nicht. Dazu gehören je nach Fall ein Eintrag im Verzeichnis der Verarbeitungstätigkeiten, ein Berechtigungskonzept und eine Löschregel für Chat-Verläufe.

Zur KI-Verordnung: Die Regel zur KI-Kompetenz gilt seit Februar 2025, die Fassung wurde 2026 geändert; den Wortlaut prüfen Sie im Gesetzestext. Einen Überblick gibt KI-Kompetenz-Pflicht für Betriebe.

Was es kostet (Stand Oktober 2026)

Baustein	Betrag
On-Prem-KI-Check (schriftliche Entscheidungsvorlage)	890 €
Einrichtung auf eigener Hardware im Haus	ab 4.990 €
Einrichtung auf einem Server in Deutschland	ab 1.490 €
Anbindung Ihrer Dokumente (RAG)	ab 1.990 €
Team-Workshop mit Teilnahmebestätigung	790 €
Betrieb im Haus, im Monat	449 €
Betrieb auf dem Server in Deutschland, im Monat	249 €

Alle Preise sind Endpreise (§ 19 UStG). Die Betriebs-Abos laufen mindestens drei Monate, danach monatlich kündbar.

Dazu kommt die Hardware. Ich verkaufe keine, die Empfehlung im Check bleibt neutral. Die Rechnung zum Kaufen und Mieten steht in KI-Server kaufen oder mieten, den Überblick über Betriebsarten in Lokale KI im Unternehmen.

Wann es sich nicht lohnt

• Sie geben keine schützenswerten Daten in KI-Werkzeuge ein: dann genügt ein normales Cloud-Abo.
• Niemand im Haus oder im Systemhaus ist für Updates und Sicherungen zuständig, und Sie wollen kein Betriebs-Abo.
• Sie erwarten die Qualität der größten Cloud-Modelle auf einer einzelnen Grafikkarte.

So sieht der Einstieg aus

1. Eine Vorführung mit erfundenen Musterakten statt Ihrer Daten, auf Anfrage.
2. Der Check mit schriftlicher Entscheidungsvorlage. Er darf mit „bleiben Sie bei einer EU-Cloud“ enden.
3. Festpreis und Leistungsumfang schriftlich vor dem Start; zur Abnahme stellen Sie zwanzig eigene Testfragen, die ich mit Ihnen auswerte.

Die Seite zum Angebot ist Lokale KI für Kanzleien und Steuerberater, die Dienstleistung insgesamt steht unter On-Premise KI. Fragen Sie mich gern direkt über das Kontaktformular.