Ollama selbst hosten: 10 bis 20 € im Monat

ChatGPT, Claude und Co. liefern beeindruckende Ergebnisse, aber viele Unternehmen können oder wollen ihre Daten nicht an US-Cloud-Dienste übergeben. Die Alternative: KI-Modelle selbst betreiben, auf eigener Hardware, ohne Datenabfluss. Was vor zwei Jahren noch Expertenwissen erforderte, ist 2026 in wenigen Minuten eingerichtet.

Dieser Artikel zeigt Ihnen den kompletten Stack, vergleicht die verfügbaren Modelle und erklärt, was Sie an Hardware brauchen.

Sie suchen nur eine Zahl? Was der Betrieb kostet und wann sich das gegenüber ChatGPT Plus rechnet, steht kompakt auf KI selbst hosten: Kosten und Ablauf. Welche Hardware Sie für welches Modell brauchen, mit gerechnetem Speicherbedarf und aktuellen Marktpreisen, steht auf Ollama-Hardware und Server mieten. Wenn Sie den Weg dorthin verstehen wollen, lesen Sie einfach weiter.

Der Stack: Drei Bausteine

Eine Self-Hosted-KI-Lösung für Unternehmen besteht aus drei Komponenten:

1. Ollama: der Inference-Server

Ollama ist ein Open-Source-Tool, das KI-Sprachmodelle auf lokaler Hardware ausführt. Es lädt Modelle herunter, verwaltet sie und stellt eine API bereit, kompatibel zum OpenAI-Format. Die Installation erfolgt über Docker oder als native Anwendung.

2. Open WebUI: die Benutzeroberfläche

Open WebUI ist eine browserbasierte Chat-Oberfläche, die sich direkt mit Ollama verbindet. Für Ihre Mitarbeiter fühlt es sich an wie ChatGPT, mit dem Unterschied, dass alles auf Ihrem eigenen Server läuft.

Wichtige Features für den Unternehmenseinsatz:

Benutzerkonten mit Rollen (Admin, User)
Chat-Historien pro Nutzer (privat)
Vorlagen für häufige Aufgaben (System-Prompts)
Eingebaute RAG-Funktion: Firmendokumente hochladen und durchsuchen
Modellauswahl: Nutzer können zwischen verschiedenen Modellen wechseln

3. n8n: die Automation (optional)

Für automatisierte Workflows können Sie n8n einsetzen. Typische KI-Automationen:

Eingehende E-Mails zusammenfassen und Antwortvorschläge generieren
Angebote aus Stichpunkten erstellen
Support-Tickets kategorisieren und priorisieren
Dokumente automatisch zusammenfassen und verschlagworten

n8n verbindet sich über die Ollama-API mit Ihren lokalen Modellen, die Daten bleiben dabei im internen Netzwerk.

Modellvergleich: Welches Modell für welchen Zweck?

Open-Source-Modelle haben in den letzten zwei Jahren enorme Fortschritte gemacht. Hier die wichtigsten Optionen:

Stand der Modell-Angaben: August 2026. Modellnamen sind das Verfallsdatum jedes KI-Artikels. Die Werte unten sind Richtwerte bei 4-Bit-Quantisierung und schwanken mit der Kontextlänge. Wenn Sie diesen Abschnitt deutlich später lesen: Die Klassen und die Auswahl-Logik bleiben gültig, die konkreten Namen prüfen Sie besser gegen die aktuelle Ollama-Bibliothek.

Der wichtigste Punkt zuerst: Deutsch braucht Größe

Unter etwa 7 Milliarden Parametern bricht die deutsche Sprachqualität ein. Sie sehen Grammatikfehler und Modelle, die mitten im Satz ins Englische wechseln. Die ganz kleinen Modelle sind bei der Hardware verlockend, aber für deutschen Schriftverkehr im Betrieb ist die 8B-Klasse die untere Grenze. Wer Angebote und Kundenmails schreiben lässt, ist mit der 27B-Klasse deutlich besser bedient.

Einstiegsklasse (läuft auf bescheidener Hardware)

Modell	Speicherbedarf	Stärke	Deutsch
Qwen3 8B	ca. 6 GB	Allrounder für Text und Anweisungen	Gut
Mistral Small	ca. 14 GB	Solide Textarbeit, europäisches Modell	Gut
Gemma 4 (kleine Variante)	ab ca. 7 GB	Kompakt, versteht auch Bilder	Brauchbar

Geeignet für: E-Mails beantworten, Texte zusammenfassen, Angebote formulieren, einfache Fragen. Für viele Büroaufgaben ausreichend.

Arbeitsklasse (hier tragen lokale Modelle im Alltag wirklich)

Modell	Speicherbedarf	Stärke	Deutsch
Qwen3 27B	ca. 16 GB	Beste Qualität je Gigabyte, passt auf eine 24-GB-Karte	Sehr gut
Qwen3 Coder 30B	ca. 19 GB	Code und lange Dokumente (großes Kontextfenster)	Gut
DeepSeek R1 (destilliert, 14B bis 32B)	ca. 9 bis 20 GB	Schrittweises Denken, Analyse	Gut
Llama 3.3 70B	ca. 43 GB	Arbeitstier für anspruchsvolle Texte	Sehr gut

Geeignet für: Komplexe Analysen, längere Dokumente, anspruchsvolle Texterstellung. Braucht deutlich mehr Speicher und läuft auf kleinen Servern ohne GPU langsam.

Empfehlung für den Einstieg

Starten Sie mit Qwen3 8B. Das Modell läuft auf bescheidener Hardware und reicht für den Geschäftsalltag. Wenn deutsche Texte in Kundenqualität herauskommen sollen, planen Sie die 27B-Klasse ein: Der Sprung in der Sprachqualität ist größer als der Sprung im Hardware-Preis. Wechseln können Sie jederzeit, die Modelle sind austauschbar, das ist der Vorteil offener Gewichte.

Hardware-Anforderungen

Eine ausführliche Aufstellung mit dem gerechneten Speicherbedarf je Modellklasse, den drei Betriebsvarianten und aktuellen Marktpreisen steht auf der Seite Ollama-Hardware: Anforderungen und Server mieten. Hier die Kurzfassung:

Variante 1: VPS (Virtual Private Server)

Ein gemieteter Server bei einem deutschen Anbieter (z.B. Hetzner, Netcup, Dogado):

Minimum: 8 GB RAM, 4 vCPUs → reicht für 7B-Modelle
Empfohlen: 16 GB RAM, 8 vCPUs → komfortabel für 7-8B-Modelle
Kosten: ab ca. 10-20 Euro pro Monat
Vorteil: Kein eigener Serverraum nötig, Daten bleiben in Deutschland

Variante 2: NAS oder Homeserver

Ein leistungsfähiges NAS (Synology, QNAP) oder ein Mini-PC im Büro:

Minimum: 16 GB RAM, moderner x86-Prozessor
Vorteil: Daten verlassen nie das Büronetzwerk, einmalige Kosten
Nachteil: Sie sind für Wartung und Backup selbst verantwortlich

Variante 3: Dedizierter Server mit GPU

Für höchste Anforderungen (70B-Modelle, viele gleichzeitige Nutzer):

Empfohlen: NVIDIA RTX 4090 (24 GB VRAM) oder A6000 (48 GB VRAM)
Kosten: Hetzner GPU-Server ab ca. 150 Euro pro Monat
Vorteil: Antwortzeiten wie bei ChatGPT, auch bei großen Modellen

CPU vs. GPU

Wichtig zu wissen: Ollama läuft auch ohne GPU, dann rechnet der Prozessor. Bei 7B-Modellen ist das akzeptabel (Antwort in 5-15 Sekunden), bei 70B-Modellen wird es langsam (30-60 Sekunden pro Antwort). Eine GPU beschleunigt die Inferenz um den Faktor 5-10.

RAG: Firmenwissen durchsuchbar machen

Die vielleicht spannendste Funktion für Unternehmen: RAG (Retrieval-Augmented Generation). Damit kann das KI-Modell auf Ihre internen Dokumente zugreifen und Fragen dazu beantworten.

So funktioniert es in Open WebUI

Dokumente hochladen: PDF, DOCX, TXT oder Markdown in Open WebUI hochladen
Automatische Verarbeitung: Das System zerlegt die Dokumente in Textabschnitte und erstellt einen Suchindex
Fragen stellen: Wenn Sie eine Frage stellen, durchsucht das System zuerst Ihre Dokumente und gibt dem Modell die relevanten Stellen als Kontext mit
Fundierte Antwort: Das Modell antwortet auf Basis Ihrer tatsächlichen Firmendaten, statt zu raten

Praxisbeispiele

Mitarbeiterhandbuch: “Wie viele Urlaubstage habe ich nach der Probezeit?” → Antwort aus dem Handbuch
Produktkatalog: “Welche unserer Maschinen eignet sich für Aluminium bis 5mm?” → Antwort aus dem Katalog
Vertragstexte: “Was sind die Kündigungsfristen im Rahmenvertrag mit Lieferant X?” → Antwort aus dem Vertrag

Datenschutz bei RAG

Bei Self-Hosted RAG bleiben alle Dokumente und der Suchindex auf Ihrem Server. Es werden keine Daten an externe Dienste übermittelt. Die Dokumente werden nicht zum Training des Modells verwendet, sie dienen ausschließlich als Kontextinformation bei Anfragen.

Self-Hosted vs. ChatGPT Plus: Der Vergleich

Kriterium	Self-Hosted (Ollama)	ChatGPT Plus/Team
Datenschutz	Maximal: Daten bleiben lokal	AVV nötig, Daten bei OpenAI
Modellqualität	Gut (7B) bis sehr gut (70B)	Beste verfügbare (GPT-4o)
Kosten	ab 10 Euro/Monat (VPS)	25-30 Dollar/Nutzer/Monat
Skalierung	Unbegrenzte Nutzer, eine Lizenz	Pro Nutzer bezahlen
Firmenwissen (RAG)	Eingebaut (Open WebUI)	Nur mit Enterprise-Plan
Automatisierung	Volle API-Kontrolle (n8n)	Eingeschränkt (GPTs)
Internetanbindung	Nicht nötig (auch offline)	Zwingend erforderlich
Einrichtung	Technisches Know-how nötig	Sofort nutzbar

Fazit: Für ein Team mit 5 Mitarbeitern kostet ChatGPT Team 125-150 Dollar pro Monat, ohne RAG, ohne Automatisierung, mit Datenschutz-Bedenken. Eine Self-Hosted-Lösung auf einem VPS kostet 10-20 Euro pro Monat, unabhängig von der Nutzerzahl, mit voller DSGVO-Konformität.

Häufige Fragen

Wie lange dauert die Einrichtung?

Ollama + Open WebUI über Docker: ca. 30 Minuten für einen erfahrenen IT-Dienstleister. Modelle herunterladen: je nach Modellgröße und Internetverbindung 5-30 Minuten.

Können meine Mitarbeiter das bedienen?

Ja. Open WebUI sieht aus und funktioniert wie ChatGPT. Wer ChatGPT bedienen kann, kann auch Open WebUI bedienen. Eine kurze Einführung (30-60 Minuten) reicht in der Regel aus.

Was passiert bei einem Serverausfall?

Wie bei jeder IT-Infrastruktur: Regelmäßige Backups sind Pflicht. Bei einem VPS übernimmt der Hoster die Hardware-Verfügbarkeit. Die Chat-Historien und hochgeladenen Dokumente sollten regelmäßig gesichert werden.

Kann ich später auf Cloud-KI wechseln?

Ja, problemlos. Open WebUI kann neben Ollama auch externe APIs anbinden (OpenAI, Anthropic). Sie können den Hybrid-Ansatz nutzen: Standard-Aufgaben lokal, anspruchsvolle Aufgaben über Cloud-API, alles über dieselbe Oberfläche.

Brauche ich dafür einen IT-Dienstleister?

Nicht zwingend, aber empfehlenswert. Die Ersteinrichtung ist mit Docker-Kenntnissen machbar, aber für den sicheren Betrieb (HTTPS, Backup, Monitoring, Updates) ist Fachwissen hilfreich.

Nächster Schritt

Sie möchten Self-Hosted KI in Ihrem Unternehmen einsetzen? Auf der Seite KI selbst hosten stehen die Kosten für Betrieb und Einrichtung getrennt aufgeschlüsselt, dazu die ehrliche Einordnung, für wen sich das rechnet und für wen nicht. Wenn es um einen eigenen KI-Server im Betrieb geht, mit Hardware-Empfehlung, Einrichtung und laufendem Betrieb aus einer Hand, finden Sie die Pakete auf der Seite On-Premise KI.

Mit dem KI-Kickstart richten wir Ollama und Open WebUI an einem Tag für Sie ein, inklusive DSGVO-Dokumentation, Mitarbeiterschulung und 14 Tagen Support.

Kosten und Ablauf ansehen →