Ollama
Open-Source-Tool zum lokalen Ausführen von KI-Sprachmodellen (LLMs) auf eigener Hardware — ohne Cloud, ohne Datenabfluss.
Ollama ist ein Open-Source-Tool, mit dem Sie große Sprachmodelle (LLMs) lokal auf Ihrem eigenen Computer oder Server ausführen können. Das bedeutet: KI-Nutzung ohne Cloud-Anbindung und ohne dass Ihre Daten das eigene Netzwerk verlassen.
Warum ist das relevant?
Für Unternehmen, die DSGVO-konform mit KI arbeiten wollen, ist Ollama eine der einfachsten Lösungen. Die Daten bleiben zu 100 % intern — kein Auftragsverarbeiter, kein Drittland-Transfer, kein AVV nötig.
Unterstützte Modelle
Ollama unterstützt zahlreiche Open-Source-Modelle, darunter:
- Llama 3.1 (Meta) — stark bei Reasoning und Deutsch
- Mistral — schnell und effizient, gute deutsche Sprachqualität
- Gemma (Google) — kompakt und leistungsfähig
Typischer Einsatz
Ollama dient als Inference-Server im Hintergrund. Als Benutzeroberfläche wird häufig Open WebUI eingesetzt, das eine ChatGPT-ähnliche Oberfläche bietet. Die Installation erfolgt über Docker und dauert wenige Minuten.
Ollama bei webAION
Diese passenden Services nutzen das Konzept von Ollama in der Praxis: