Ollama

Was es kann

Ollama lädt offene Sprachmodelle wie Gemma, Qwen, DeepSeek oder GLM auf deinen Rechner und führt sie dort aus – über die Kommandozeile, die Desktop-App oder eine lokale REST-API. Die API ist mit OpenAI- und Anthropic-Clients kompatibel, dazu gibt es offizielle Bibliotheken für Python und JavaScript sowie ein Docker-Image. Unterstützt werden Tool Calling, strukturierte Ausgaben, Bildverarbeitung und Embeddings, etwa für eigene RAG-Anwendungen. Wer keine passende Hardware hat, nutzt größere Modelle über Ollamas Cloud.

Für wen es passt

Für Entwicklerinnen und Entwickler sowie IT-Teams, die KI-Anwendungen bauen oder testen wollen, ohne Daten an externe Dienste zu schicken. Ollama dient auch als Unterbau für Oberflächen wie Open WebUI oder AnythingLLM und für Coding-Agenten im Terminal.

Datenschutz im Unternehmen

Lokal ausgeführt bleiben deine Eingaben auf deinem Gerät, Ollama erhebt dabei keine Inhalte. Für die Cloud-Modelle gilt: Eingaben und Antworten werden nur für die Anfrage verarbeitet, nicht gespeichert und nicht zum Training verwendet – abschalten musst du nichts. Die Cloud läuft vor allem in den USA, bei Engpässen auch in Europa und Singapur; eine feste Datenhaltung in Europa bietet der Anbieter nicht an. Einen Auftragsverarbeitungsvertrag nennt der Anbieter nicht. Für Firmen gibt es den Team-Tarif sowie Enterprise mit Zugriffssteuerung und Sicherheitsfragebögen.

So setzen wir es ein

Ollama empfehlen wir vor allem in drei Fällen: wenn sensible Daten das Haus nicht verlassen dürfen (etwa Gesundheits- oder Mandantendaten), wenn viele Anfragen in der Cloud teuer würden und wenn eine Anwendung ohne Internetverbindung laufen soll.

Grenzen

Wie schnell und welche Modelle lokal laufen, hängt von deiner Hardware ab; große Modelle sind auf einfachen Laptops kaum nutzbar. Offene Modelle erreichen nicht immer die Qualität der besten kommerziellen Dienste. Die Einrichtung setzt Grundkenntnisse in Kommandozeile oder API voraus.