TextGen
Open-Source-Oberfläche im Browser, mit der du Sprachmodelle offline auf dem eigenen Rechner betreibst, inklusive API und LoRA-Training.
Was es kann
Text Generation WebUI, inzwischen unter dem Namen TextGen geführt, ist eine Browser-Oberfläche, mit der du Sprachmodelle auf dem eigenen Rechner betreibst. Als Backends stehen llama.cpp, ik_llama.cpp, Transformers, ExLlamaV3 und TensorRT-LLM bereit, zwischen denen du ohne Neustart wechselst. Du chattest im Instruct- oder Chat-Modus, hängst Bilder, PDFs und Word-Dateien an und verzweigst Unterhaltungen. Dazu kommen ein Notizbuch für freie Texte, LoRA-Fine-Tuning, Bildgenerierung über Diffusers-Modelle, Tool-Calling mit MCP-Servern und eine zu OpenAI und Anthropic kompatible API. Portable Builds gibt es für Windows, macOS und Linux, außerdem Docker-Images.
Für wen es passt
Für Entwickler und technisch versierte Teams, die offene Modelle testen, vergleichen oder per API in eigene Anwendungen einbinden wollen, ohne Daten an einen Cloud-Dienst zu geben.
Datenschutz im Unternehmen
Die Software läuft lokal, laut Projekt ohne Telemetrie, externe Ressourcen oder Update-Anfragen. Eingaben bleiben auf deinem Rechner oder Server und werden nicht zum Training genutzt; die Daten liegen dort, wo du die Software betreibst. Einen Auftragsverarbeitungsvertrag gibt es nicht, weil kein Anbieter deine Daten verarbeitet. Geschäftstarife bietet das Projekt nicht an.
Grenzen
Die Leistung hängt von deiner Hardware ab; größere Modelle brauchen eine starke Grafikkarte. Einrichtung und Modellwahl erfordern technisches Wissen. Hilfe gibt es nur über die Community, und die AGPL-3.0-Lizenz ist bei Weitergabe oder Netzbetrieb zu beachten.