text-generation-webui (oobabooga)

Das „Schweizer Taschenmesser“ der LLM-Web-UIs: viele Backends (llama.cpp, Transformers, ExLlama), Charaktere, Erweiterungen, Trainings-/LoRA-Funktionen. Für Bastler, die alles einstellen wollen.

So nutzt du es

Tool über den verlinkten Anbieter installieren (Details und Systemvoraussetzungen im Repo). Diese Programme laden und betreiben lokale Modelle — sie sind der „Player“, das Modell ist die „Musik“.

Plattformen: macOS, Windows, Linux

Im Detail

text-generation-webui, besser bekannt unter dem Namen seines Entwicklers oobabooga, ist die Web-UI für Bastler: Sie unterstützt praktisch jedes gängige Backend (llama.cpp, Transformers, ExLlama, AutoGPTQ) unter einer Oberfläche, bringt Charakterprofile für Rollenspiel-Chats mit und erlaubt sogar eigenes Fine-Tuning bzw. LoRA-Training direkt aus der UI. Diese Fülle an Optionen ist zugleich Stärke und Schwäche: Wer eine schnelle, aufgeräumte Chat-Oberfläche will, ist mit Ollama plus Open WebUI oder LM Studio besser bedient. Wer dagegen genau steuern will, welches Quantisierungsformat, welcher Sampler und welche Erweiterung zum Einsatz kommt, findet hier die mit Abstand meisten Stellschrauben aller lokalen LLM-Oberflächen.

Praxis-Tipp

Für Rollenspiel-Chats ein Charakterprofil anlegen und den passenden Instruction-Template-Modus (z. B. Alpaca oder ChatML) zum geladenen Modell auswählen.

Siehe auch

• llama.cpp
• KoboldCpp
• Ollama

Lizenz & Quelle

• Lizenz: AGPL-3.0 → nur Link
• Quelle: GitHub