text-generation-webui (oobabooga)

Das „Schweizer Taschenmesser“ der LLM-Web-UIs: viele Backends (llama.cpp, Transformers, ExLlama), Charaktere, Erweiterungen, Trainings-/LoRA-Funktionen. Für Bastler, die alles einstellen wollen.

So nutzt du es

Tool über den verlinkten Anbieter installieren (Details und Systemvoraussetzungen im Repo). Diese Programme laden und betreiben lokale Modelle — sie sind der „Player“, das Modell ist die „Musik“.

Plattformen: macOS, Windows, Linux

Im Detail

text-generation-webui, auch „oobabooga“ genannt, ist die vielseitigste unter den lokalen LLM-Oberflächen: Es unterstützt mehrere Backends parallel (llama.cpp, Transformers, ExLlama u. a.), bringt Charakterprofile für Rollenspiele mit, ein Erweiterungssystem für zusätzliche Funktionen und sogar eigene Trainings- und LoRA-Funktionen zum Feintunen von Modellen. Im Vergleich zu schlankeren Tools wie Ollama oder LM Studio ist die Einrichtung komplexer und die Oberfläche technischer, dafür bietet nichts sonst so viele Stellschrauben an einem Ort. Geeignet ist es vor allem für Nutzer, die experimentieren, Modelle feintunen oder verschiedene Backends direkt vergleichen wollen – für den schnellen, unkomplizierten Einstieg sind andere Tools besser.

Praxis-Tipp

Für erste LoRA-Trainingsversuche den integrierten Training-Tab nutzen und mit einem kleinen 7B-Modell sowie einem überschaubaren eigenen Textkorpus starten, bevor man sich an größere Modelle wagt.

Siehe auch

• KoboldCpp
• llama.cpp

Lizenz & Quelle

• Lizenz: AGPL-3.0 → nur Link
• Quelle: GitHub