libretranslate_filter_pipeline.py

Dasselbe mit selbstgehostetem LibreTranslate statt LLM — deterministisch und schnell.

So nutzt du es

Anleitung lesen, Befehle ins Terminal kopieren. Ollama gibt es für macOS, Windows und Linux — Installation von ollama.com.

Im Detail

Diese Pipeline übersetzt Ein- oder Ausgaben in einem Open-WebUI-Filter automatisch, nutzt dafür aber statt eines LLMs den selbst gehosteten Übersetzungsdienst LibreTranslate. Der große Vorteil gegenüber einer LLM-basierten Übersetzung: Das Ergebnis ist deterministisch, also bei gleichem Text immer identisch, und die Verarbeitung ist deutlich schneller sowie ressourcenschonender, da kein großes Sprachmodell für die reine Übersetzungsaufgabe bemüht wird. Sinnvoll für Setups, in denen Nutzer in ihrer Muttersprache schreiben, das eigentliche Modell aber auf Englisch arbeitet (oder umgekehrt), und bei denen Übersetzungsqualität wichtiger ist als sprachliche Nuancen, die ein LLM mitbringen könnte. Voraussetzung ist ein laufender LibreTranslate-Server.

Praxis-Tipp

LibreTranslate lokal per Docker betreiben und die Pipeline so konfigurieren, dass eingehende deutsche Nachrichten vor der Verarbeitung ins Englische und Antworten wieder zurückübersetzt werden.

Siehe auch

• llm_translate_filter_pipeline.py

Lizenz & Quelle

• Lizenz: MIT
• Quelle: open-webui/pipelines

Lade …