llm_translate_filter_pipeline.py

Übersetzt Nutzer-Eingabe und Antwort per (lokalem) LLM — z. B. Deutsch fragen, englisch-starkes Modell nutzen, Deutsch antworten.

So nutzt du es

Anleitung lesen, Befehle ins Terminal kopieren. Ollama gibt es für macOS, Windows und Linux — Installation von ollama.com.

Im Detail

Dieser Filter übersetzt Ein- und Ausgabe automatisch per LLM: Die Nutzerfrage wird z. B. von Deutsch ins Englische übersetzt, an ein Modell geschickt, das in Englisch stärker ist, und die Antwort wird zurück ins Deutsche übertragen. Sinnvoll, wenn das bevorzugte Modell hauptsächlich mit englischen Trainingsdaten glänzt, man aber auf Deutsch chatten möchte. Der Nachteil: Jede Anfrage braucht zwei zusätzliche LLM-Aufrufe für die Übersetzung, was Antwortzeit und Rechenlast erhöht. Für reine Übersetzungsqualität ohne diesen Umweg lohnt sich ein Vergleich mit der LibreTranslate-Variante, die eine dedizierte, schnellere Übersetzungs-Engine statt eines generischen LLMs nutzt.

Praxis-Tipp

Nur aktivieren, wenn das Hauptmodell auf Englisch spürbar besser antwortet als auf Deutsch – sonst kostet der Umweg nur Zeit ohne Qualitätsgewinn.

Siehe auch

• libretranslate_filter_pipeline.py

Lizenz & Quelle

• Lizenz: MIT
• Quelle: open-webui/pipelines

Lade …