llm_translate_filter_pipeline.py

Übersetzt Nutzer-Eingabe und Antwort per (lokalem) LLM — z. B. Deutsch fragen, englisch-starkes Modell nutzen, Deutsch antworten.

So nutzt du es

Anleitung lesen, Befehle ins Terminal kopieren. Ollama gibt es für macOS, Windows und Linux — Installation von ollama.com.

Im Detail

Dieser Filter schaltet sich zwischen Nutzereingabe und Sprachmodell: Ihre deutsche Frage wird per (lokalem) LLM ins Englische übersetzt, an ein englisch-optimiertes Modell geschickt und die Antwort anschließend zurück ins Deutsche übertragen. Das lohnt sich, wenn ein Modell in Englisch deutlich stärker ist als in Deutsch – etwa bei Fachfragen, Code-Erklärungen oder komplexem Reasoning – die Unterhaltung aber trotzdem auf Deutsch ablaufen soll. Der Nachteil: Jede Anfrage braucht zwei zusätzliche LLM-Durchläufe, was Antwortzeit kostet und bei schwacher Hardware spürbar ist. Für einsprachige Nutzung mit einem ohnehin guten deutschen Modell ist der Umweg unnötig; er zahlt sich vor allem bei sehr englischlastigen Spezialmodellen aus.

Praxis-Tipp

Setzen Sie den Filter ein, wenn Sie ein starkes englisches Reasoning-Modell nutzen wollen, aber Fragen wie „Erkläre mir Kubernetes Networking“ lieber auf Deutsch stellen und auch auf Deutsch beantwortet bekommen möchten.

Siehe auch

• libretranslate_filter_pipeline.py

Lizenz & Quelle

• Lizenz: MIT
• Quelle: open-webui/pipelines

Lade …