detoxify_filter_pipeline.py

Erkennt toxische Nachrichten (lokales Detoxify-Modell) und blockt sie vor dem LLM.

So nutzt du es

Anleitung lesen, Befehle ins Terminal kopieren. Ollama gibt es für macOS, Windows und Linux — Installation von ollama.com.

Im Detail

Diese Open-WebUI-Pipeline schaltet ein lokales Detoxify-Modell vor den eigentlichen Chat: Eingehende (und optional ausgehende) Nachrichten werden auf Beleidigungen, Hassrede oder toxische Sprache geprüft und bei Überschreiten eines Schwellenwerts blockiert, bevor sie an das Sprachmodell gehen. Das ist sinnvoll für öffentlich zugängliche Bots, Community-Tools oder Kundensupport-Chats, wo man nicht will, dass jede Eingabe ungefiltert durchgereicht wird. Da die Prüfung lokal läuft, bleibt sie schnell und ohne externe API-Kosten. Wer nur eine private Instanz betreibt, braucht das meist nicht.

Praxis-Tipp

Schwellenwert in der Pipeline-Konfiguration schrittweise anpassen — zu streng blockiert harmlose Nachrichten, zu locker lässt Toxisches durch.

Siehe auch

• dynamic_ollama_vision_filter_pipeline.py
• llm_translate_filter_pipeline.py

Lizenz & Quelle

• Lizenz: MIT
• Quelle: open-webui/pipelines

Lade …