dynamic_ollama_vision_filter_pipeline.py

Leitet Anfragen mit Bildern automatisch an ein Vision-Modell (z. B. llava) um — Text-Modell und Bild-Modell wirken wie eines.

So nutzt du es

Anleitung lesen, Befehle ins Terminal kopieren. Ollama gibt es für macOS, Windows und Linux — Installation von ollama.com.

Im Detail

Diese Pipeline löst ein häufiges Problem bei lokalen Setups: Das Haupt-Chatmodell kann meist keine Bilder verarbeiten, ein Vision-Modell wie LLaVA schon. Statt manuell zwischen Modellen zu wechseln, erkennt die Pipeline automatisch, ob eine Nachricht ein Bild enthält, und routet die Anfrage transparent an das passende Vision-Modell in Ollama um — für Nutzer fühlt es sich an, als hätte man ein einziges multimodales Modell. Praktisch für Open-WebUI-Setups mit mehreren spezialisierten Modellen. Voraussetzung: Ein Vision-Modell wie llava muss bereits in Ollama installiert sein.

Praxis-Tipp

llava oder llava-llama3 vorher per “ollama pull llava” laden, sonst läuft die Weiterleitung ins Leere.

Siehe auch

• llm_translate_filter_pipeline.py
• libretranslate_filter_pipeline.py

Lizenz & Quelle

• Lizenz: MIT
• Quelle: open-webui/pipelines

Lade …