Lokale LLMs · Foto: derekGavey, CC BY 2.0
scaffolds/filter_pipeline_scaffold.py
Zuletzt aktualisiert:
Typ
Anleitung
Lizenz
MIT
Quelle
Anwendungsfeld
Ollama
Voraussetzungen
Keine besonderen — direkt loslegen.
Leeres Gerüst für einen eigenen Filter (inlet/outlet).
So nutzt du es
Anleitung lesen, Befehle ins Terminal kopieren. Ollama gibt es für macOS, Windows und Linux — Installation von ollama.com.
Im Detail
Dieses Scaffold liefert das leere Grundgerüst für einen eigenen Filter in Open WebUI, also für Logik, die Ein- oder Ausgaben automatisch bearbeitet (inlet/outlet), statt selbst ein Modell bereitzustellen. Es enthält die Grundstruktur mit den beiden Methoden, in die eigene Regeln eingetragen werden, etwa um Anfragen zu protokollieren, zu filtern, umzuschreiben oder wie bei rate_limit_filter_pipeline.py zu begrenzen. Sinnvoll für alle, die eine eigene Filterlogik brauchen, die es unter den fertigen Beispielen noch nicht gibt, und lieber von einem minimalen Startpunkt aus arbeiten als ein bestehendes Beispiel umzubauen.
Praxis-Tipp
Bestehende Filter wie llm_translate_filter_pipeline.py oder dynamic_ollama_vision_filter_pipeline.py als Referenz danebenlegen, um zu sehen, wie inlet und outlet typischerweise zusammenspielen, bevor man die eigene Logik einträgt.
Siehe auch
Lizenz & Quelle
- Lizenz: MIT
- Quelle: open-webui/pipelines
Inhalt ansehen (filter_pipeline_scaffold.py)
Lade …
Erfahrungen & Kommentare.
Funktioniert der Anleitung bei Ihnen? Tipps, Stolperfallen, Varianten — teilen Sie es mit der Community.
Lade Kommentare …
Passt dazu.
ollama_pipeline.py
Minimalbeispiel: Anfragen an einen Ollama-Server durchreichen — der beste Startpunkt, um das Pipeline-Prinzip zu verstehen.
ollama_manifold_pipeline.py
„Manifold": macht alle auf dem Ollama-Server installierten Modelle auf einmal verfügbar statt nur eines.
llama_cpp_pipeline.py
GGUF-Modelle direkt über die llama-cpp-python-Bibliothek fahren — ohne Ollama dazwischen.
