Lokale LLMs · Foto: derekGavey, CC BY 2.0

AnleitungOllamaLizenz: MITfrei kopierbar

haystack_pipeline.py

Zuletzt aktualisiert: 22. September 2026

⬇ Als Datei laden

⧉ –× kopiert⬇ –× heruntergeladenBewertung:

Typ

Anleitung

Lizenz

MIT

Quelle

open-webui/pipelines ↗

Anwendungsfeld

Ollama

Voraussetzungen

Haystack-Framework installiert
Lokal laufendes Ollama-Modell
Eigene Dokumente zum Einlesen
Grundkenntnisse in Python und RAG-Pipelines

Einordnung

Setzt ein funktionierendes Haystack- und Ollama-Setup voraus, bietet dafür eine produktionsnahe, modulare RAG-Vorlage.

Gleiches RAG-Prinzip mit dem Haystack-Framework (deutsche Firma deepset) statt LlamaIndex.

Im Detail

haystack_pipeline.py zeigt den gleichen Grundgedanken wie die LlamaIndex-basierten Beispiele, nur mit dem Haystack-Framework der deutschen Firma deepset als Unterbau: Eigene Dokumente werden eingelesen, in Chunks zerlegt, embedded und bei einer Anfrage per Retrieval herangezogen, bevor das lokale Ollama-Modell die Antwort formuliert. Haystack bringt eine ausgereifte, modulare Pipeline-Architektur mit, die sich gut für produktionsnahe RAG-Setups mit mehreren Verarbeitungsschritten eignet. Wer schon mit Haystack arbeitet oder dessen Komponenten (z. B. verschiedene Retriever oder Document Stores) nutzen möchte, findet hier eine fertige Vorlage für die Anbindung an lokale Modelle statt Cloud-APIs.

Schritt für Schritt

Eigene Dokumente in Chunks zerlegen und embedden lassen.
Passendes Ollama-Modell lokal bereitstellen, das später die Antworten formuliert.
Retrieval-Schritt konfigurieren, der bei einer Anfrage passende Chunks heranzieht.
Pipeline mit eigenen Testfragen durchlaufen lassen und die Antwortqualität prüfen.
Bei Bedarf einzelne Komponenten wie Retriever oder Document Store austauschen, wie es Haystacks modulare Architektur erlaubt.

Beispiel aus der Praxis

Ein Team lässt seine internen Handbücher über die Haystack-Pipeline einlesen und stellt über das lokale Ollama-Modell Fragen dazu, ohne dass Dokumente je eine Cloud-API verlassen.

Praxis-Tipp

Wenn Sie bereits eine Haystack-Pipeline mit einem bestimmten Document Store (z. B. Elasticsearch oder Weaviate) betreiben, lässt sich dieses Beispiel direkt darauf umstellen, statt bei null anzufangen.

Stolperfallen

Wer die Pipeline eins zu eins aus einer LlamaIndex-Variante übernimmt, ohne Haystacks eigene Komponentenstruktur aus Retrievern und Document Stores zu verstehen, verschenkt den Vorteil der modularen Architektur.

Siehe auch

Lizenz & Quelle

Lizenz: MIT
Quelle: open-webui/pipelines

Häufige Fragen.

Was unterscheidet dieses Skript von LlamaIndex-basierten Beispielen?

Es nutzt dasselbe Grundprinzip aus Einlesen, Chunking, Embedding und Retrieval, aber mit dem Haystack-Framework der deutschen Firma deepset als Unterbau.

Läuft das komplett lokal?

Ja, ein lokales Ollama-Modell formuliert die Antwort, statt eine Cloud-API zu nutzen.

Für wen eignet sich das besonders?

Für alle, die bereits mit Haystack arbeiten oder dessen Komponenten wie verschiedene Retriever oder Document Stores nutzen möchten.

Inhalt ansehen (haystack_pipeline.py)

Lade …

Erfahrungen & Kommentare.

Funktioniert der Anleitung bei Ihnen? Tipps, Stolperfallen, Varianten — teilen Sie es mit der Community.

Lade Kommentare …