llamaindex_ollama_pipeline.py

Das Basis-Rezept für lokales RAG: Dokumente aus einem Ordner indexieren (LlamaIndex) und mit lokalem Ollama-Modell + lokalen Embeddings befragen.

So nutzt du es

Anleitung lesen, Befehle ins Terminal kopieren. Ollama gibt es für macOS, Windows und Linux — Installation von ollama.com.

Im Detail

Diese Anleitung ist das Grundrezept für lokales RAG (Retrieval-Augmented Generation): Dokumente aus einem Ordner werden mit LlamaIndex indexiert, per lokalem Embedding-Modell in Vektoren umgewandelt und anschließend über ein lokal laufendes Ollama-Modell befragt. Der große Vorteil gegenüber Cloud-RAG-Lösungen ist, dass keine Daten das eigene System verlassen – wichtig bei vertraulichen Unterlagen, internen Wikis oder Kundendaten. Als Einstiegspunkt eignet sie sich für alle, die verstehen wollen, wie RAG grundsätzlich funktioniert, bevor sie zu spezialisierteren Varianten wie der GitHub-Integration oder Text-to-SQL wechseln. Für fortgeschrittene Suche (Hybrid, Reranking) muss die Pipeline manuell erweitert werden.

Praxis-Tipp

Zum Einstieg einen kleinen Testordner mit 5-10 PDFs verwenden, um Indexierungszeit und Antwortqualität schnell einschätzen zu können.

Siehe auch

• llamaindex_ollama_github_pipeline.py
• haystack_pipeline.py
• text_to_sql_pipeline.py

Lizenz & Quelle

• Lizenz: MIT
• Quelle: open-webui/pipelines

Lade …