llamaindex_ollama_pipeline.py

Das Basis-Rezept für lokales RAG: Dokumente aus einem Ordner indexieren (LlamaIndex) und mit lokalem Ollama-Modell + lokalen Embeddings befragen.

So nutzt du es

Anleitung lesen, Befehle ins Terminal kopieren. Ollama gibt es für macOS, Windows und Linux — Installation von ollama.com.

Im Detail

Das Grundrezept für lokales RAG in Open WebUI: Dateien aus einem Ordner werden mit LlamaIndex eingelesen, in Chunks zerlegt, mit lokalen Embeddings vektorisiert und bei einer Anfrage passend an ein lokales Ollama-Modell übergeben. Alles läuft offline, keine Daten verlassen den Rechner. Guter Startpunkt, um eigene Dokumente, Notizen oder Handbücher durchsuchbar zu machen, ohne Cloud-Dienste wie ChatGPT mit Dateien zu füttern. Wer statt Ordnern eine spezifischere Quelle braucht (GitHub-Repo, SQL-Datenbank), findet dafür angepasste Varianten – als generischer Einstieg in RAG mit Open WebUI ist diese Pipeline aber die richtige erste Anlaufstelle.

Praxis-Tipp

Ordner mit 10–20 Testdokumenten (PDFs, Markdown) befüllen und erst mit einem kleinen Embedding-Modell wie nomic-embed-text starten, bevor man auf große Datenmengen skaliert.

Siehe auch

• llamaindex_ollama_github_pipeline.py
• haystack_pipeline.py
• text_to_sql_pipeline.py

Lizenz & Quelle

• Lizenz: MIT
• Quelle: open-webui/pipelines

Lade …