langgraph_adaptive_rag_local.ipynb

Adaptive RAG komplett mit lokalen LLMs (Ollama) — ohne Cloud-API.

Für wen: Datenschutz-sensible Setups, Offline-Betrieb.

So nutzt du es

Das sind Jupyter-Notebooks: herunterladen, pip install langchain langgraph und in Jupyter/VS Code öffnen. Die Notebooks erklären Schritt für Schritt agentische RAG-Muster zum Nachbauen.

Im Detail

Identische Adaptive-RAG-Logik wie das Cloud-Pendant – Routing zwischen Index-Abruf und Websuche plus Selbstkorrektur –, aber komplett mit lokalen LLMs über Ollama betrieben, also ohne Daten an eine Cloud-API zu senden. Das macht es relevant für Setups mit Datenschutzanforderungen oder Offline-Betrieb, etwa in Firmen, die keine sensiblen Dokumente an externe APIs schicken dürfen. Der Kompromiss: lokale Modelle sind in Routing- und Bewertungsqualität meist schwächer als GPT-4-Klasse-Modelle, wodurch die Selbstkorrektur weniger zuverlässig greift. Sinnvoll als Machbarkeitsstudie oder für Teams mit brauchbarer lokaler GPU-Infrastruktur, weniger für Produktionssysteme mit hohen Genauigkeitsanforderungen.

Praxis-Tipp

Vor dem produktiven Einsatz mit einem größeren lokalen Modell testen (z. B. Llama 3 70B statt 8B), da kleinere Modelle beim Routing-Schritt spürbar häufiger falsch entscheiden.

Siehe auch

• langgraph_adaptive_rag.ipynb
• langgraph_crag_local.ipynb
• langgraph_self_rag_local.ipynb

Lizenz & Quelle

• Lizenz: MIT
• Quelle: langchain-ai/langgraph

Lade …