Agent-Frameworks · Foto: m4rlonj, CC BY 2.0
langgraph_crag_local.ipynb
Zuletzt aktualisiert:
Typ
Code-Beispiel
Lizenz
MIT
Quelle
Anwendungsfeld
LangChain / LangGraph
Wie oben, lokal/offline.
Voraussetzungen
- Ollama lokal installiert inklusive der benötigten Modelle
- Ausreichend Arbeitsspeicher/Rechenleistung für lokale LLM-Inferenz
- Grundkenntnisse in Python und LangGraph
CRAG mit lokalen LLMs (Ollama).
Für wen: Wie oben, lokal/offline.
Im Detail
Gleiche Corrective-RAG-Logik wie im Cloud-Beispiel — Dokument-Grading nach dem Abruf, Websuche als Fallback bei schwacher Qualität —, aber vollständig mit lokalen Modellen über Ollama. Damit lässt sich das Grading-Konzept ohne API-Kosten und ohne Datenabfluss testen, wichtig bei sensiblen internen Dokumenten. Die Grading-Genauigkeit hängt stark vom gewählten lokalen Modell ab: Kleinere Modelle bewerten Dokumentrelevanz oft ungenauer als GPT-4-Klasse-Modelle, was zu unnötigen Websuchen oder übersehenen schlechten Treffern führen kann. Guter Startpunkt, um die CRAG-Architektur lokal zu prototypisieren, bevor man für den produktiven Einsatz auf ein leistungsfähigeres Cloud-Modell wechselt.
Schritt für Schritt
- Ollama-Modelle für Dokument-Bewertung, Antwortgenerierung und ggf. Query-Umformulierung festlegen
- Notebook gegen eigene Dokumente bzw. eine eigene Wissensbasis testen
- Grading-Ergebnisse stichprobenartig prüfen, da lokale Modelle bei Bewertungsaufgaben ungenauer sind als Cloud-Modelle
- Bei schwacher Bewertungsqualität Modell wechseln oder Prompts anpassen
- Notebook als Startvorlage für eine später optimierte On-Premise-Lösung nutzen
Beispiel aus der Praxis
Für eine firmeninterne Wissensdatenbank ohne Internetzugang bewertet CRAG abgerufene Dokumente lokal per Ollama und generiert die Antwort komplett offline, ohne dass Daten eine Cloud-API erreichen.
Praxis-Tipp
Vergleichen Sie die Grading-Entscheidungen des lokalen Modells stichprobenartig mit einem Cloud-Modell, um die Fehlerquote realistisch einzuschätzen.
Stolperfallen
Lokale Modelle bewerten Dokumentrelevanz oft weniger zuverlässig als GPT-4-Klasse-Modelle, wodurch falsch eingestufte Dokumente in die Antwort einfließen können - Grading-Ausgaben deshalb stichprobenartig gegenprüfen statt blind zu vertrauen.
Siehe auch
Lizenz & Quelle
- Lizenz: MIT
- Quelle: langchain-ai/langgraph
Inhalt ansehen (langgraph_crag_local.ipynb)
Lade …
Erfahrungen & Kommentare.
Funktioniert der Code-Beispiel bei Ihnen? Tipps, Stolperfallen, Varianten — teilen Sie es mit der Community.
Lade Kommentare …
Passt dazu.
langgraph_agentic_rag.ipynb
Agentic RAG: Ein Agent entscheidet selbst, ob/was er aus dem Vektorindex abruft, statt stur immer zu suchen.
langgraph_adaptive_rag.ipynb
Adaptive RAG: Router wählt je Frage die Strategie (Index-Abruf vs. Websuche) + Selbstkorrektur bei schlechten Treffern.
langgraph_adaptive_rag_local.ipynb
Adaptive RAG komplett mit lokalen LLMs (Ollama) — ohne Cloud-API.