Lokale LLMs · Foto: derekGavey, CC BY 2.0
Khoj
Zuletzt aktualisiert:
Typ
Tool
Lizenz
AGPL-3.0 → nur Link
Quelle
Anwendungsfeld
Runner-Tools
Voraussetzungen
Keine besonderen — direkt loslegen.
Selbstgehosteter KI-Assistent für die eigenen Notizen/Dokumente (Obsidian, Markdown, PDF, Notion): semantische Suche + Chat, auch mit lokalen Modellen als Backend.
So nutzt du es
Tool über den verlinkten Anbieter installieren (Details und Systemvoraussetzungen im Repo). Diese Programme laden und betreiben lokale Modelle — sie sind der „Player“, das Modell ist die „Musik“.
Plattformen: Docker, pip; Obsidian-/Emacs-Plugins, Web
Im Detail
Khoj ist ein selbst gehosteter Assistent, der sich direkt an die eigene Wissensbasis andockt: Obsidian-Vaults, Markdown-Dateien, PDFs oder Notion-Seiten werden semantisch durchsuchbar und lassen sich per Chat befragen, statt nur klassische Volltextsuche zu bieten. Als Backend können sowohl Cloud-Modelle als auch lokale LLMs über Server wie Ollama laufen, sodass sensible Notizen komplett lokal verarbeitet werden können. Über Plugins ist Khoj direkt in Obsidian und Emacs integriert, alternativ per Weboberfläche nutzbar. Besonders interessant für alle, die ihr Zettelkasten- oder Notizsystem als zweites Gehirn nutzen und es aktiv befragen statt nur durchblättern wollen. Das Setup per Docker oder pip erfordert etwas technisches Know-how.
Praxis-Tipp
Khoj per Docker mit Ollama als lokalem Backend betreiben, dann bleiben Notizen-Suche und Chat komplett offline und privat.
Siehe auch
Lizenz & Quelle
Erfahrungen & Kommentare.
Funktioniert der Tool bei Ihnen? Tipps, Stolperfallen, Varianten — teilen Sie es mit der Community.
Lade Kommentare …
Passt dazu.
Ollama
Der De-facto-Standard. Modelle mit einem Befehl laden und ausführen (ollama run llama3.1), integrierte Modell-Library, OpenAI-kompatible API auf Port 11434. Basis für unzählige andere Tools.
LM Studio
Die komfortabelste Desktop-GUI: Modelle aus Hugging Face suchen, laden, chatten, Parameter per Regler, RAG per Drag-and-drop, lokaler OpenAI-API-Server. MLX-Support auf Apple Silicon.
llama.cpp
Die Engine unter fast allem (Ollama, LM Studio, …): C/C++-Inferenz für GGUF-Modelle auf CPU und jeder GPU (CUDA, Metal, Vulkan, ROCm). Wer direkt damit arbeitet, bekommt maximale Kontrolle und die neuesten Features zuerst.
