machichdigital

Lokale LLMs · Foto: derekGavey, CC BY 2.0

ToolRunner-ToolsLizenz: AGPL-3.0 → nur Link

Khoj

Zuletzt aktualisiert:

⧉ –× kopiert⬇ –× heruntergeladenBewertung:

Typ

Tool

Lizenz

AGPL-3.0 → nur Link

Anwendungsfeld

Runner-Tools

Voraussetzungen

Keine besonderen — direkt loslegen.

Selbstgehosteter KI-Assistent für die eigenen Notizen/Dokumente (Obsidian, Markdown, PDF, Notion): semantische Suche + Chat, auch mit lokalen Modellen als Backend.

So nutzt du es

Tool über den verlinkten Anbieter installieren (Details und Systemvoraussetzungen im Repo). Diese Programme laden und betreiben lokale Modelle — sie sind der „Player“, das Modell ist die „Musik“.

Plattformen: Docker, pip; Obsidian-/Emacs-Plugins, Web

Im Detail

Khoj ist ein selbst gehosteter Assistent, der sich direkt an die eigene Wissensbasis andockt: Obsidian-Vaults, Markdown-Dateien, PDFs oder Notion-Seiten werden semantisch durchsuchbar und lassen sich per Chat befragen, statt nur klassische Volltextsuche zu bieten. Als Backend können sowohl Cloud-Modelle als auch lokale LLMs über Server wie Ollama laufen, sodass sensible Notizen komplett lokal verarbeitet werden können. Über Plugins ist Khoj direkt in Obsidian und Emacs integriert, alternativ per Weboberfläche nutzbar. Besonders interessant für alle, die ihr Zettelkasten- oder Notizsystem als zweites Gehirn nutzen und es aktiv befragen statt nur durchblättern wollen. Das Setup per Docker oder pip erfordert etwas technisches Know-how.

Praxis-Tipp

Khoj per Docker mit Ollama als lokalem Backend betreiben, dann bleiben Notizen-Suche und Chat komplett offline und privat.

Siehe auch

Lizenz & Quelle

Erfahrungen & Kommentare.

Funktioniert der Tool bei Ihnen? Tipps, Stolperfallen, Varianten — teilen Sie es mit der Community.

Lade Kommentare …

Ihre IP-Adresse wird zum Schutz vor Missbrauch gespeichert und nach 14 Tagen automatisch entfernt (Datenschutz).

Passt dazu.

Ollama

Der De-facto-Standard. Modelle mit einem Befehl laden und ausführen (ollama run llama3.1), integrierte Modell-Library, OpenAI-kompatible API auf Port 11434. Basis für unzählige andere Tools.

MIT♥ –⧉ –

LM Studio

Die komfortabelste Desktop-GUI: Modelle aus Hugging Face suchen, laden, chatten, Parameter per Regler, RAG per Drag-and-drop, lokaler OpenAI-API-Server. MLX-Support auf Apple Silicon.

Proprietär (App kostenlos, auch für Firmen; SDK/CLI: MIT)♥ –⧉ –

llama.cpp

Die Engine unter fast allem (Ollama, LM Studio, …): C/C++-Inferenz für GGUF-Modelle auf CPU und jeder GPU (CUDA, Metal, Vulkan, ROCm). Wer direkt damit arbeitet, bekommt maximale Kontrolle und die neuesten Features zuerst.

MIT♥ –⧉ –