Lokale LLMs · Foto: derekGavey, CC BY 2.0
AnythingLLM
Zuletzt aktualisiert:
Typ
Tool
Lizenz
MIT
Quelle
Anwendungsfeld
Runner-Tools
Wer ein fertiges Programm will, um eigene Dokumente mit KI zu durchsuchen, ohne selbst etwas zusammenzustecken.
Voraussetzungen
- Installation der Desktop-App (Mac/Windows/Linux) oder eines Docker-Containers
- Ein Modell-Backend – lokal über Ollama oder eine Cloud-API
- Eigene Dokumente, Notizen oder Wissensbestände zum Hochladen
Eine All-in-One-Desktop-App, die lokale oder Cloud-Modelle mit einer eingebauten Dokumenten-Datenbank verbindet — Arbeitsbereiche, RAG und Chat in einem Fenster.
Für wen: Wer ein fertiges Programm will, um eigene Dokumente mit KI zu durchsuchen, ohne selbst etwas zusammenzustecken.
Installation
Desktop-Installer von anythingllm.com laden (Mac/Windows/Linux), Doppelklick, fertig. Beim ersten Start wählen Sie den Modell-Anbieter — für komplett lokal: Ollama auswählen.
Erste Schritte
Legen Sie einen Arbeitsbereich an (z. B. „Verträge“). Ziehen Sie PDFs oder Textdateien hinein — AnythingLLM zerlegt sie und macht sie durchsuchbar. Danach im Chat Fragen stellen; die Antworten beziehen sich auf Ihre Dokumente und nennen die Fundstelle. Ideal als privates, durchsuchbares Wissensarchiv.
Plattformen: Desktop (Mac/Windows/Linux) & Docker
Im Detail
AnythingLLM bündelt, was man sonst mühsam selbst zusammenstecken müsste: eine Chat-Oberfläche, einen Vektorspeicher für eigene Dokumente und die Anbindung an lokale Modelle (etwa über Ollama) oder Cloud-APIs — alles in einer Anwendung mit Arbeitsbereichen für getrennte Projekte oder Themen. Der Vorteil gegenüber reinen Modell-Runnern wie LM Studio oder Ollama: Man muss RAG nicht selbst aufbauen, sondern lädt Dokumente einfach in einen Workspace. Gegenüber Open WebUI punktet es mit einer noch geschlosseneren All-in-One-Installation ohne separate Server-Einrichtung. Lohnt sich für alle, die Dokumente durchsuchbar machen wollen, aber keine eigene RAG-Pipeline bauen möchten.
Beispiel aus der Praxis
In einem Arbeitsbereich werden PDFs mit Projektnotizen hochgeladen. Anschließend beantwortet der Chat Fragen wie „Was wurde im Meeting zu Projekt X entschieden?“ direkt anhand der hochgeladenen Dokumente.
Praxis-Tipp
Lokal mit Ollama als Backend verbinden, einen Workspace anlegen und eigene PDFs hineinziehen — dann direkt Fragen wie „was steht im Vertrag zu Kündigungsfristen“ stellen.
Stolperfallen
Wer einzelne RAG-Komponenten selbst feinjustieren will, stößt in der fertigen Oberfläche an Grenzen – dafür sind LocalAI oder eigene Ollama-Setups flexibler, aber deutlich aufwendiger einzurichten.
Siehe auch
Lizenz & Quelle
Erfahrungen & Kommentare.
Funktioniert der Tool bei Ihnen? Tipps, Stolperfallen, Varianten — teilen Sie es mit der Community.
Lade Kommentare …
Passt dazu.
Ollama
Der De-facto-Standard. Modelle mit einem Befehl laden und ausführen (ollama run llama3.1), integrierte Modell-Library, OpenAI-kompatible API auf Port 11434. Basis für unzählige andere Tools.
LM Studio
Die komfortabelste Desktop-GUI: Modelle aus Hugging Face suchen, laden, chatten, Parameter per Regler, RAG per Drag-and-drop, lokaler OpenAI-API-Server. MLX-Support auf Apple Silicon.
llama.cpp
Die Engine unter fast allem (Ollama, LM Studio, …): C/C++-Inferenz für GGUF-Modelle auf CPU und jeder GPU (CUDA, Metal, Vulkan, ROCm). Wer direkt damit arbeitet, bekommt maximale Kontrolle und die neuesten Features zuerst.