machichdigital

Lokale LLMs · Foto: derekGavey, CC BY 2.0

ToolRAG-WerkzeugeLizenz: Apache-2.0

PrivateGPT

Zuletzt aktualisiert:

⧉ –× kopiert⬇ –× heruntergeladenBewertung:

Typ

Tool

Lizenz

Apache-2.0

Anwendungsfeld

RAG-Werkzeuge

Alle mit vertraulichen Unterlagen (Kanzlei, Praxis, Firma), die KI-Suche wollen, aber keine Cloud dürfen.

Voraussetzungen

Keine besonderen — direkt loslegen.

Befrage deine eigenen Dokumente mit KI — zu 100 % offline. PrivateGPT liest deine PDFs und Texte ein und beantwortet Fragen dazu, ohne dass ein Byte das Gerät verlässt.

Für wen: Alle mit vertraulichen Unterlagen (Kanzlei, Praxis, Firma), die KI-Suche wollen, aber keine Cloud dürfen.

Installation

Repository klonen und der Einrichtung in der Doku folgen (nutzt lokale Modelle über Ollama):

git clone https://github.com/zylon-ai/private-gpt

Die Doku führt Schritt für Schritt durch Installation und den Ollama-Modus.

Erste Schritte

Nach dem Start Dokumente in den vorgesehenen Ordner legen oder über die Oberfläche hochladen. PrivateGPT zerlegt und indexiert sie lokal. Dann Fragen stellen — die Antworten stammen aus deinen Dokumenten, mit Quellenangabe, komplett offline.

Plattformen: Python / Docker

Im Detail

PrivateGPT liest eigene PDFs, Word-Dokumente und Texte ein und beantwortet Fragen dazu per KI, ohne dass Daten die eigene Infrastruktur verlassen. Das macht es besonders für Kanzleien, Praxen und Unternehmen mit vertraulichen Unterlagen interessant, die aus Datenschutzgründen keine Cloud-Dienste wie ChatGPT nutzen können. Technisch kombiniert es ein lokales Sprachmodell mit einer Vektordatenbank (Retrieval-Augmented Generation) und läuft per Python oder Docker im eigenen Netz. Verglichen mit Cloud-RAG-Lösungen ist die Einrichtung etwas aufwendiger und die Antwortqualität hängt stark vom gewählten lokalen Modell ab, dafür bleibt jedes Dokument komplett unter eigener Kontrolle.

Praxis-Tipp

Docker-Compose-Setup nutzen, den eigenen PDF-Ordner einhängen und Fragen wie „Was steht im Vertrag zur Kündigungsfrist?“ direkt gegen die eigenen Unterlagen stellen.

Siehe auch

Lizenz & Quelle

Erfahrungen & Kommentare.

Funktioniert der Tool bei Ihnen? Tipps, Stolperfallen, Varianten — teilen Sie es mit der Community.

Lade Kommentare …

Ihre IP-Adresse wird zum Schutz vor Missbrauch gespeichert und nach 14 Tagen automatisch entfernt (Datenschutz).

Passt dazu.

Onyx (früher Danswer)

Eine selbst gehostete KI-Suche fürs Team: verbindet sich mit euren Wissensquellen (Dateien, Wikis, Chats) und beantwortet Fragen quer über alles — mit Quellenangabe.

MIT (Community Edition)♥ –⧉ –

RAGFlow

Eine RAG-Engine mit besonders starkem Dokumentenverständnis: zerlegt auch komplexe PDFs mit Tabellen und Layout sauber — für präzise, belegte Antworten.

Apache-2.0♥ –⧉ –

Llama 3.1

Der Meta-Klassiker mit 128K Kontext. 8B ist ein sehr solider Allrounder für schwächere Hardware, spricht ordentlich Deutsch.

Llama 3.1 Community License♥ –⧉ –