KI ohne Cloud: Wenn der Assistent komplett auf dem eigenen Rechner läuft

ChatGPT, Claude und Co. sind beeindruckend — aber alles, was Sie dort eintippen, landet auf fremden Servern. Für viele ist das egal. Für eine Arztpraxis, eine Kanzlei oder einfach jeden, dem seine Daten gehören sollen, ist es das nicht. Die spannende Entwicklung 2026: KI-Agenten, die komplett lokal laufen, sind aus der Bastelecke herausgewachsen. heise hat jetzt die Kombination aus dem Open-Source-Agenten „Hermes“ und dem Sprachmodell Qwen 3.6 getestet — und die erledigt echte Aufgaben, ohne dass ein einziges Byte den Rechner verlässt.

Was so ein lokaler Agent kann

Ein Agent ist mehr als ein Chatbot: Er redet nicht nur, er macht. Im Test hat die Kombination selbstständig Software installiert, Systemeinstellungen geändert und kleinere Programmieraufgaben gelöst — gesteuert in normaler Menschensprache. Besonders gut klappt das bei allem, was sich über die Kommandozeile erledigen lässt. Bei grafischen Oberflächen und beim Bedienen von Webseiten schwächelt die lokale KI dagegen noch deutlich.

Was man dafür braucht

Hier kommt der Haken — die Hardware:

Baustein	Anforderung
Sprachmodell	Qwen 3.6 (27 Mrd. Parameter, ~17 GB komprimiert)
Speicher	mindestens 24 GB schneller (Grafik-)Speicher
Kontextfenster	mindestens 65.000 Token für den Agenten
Getestete Geräte	RTX-4090-PC, Framework Desktop (128 GB), MacBook Air M2 (24 GB)

Ein normaler Büro-Laptop reicht also nicht. Ein moderner Mac mit viel einheitlichem Speicher oder ein PC mit kräftiger Grafikkarte dagegen schon — Geräte, die manche Firma ohnehin herumstehen hat.

Die ehrlichen Grenzen

Lokale Modelle erreichen nicht das Niveau der großen Cloud-KIs. Ohne Internetzugang halluzinieren sie bei Wissensfragen munter drauflos, und wie alle Agenten sind sie anfällig für Prompt-Injections — manipulierte Texte, die dem Agenten heimlich Anweisungen unterschieben. Wer einem lokalen Agenten Systemzugriff gibt, sollte das wissen und ihn nicht unbeaufsichtigt auf wichtigen Daten arbeiten lassen.

Meine Einschätzung

Ich arbeite täglich mit KI und sage trotzdem: Für die meisten Privatleute ist ein lokaler KI-Agent momentan Overkill — die Cloud-Angebote sind besser und billiger. Richtig interessant wird es für kleine Firmen mit sensiblen Daten: Patientenakten, Mandantenpost, Personalunterlagen. Da ist „die Daten verlassen das Haus nicht“ kein Nice-to-have, sondern die Voraussetzung, KI überhaupt einsetzen zu dürfen. Genau dort lohnt sich die Hardware-Investition schnell. Übrigens, kleine Namensverwirrung: Der „Hermes“-Agent aus dem heise-Test hat nichts mit meinem gleichnamigen Website-Paket zu tun — der Name des Götterboten ist in der IT einfach beliebt.

Quelle der Meldung: heise online