Lokale KI wird wieder schneller — und der einfache Installer ist längst da

Fortschritt bei KI-Modellen misst man gern in Intelligenz-Benchmarks. Manchmal ist die unscheinbarere Zahl die wichtigere: Tempo. Googles offenes Modell Gemma 4 hat gerade ein Update bekommen, das genau dort ansetzt.

Was neu ist

Durch eine Technik namens Flash Attention 4 auf Nvidias Hopper-Grafikkarten steigt die Verarbeitungsgeschwindigkeit von Eingaben um 25 bis 70 Prozent, und die Wartezeit bis zur ersten Antwort sinkt um bis zu 31 Prozent. Dazu wurden Fehler bei den sogenannten Werkzeugaufrufen behoben — also der Fähigkeit des Modells, selbstständig Programme und Funktionen anzustoßen statt nur Text zu produzieren. In einem konkreten Anwendungsfall (Telekom) verbesserte sich die größere 31-Milliarden-Variante um gut zehn Prozent. Und das Modell kürzt seine Antworten seltener unvollständig ab.

Alle Größen — 12B, 31B, die kompakte E4B — sind aktualisiert, liegen unter der offenen Apache-2.0-Lizenz und stehen auf Hugging Face zum Download bereit. Für die Bildverarbeitung lässt sich die Auflösung manuell hochschrauben, was schärfere Texterkennung ermöglicht.

Lokal wird wieder schneller — und so soll es sein. Schnellere lokale Modelle heißt: mehr geht auf dem eigenen Rechner, weniger muss in die Cloud.

Der Punkt, an dem es hakt — und wo er sich schon löst

Die berechtigte Anschlussfrage lautet: Schön, dass es schneller wird — aber wie kommt das beim ganz normalen Nutzer an? Bei jemandem, der kein Kommandozeilen-Fenster öffnen will, sondern einfach eine KI auf dem eigenen Rechner hätte, ohne dass seine Daten irgendwohin abfließen. Es bräuchte einen Installer, den auch der Nachbar bedienen kann.

Die gute Nachricht, die man leicht übersieht: Diesen Installer gibt es schon. Programme wie LM Studio, Ollama, Jan oder GPT4All sind genau das — Doppelklick, installieren, Modell auswählen, loslegen. Kein Fachwissen, kein Terminal. LM Studio etwa sieht aus wie ein normales Chat-Programm; dahinter läuft ein lokales Modell, das nichts ins Internet schickt. Wer heute „KI auf dem eigenen Rechner, ohne Cloud“ möchte, ist keine zwei Klicks davon entfernt.

Was noch fehlt, ist nicht die Technik, sondern das Wissen darum. Die wenigsten ausserhalb der Tech-Blase kennen diese Programme. Genau da liegt die eigentliche Aufgabe der nächsten Jahre: nicht das Modell noch schneller machen, sondern den Leuten zeigen, dass die einfache Lösung längst auf dem Tisch liegt.

Schritt für Schritt in die richtige Richtung — da hat der Optimismus recht. Der nächste Schritt ist diesmal keiner der Entwickler, sondern einer der Vermittlung.

Quelle der Meldung: The Decoder