Lokale LLMs · Foto: derekGavey, CC BY 2.0
StarCoder2
Zuletzt aktualisiert:
Typ
Modell
Lizenz
BigCode OpenRAIL-M
Quelle
Anwendungsfeld
Lokale LLM-Modelle
Voraussetzungen
Keine besonderen — direkt loslegen.
Transparent trainiertes Community-Modell (BigCode/Hugging Face) auf 600+ Sprachen. Das 3B ist eine gute lokale Autocomplete-Engine.
So nutzt du es
Am einfachsten per Ollama: ollama pull <modellname> und dann ollama run <modellname> — oder komfortabel mit LM Studio (grafische Oberfläche, Modell-Suche eingebaut). Die Hardware-Angaben unten beziehen sich auf die übliche 4-Bit-Quantisierung (Q4).
Größen & Hardware
- Verfügbare Größen: 3B / 7B / 15B
- Empfohlene Hardware (Q4): 3B: 4 GB · 15B: 12–16 GB
Im Detail
StarCoder2 ist das Ergebnis der BigCode-Initiative von Hugging Face und ServiceNow und legt – anders als viele kommerzielle Coding-Modelle – seine Trainingsdaten und Methodik offen. Trainiert auf Code aus über 600 Programmiersprachen, deckt es weit mehr Nischensprachen ab als rein Python/JS-fokussierte Alternativen. Die 3B-Variante läuft mit rund 4 GB RAM auch auf normalen Laptops und eignet sich gut als lokale Autocomplete-Engine in Editoren, etwa über Continue oder Tabby. Die größeren Varianten (7B, 15B) liefern spürbar bessere Vorschläge, brauchen aber entsprechend mehr Speicher. Wer Wert auf Nachvollziehbarkeit der Trainingsdaten legt oder mit exotischeren Sprachen arbeitet, ist hier besser aufgehoben als bei Closed-Source-Alternativen.
Praxis-Tipp
Die 3B-Variante über llama.cpp oder Ollama laden und als Autocomplete-Backend in Continue (VS Code) einbinden – reicht für flüssiges Tippen ohne GPU.
Lizenz & Quelle
Erfahrungen & Kommentare.
Funktioniert der Modell bei Ihnen? Tipps, Stolperfallen, Varianten — teilen Sie es mit der Community.
Lade Kommentare …
Passt dazu.
Llama 3.1
Der Meta-Klassiker mit 128K Kontext. 8B ist ein sehr solider Allrounder für schwächere Hardware, spricht ordentlich Deutsch.
Llama 3.3
Leistet laut Meta ungefähr so viel wie das riesige 405B-Modell — der Preis-Leistungs-Tipp, wenn man 64 GB (z. B. Mac Studio) hat.
Llama 4 (Scout / Maverick)
Metas MoE-Generation mit sehr großem Kontext und Bildverständnis. Für Heim-Hardware meist zu groß — eher für Server/Mac Studio 128 GB+.
