machichdigital

Lokale LLMs · Foto: derekGavey, CC BY 2.0

ModellLokale LLM-ModelleLizenz: BigCode OpenRAIL-M

StarCoder2

Zuletzt aktualisiert:

⧉ –× kopiert⬇ –× heruntergeladenBewertung:

Typ

Modell

Lizenz

BigCode OpenRAIL-M

Anwendungsfeld

Lokale LLM-Modelle

Voraussetzungen

Keine besonderen — direkt loslegen.

Transparent trainiertes Community-Modell (BigCode/Hugging Face) auf 600+ Sprachen. Das 3B ist eine gute lokale Autocomplete-Engine.

So nutzt du es

Am einfachsten per Ollama: ollama pull <modellname> und dann ollama run <modellname> — oder komfortabel mit LM Studio (grafische Oberfläche, Modell-Suche eingebaut). Die Hardware-Angaben unten beziehen sich auf die übliche 4-Bit-Quantisierung (Q4).

Größen & Hardware

  • Verfügbare Größen: 3B / 7B / 15B
  • Empfohlene Hardware (Q4): 3B: 4 GB · 15B: 12–16 GB

Im Detail

StarCoder2 ist das Ergebnis der BigCode-Initiative von Hugging Face und ServiceNow und legt – anders als viele kommerzielle Coding-Modelle – seine Trainingsdaten und Methodik offen. Trainiert auf Code aus über 600 Programmiersprachen, deckt es weit mehr Nischensprachen ab als rein Python/JS-fokussierte Alternativen. Die 3B-Variante läuft mit rund 4 GB RAM auch auf normalen Laptops und eignet sich gut als lokale Autocomplete-Engine in Editoren, etwa über Continue oder Tabby. Die größeren Varianten (7B, 15B) liefern spürbar bessere Vorschläge, brauchen aber entsprechend mehr Speicher. Wer Wert auf Nachvollziehbarkeit der Trainingsdaten legt oder mit exotischeren Sprachen arbeitet, ist hier besser aufgehoben als bei Closed-Source-Alternativen.

Praxis-Tipp

Die 3B-Variante über llama.cpp oder Ollama laden und als Autocomplete-Backend in Continue (VS Code) einbinden – reicht für flüssiges Tippen ohne GPU.

Lizenz & Quelle

  • Lizenz: BigCode OpenRAIL-M
  • Quelle: Ollama
  • Quelle: HF

Erfahrungen & Kommentare.

Funktioniert der Modell bei Ihnen? Tipps, Stolperfallen, Varianten — teilen Sie es mit der Community.

Lade Kommentare …

Ihre IP-Adresse wird zum Schutz vor Missbrauch gespeichert und nach 14 Tagen automatisch entfernt (Datenschutz).

Passt dazu.

Llama 3.1

Der Meta-Klassiker mit 128K Kontext. 8B ist ein sehr solider Allrounder für schwächere Hardware, spricht ordentlich Deutsch.

Llama 3.1 Community License♥ –⧉ –

Llama 3.3

Leistet laut Meta ungefähr so viel wie das riesige 405B-Modell — der Preis-Leistungs-Tipp, wenn man 64 GB (z. B. Mac Studio) hat.

Llama 3.3 Community License♥ –⧉ –

Llama 4 (Scout / Maverick)

Metas MoE-Generation mit sehr großem Kontext und Bildverständnis. Für Heim-Hardware meist zu groß — eher für Server/Mac Studio 128 GB+.

Llama 4 Community License (EU-Einschränkungen für multimodale Nutzung beachten!)♥ –⧉ –