TinyLlama

Community-Projekt, läuft wirklich überall (Raspberry Pi). Qualitativ überholt, aber als Test-/Lern-Modell und für Embedded-Basteleien beliebt.

So nutzt du es

Am einfachsten per Ollama: ollama pull <modellname> und dann ollama run <modellname> — oder komfortabel mit LM Studio (grafische Oberfläche, Modell-Suche eingebaut). Die Hardware-Angaben unten beziehen sich auf die übliche 4-Bit-Quantisierung (Q4).

Größen & Hardware

• Verfügbare Größen: 1.1B
• Empfohlene Hardware (Q4): ~1 GB

Im Detail

TinyLlama war eines der ersten Community-Projekte, das zeigte, dass ein 1,1B-Parameter-Modell mit genug Trainingsdaten (3 Billionen Token) überraschend brauchbar wird. Mit rund 1 GB Speicherbedarf läuft es praktisch überall, selbst auf einem Raspberry Pi. Qualitativ ist es inzwischen von Modellen wie SmolLM3 oder Qwen 3 in kleinen Größenklassen überholt worden – für ernsthafte Anwendungen ist es keine gute Wahl mehr. Seinen Platz hat TinyLlama heute als Test- und Lernmodell: um Inferenz-Pipelines auf schwacher Hardware zu debuggen, Latenzen zu messen oder Embedded-Projekte zu prototypisieren, bevor man auf ein stärkeres Modell wechselt.

Praxis-Tipp

Auf einem Raspberry Pi oder alten Laptop zuerst mit TinyLlama testen, ob die Inferenz-Pipeline (llama.cpp, Ollama) überhaupt läuft, bevor man ein größeres Modell lädt.

Siehe auch

• Ministral

Lizenz & Quelle

• Lizenz: Apache-2.0
• Quelle: Ollama
• Quelle: HF