Phi-3-mini / Phi-3.5-mini

Lange das beste Kleinmodell: für seine Größe stark in Logik und Anweisungs-Treue. 128K Kontext.

So nutzt du es

Am einfachsten per Ollama: ollama pull <modellname> und dann ollama run <modellname> — oder komfortabel mit LM Studio (grafische Oberfläche, Modell-Suche eingebaut). Die Hardware-Angaben unten beziehen sich auf die übliche 4-Bit-Quantisierung (Q4).

Größen & Hardware

• Verfügbare Größen: 3.8B
• Empfohlene Hardware (Q4): 4 GB, läuft auf fast allem

Im Detail

Phi-3-mini und Phi-3.5-mini waren lange die Referenz unter den Kleinmodellen unter 4 Milliarden Parametern: Für ihre Größe zeigen sie überraschend starke Logik- und Anweisungs-Treue, weil Microsoft sie stark auf synthetischen, lehrbuchartigen Trainingsdaten statt auf rohem Web-Text trainiert hat. Mit rund 4 GB Speicherbedarf laufen sie auf fast jeder Hardware, auch auf älteren Laptops oder kleinen Edge-Geräten, und bringen dank 128K Kontext auch für ihre Größe ungewöhnlich lange Eingaben unter. Sinnvoll für alle, die ein Modell für einfache Chat- oder Assistenzaufgaben auf schwacher Hardware brauchen und dafür bewusst auf die Fähigkeiten größerer Modelle verzichten. Für komplexere Aufgaben lohnt der Umstieg auf ein größeres Modell wie Qwen 2.5.

Praxis-Tipp

Ideal, wenn ein Modell komplett lokal auf einem älteren Rechner oder Mini-PC laufen soll — prüfen Sie zuerst, ob die 128K-Kontextlänge für Ihren Anwendungsfall (z. B. lange Dokumente zusammenfassen) tatsächlich gebraucht wird.

Siehe auch

• Qwen 2.5
• Mistral 7B

Lizenz & Quelle

• Lizenz: MIT
• Quelle: Ollama
• Quelle: HF