Mistral Small 3.x

Sehr starkes, komplett freies Mittelklasse-Modell aus Europa; neuere Versionen auch mit Bildverständnis. Top-Wahl für 32-GB-Macs und RTX-3090/4090-Besitzer.

So nutzt du es

Am einfachsten per Ollama: ollama pull <modellname> und dann ollama run <modellname> — oder komfortabel mit LM Studio (grafische Oberfläche, Modell-Suche eingebaut). Die Hardware-Angaben unten beziehen sich auf die übliche 4-Bit-Quantisierung (Q4).

Größen & Hardware

• Verfügbare Größen: ~24B
• Empfohlene Hardware (Q4): 16–24 GB (Q4), ideal: 24 GB VRAM / 32 GB Mac

Benutzungsanleitung

Mistrals „kleines“ Arbeitstier — Leistung nahe der Mittelklasse-Cloud bei lokaler Ausführung.

Installation:

ollama run mistral-small

Braucht je nach Version ~14–20 GB RAM (ideal: 32 GB oder eine 16-GB-GPU).

Wofür gut: Anspruchsvollere Texte und Analysen, gutes Deutsch und Französisch, solide Code-Hilfe — Apache-2.0-lizenziert, kommerziell frei nutzbar.

Tipp: Wer zwischen Mistral 7B und Small schwankt: Small ist den Sprung wert, sobald die Hardware 16 GB+ hergibt.

Im Detail

Mistral Small 3.x ist mit rund 24 Milliarden Parametern das europäische Aushängeschild unter den frei lizenzierten Modellen und hält in Benchmarks oft mit deutlich größeren, geschlossenen Modellen mit. Neuere Versionen verstehen zusätzlich Bilder, sodass sich auch einfache Vision-Aufgaben ohne Zusatzmodell erledigen lassen. Mit einem Speicherbedarf von 16-24 GB ist es die naheliegende Wahl für Besitzer eines 32-GB-Macs oder einer RTX 3090/4090 — Hardware, die für 70B-Modelle zu knapp, für kleinere Modelle aber ungenutzt wäre. Wer maximale Qualität ohne API-Kosten und Cloud-Abhängigkeit sucht, findet hier eines der besten Verhältnisse aus Leistung und lokalem Ressourcenbedarf.

Praxis-Tipp

Läuft die Vision-Variante, testen Sie z. B. “Beschreibe dieses Diagramm und extrahiere die Zahlen als Tabelle” direkt lokal ohne Upload zu einer Cloud-API.

Siehe auch

• Mistral NeMo
• Mistral 7B
• Ministral

Lizenz & Quelle

• Lizenz: Apache-2.0
• Quelle: Ollama
• Quelle: HF