Mixtral

Der MoE-Pionier von Ende 2023. Heute meist durch Qwen 3 MoE oder Mistral Small ersetzt, aber lizenzrechtlich völlig frei.

So nutzt du es

Am einfachsten per Ollama: ollama pull <modellname> und dann ollama run <modellname> — oder komfortabel mit LM Studio (grafische Oberfläche, Modell-Suche eingebaut). Die Hardware-Angaben unten beziehen sich auf die übliche 4-Bit-Quantisierung (Q4).

Größen & Hardware

• Verfügbare Größen: 8x7B / 8x22B (MoE)
• Empfohlene Hardware (Q4): 8x7B: ~32 GB

Im Detail

Mixtral war Ende 2023 der Pionier der Mixture-of-Experts-Architektur unter den offenen Modellen (8x7B, 8x22B) und zeigte, dass sparsame Aktivierung Geschwindigkeit und Qualität gut vereinen kann. Da beim 8x7B-Modell trotz nur ~13B aktiver Parameter alle Experten im Speicher gehalten werden müssen, braucht es rund 32 GB. Inzwischen liefern Qwen 3 MoE oder Mistral Small 3.x bei ähnlichem oder geringerem Ressourcenbedarf bessere Qualität. Mixtral bleibt vor allem wegen der uneingeschränkten Apache-2.0-Lizenz relevant, etwa wenn ein bestehendes Setup schon darauf aufbaut. Für neue Projekte ist es selten die erste Wahl.

Praxis-Tipp

Nur noch einsetzen, wenn ein bestehendes Setup schon darauf aufbaut oder die Apache-2.0-Lizenz zwingend nötig ist – für neue Projekte lieber Mistral Small 3.x oder Qwen 3 wählen.

Siehe auch

• Mistral Small 3.x
• Qwen 3

Lizenz & Quelle

• Lizenz: Apache-2.0
• Quelle: Ollama
• Quelle: HF