Lokale LLMs · Foto: derekGavey, CC BY 2.0
Shieldstral 1.0
Typ
Modell
Lizenz
Apache-2.0
Quelle
Anwendungsfeld
Lokale LLM-Modelle
Alle, die einen eigenen Chatbot betreiben und Ein- und Ausgaben absichern wollen.
Voraussetzungen
Keine besonderen — direkt loslegen.
Kleiner Sicherheitsfilter von Mistral (3 Mrd. Parameter): prüft Texte und Bilder auf unerwünschte Inhalte, bevor sie ein Chatbot verarbeitet oder ausgibt. Apache-2.0.
Für wen: Alle, die einen eigenen Chatbot betreiben und Ein- und Ausgaben absichern wollen.
Installation
Laut Model Card reichen rund 16 GB Grafikspeicher (BF16) — also eine einzelne gute Consumer-GPU.
Erste Schritte
Typischer Aufbau: Nutzereingabe → Shieldstral prüft → erst dann das eigentliche Sprachmodell → Antwort → Shieldstral prüft erneut. So bleibt das große Modell austauschbar, der Filter bleibt gleich.
Plattformen: GPU ab 16 GB · vLLM/Transformers
Lizenz & Quelle
- Lizenz: Apache-2.0
- Quelle: HF
Erfahrungen & Kommentare.
Funktioniert der Modell bei Ihnen? Tipps, Stolperfallen, Varianten — teilen Sie es mit der Community.
Lade Kommentare …
Passt dazu.
Llama 3.1
Der Meta-Klassiker mit 128K Kontext. 8B ist ein sehr solider Allrounder für schwächere Hardware, spricht ordentlich Deutsch.
Llama 3.3
Leistet laut Meta ungefähr so viel wie das riesige 405B-Modell — der Preis-Leistungs-Tipp, wenn man 64 GB (z. B. Mac Studio) hat.
Llama 4 (Scout / Maverick)
Metas MoE-Generation mit sehr großem Kontext und Bildverständnis. Für Heim-Hardware meist zu groß — eher für Server/Mac Studio 128 GB+.