Alle Einträge: Lokale LLMs.

104 Einträge, alphabetisch nach Unterkategorie sortiert. Zum Filtern nach Typ und Lizenz gibt es den Katalog.

• Llama 3.1ModellLlama 3.1 Community License· Lokale LLM-Modelle

  Der Meta-Klassiker mit 128K Kontext. 8B ist ein sehr solider Allrounder für schwächere Hardware, spricht ordentlich Deutsch.

• Llama 3.3ModellLlama 3.3 Community License· Lokale LLM-Modelle

  Leistet laut Meta ungefähr so viel wie das riesige 405B-Modell — der Preis-Leistungs-Tipp, wenn man 64 GB (z. B. Mac Studio) hat.

• Llama 4 (Scout / Maverick)ModellLlama 4 Community License (EU-Einschränkungen für multimodale Nutzung beachten!)· Lokale LLM-Modelle

  Metas MoE-Generation mit sehr großem Kontext und Bildverständnis. Für Heim-Hardware meist zu groß — eher für Server/Mac Studio 128 GB+.

• Qwen 2.5ModellApache-2.0 (7B/14B/32B); 3B + 72B: eigene Qwen-Lizenz· Lokale LLM-Modelle

  Alibabas Arbeitspferd: stark in vielen Sprachen (auch Deutsch), Mathe und strukturierten Ausgaben (JSON). Die Apache-Größen sind auch kommerziell völlig frei.

• Qwen 3ModellApache-2.0· Lokale LLM-Modelle

  Aktuelle Qwen-Generation mit umschaltbarem „Thinking"-Modus (überlegt vor der Antwort). Das MoE 30B-A3B ist ein Geheimtipp: 30B-Qualität bei Geschwindigkeit eines kleinen Modells.

• Mistral 7BModellApache-2.0· Lokale LLM-Modelle

  Der Klassiker unter den freien 7B-Modellen: schnell, genügsam, gute Basis für Feintuning. Inzwischen von Neuerem überholt, aber weiterhin grundsolide.

• Mistral Small 3.xModellApache-2.0· Lokale LLM-Modelle

  Sehr starkes, komplett freies Mittelklasse-Modell aus Europa; neuere Versionen auch mit Bildverständnis. Top-Wahl für 32-GB-Macs und RTX-3090/4090-Besitzer.

• Mistral NeMoModellApache-2.0· Lokale LLM-Modelle

  Gemeinsam mit NVIDIA entwickelt, 128K Kontext, ausdrücklich mehrsprachig (gutes Deutsch). Guter Mittelweg zwischen 7B und 24B.

• MinistralModellMistral Research License (8B — nicht kommerziell, Lizenz prüfen!)· Lokale LLM-Modelle

  Mistrals Edge-Reihe für Geräte-nahe Anwendungen. Wegen der Research-Lizenz nur für private/Forschungszwecke frei.

• MixtralModellApache-2.0· Lokale LLM-Modelle

  Der MoE-Pionier von Ende 2023. Heute meist durch Qwen 3 MoE oder Mistral Small ersetzt, aber lizenzrechtlich völlig frei.

• Gemma 2ModellGemma Terms of Use· Lokale LLM-Modelle

  Googles Vorgänger-Generation, immer noch beliebt: 9B schreibt angenehm natürliche Texte, auch auf Deutsch.

• Gemma 3ModellGemma Terms of Use· Lokale LLM-Modelle

  Googles aktuelle offene Reihe: ab 4B multimodal (versteht Bilder), 128K Kontext, über 100 Sprachen. 12B ist ein exzellenter Allrounder für 16-GB-Rechner.

• Phi-4ModellMIT· Lokale LLM-Modelle

  Microsofts „klein aber schlau"-Reihe: mit synthetischen Lehrbuch-Daten trainiert, überraschend stark in Mathe/Logik. MIT-Lizenz = maximal frei.

• DeepSeek-V3 / V3.xModellMIT (neuere Checkpoints; ältere: DeepSeek Model License)· Lokale LLM-Modelle

  Eines der stärksten offenen Modelle überhaupt — GPT-4-Klasse. Lokal nur mit Server-Hardware realistisch; für Normalos sind die R1-Distills (s. Reasoning) der Weg.

• GLM-4ModellGLM-4-9B: eigene Lizenz (kommerziell mit Registrierung); neuere GLM-4.5-Reihe: MIT· Lokale LLM-Modelle

  Chinesische Alternative mit gutem Multilingual-Support und Tool-Calling. Die 9B-Version läuft problemlos auf Mittelklasse-Hardware.

• gpt-oss (OpenAI)ModellApache-2.0· Lokale LLM-Modelle

  OpenAIs offene Modelle (2025): starke Reasoning-Fähigkeiten mit einstellbarem Denk-Aufwand, natives Tool-Calling. Das 20B läuft dank MoE + 4-Bit erstaunlich gut auf 16-GB-Geräten.

• Qwen2.5-CoderModellApache-2.0 (0.5–32B)· Lokale LLM-Modelle

  Der Standard fürs lokale Coden. Das 32B spielt in der Liga proprietärer Modelle; 1.5B/3B eignen sich als flotte Autocomplete-Engine im Editor (z. B. mit Continue.dev).

• Qwen3-CoderModellApache-2.0· Lokale LLM-Modelle

  Nachfolger mit Fokus auf agentisches Coden (Tool-Nutzung, ganze Repos bearbeiten). Das 30B-A3B ist dank nur 3B aktiver Parameter sehr schnell.

• DeepSeek-Coder-V2ModellDeepSeek Model License (kommerziell erlaubt, mit Nutzungsauflagen)· Lokale LLM-Modelle

  Das Lite-Modell (nur 2,4B aktiv) liefert für seine Geschwindigkeit erstaunliche Code-Qualität in 300+ Sprachen — gut für schwächere Rechner.

• CodestralModellMistral Non-Production License (nicht kommerziell!)· Lokale LLM-Modelle

  Mistrals Code-Spezialist mit sehr gutem Fill-in-the-Middle, 80+ Sprachen. Wegen der Lizenz nur für private Projekte/Forschung.

• DevstralModellApache-2.0· Lokale LLM-Modelle

  Mistrals freier Coding-Agent (mit All Hands AI entwickelt), optimiert für agentische Workflows wie OpenHands — Codebasen erkunden, Multi-File-Edits.

• StarCoder2ModellBigCode OpenRAIL-M· Lokale LLM-Modelle

  Transparent trainiertes Community-Modell (BigCode/Hugging Face) auf 600+ Sprachen. Das 3B ist eine gute lokale Autocomplete-Engine.

• CodeLlamaModellLlama 2 Community License· Lokale LLM-Modelle

  Der Veteran (2023). Heute fast immer von Qwen2.5-Coder geschlagen — nur noch relevant, wenn man explizit darauf aufgebaute Tools nutzt.

• CodeGemmaModellGemma Terms of Use· Lokale LLM-Modelle

  Googles Code-Ableger von Gemma; das 2B ist als schnelle Completion-Engine für schwache Hardware gedacht.

• DeepSeek-R1ModellMIT· Lokale LLM-Modelle

  Das Modell, das Anfang 2025 die Reasoning-Welle auslöste — o1-Klasse, komplett offen unter MIT. Lokal nutzt man praktisch immer die Distills (nächste Zeile).

• DeepSeek-R1-DistillModellMIT (Basis-Lizenzen von Qwen/Llama beachten)· Lokale LLM-Modelle

  R1-Denkfähigkeit in Alltagsgrößen destilliert (auf Qwen-/Llama-Basis). Das 14B ist der Sweet Spot für 16-GB-Rechner, das 32B für 24-GB-GPUs.

• QwQModellApache-2.0· Lokale LLM-Modelle

  Alibabas Reasoning-Spezialist: erreicht in Mathe/Logik-Benchmarks Werte nahe viel größerer Modelle. Komplett freie Lizenz.

• Qwen 3 (Thinking)ModellApache-2.0· Lokale LLM-Modelle

  Hybrid-Ansatz: dasselbe Modell kann mit und ohne Denk-Modus antworten (umschaltbar). Praktisch, wenn man nicht zwei Modelle vorhalten will; die „-Thinking-2507"-Checkpoints sind reine Denk-Varianten.

• Phi-4-reasoningModellMIT· Lokale LLM-Modelle

  Microsofts Beweis, dass auch 14B ernsthaft „denken" kann — stark in Mathe/Wissenschaft, MIT-frei. Gute Wahl für 16-GB-Geräte.

• MagistralModellApache-2.0· Lokale LLM-Modelle

  Mistrals Reasoning-Modell mit Fokus auf mehrsprachiges Denken (denkt auch auf Deutsch statt nur Englisch) und nachvollziehbare Gedankengänge.

• gpt-ossModellApache-2.0· Lokale LLM-Modelle

  Auch hier gelistet: Reasoning-Aufwand ist einstellbar (low/medium/high) — ein Modell für schnelle UND gründliche Antworten.

• Phi-3-mini / Phi-3.5-miniModellMIT· Lokale LLM-Modelle

  Lange das beste Kleinmodell: für seine Größe stark in Logik und Anweisungs-Treue. 128K Kontext.

• Llama 3.2ModellLlama 3.2 Community License· Lokale LLM-Modelle

  Metas Edge-Modelle: das 3B ist ein guter Mini-Chat-Assistent, das 1B taugt für Zusammenfassungen und einfache Aufgaben auf sehr schwacher Hardware.

• Qwen 3 (klein)ModellApache-2.0· Lokale LLM-Modelle

  Die kleinen Qwen-3-Varianten können sogar den Thinking-Modus — ein 1.7B-Modell, das „nachdenkt", ist für Edge-Anwendungen bemerkenswert. Völlig freie Lizenz.

• Gemma 2 2BModellGemma Terms of Use· Lokale LLM-Modelle

  Schreibt für 2B ungewöhnlich flüssige, natürliche Texte — gut für Chat auf schwacher Hardware.

• Gemma 3 1B / Gemma 3nModellGemma Terms of Use· Lokale LLM-Modelle

  Gemma 3n ist speziell für Smartphones/Tablets gebaut (Audio-, Bild- und Text-Eingabe bei minimalem Speicherbedarf) — Googles Edge-Speerspitze.

• SmolLM2 / SmolLM3ModellApache-2.0· Lokale LLM-Modelle

  Hugging Faces komplett offene Mini-Reihe (inkl. Trainingsdaten dokumentiert). SmolLM3 (3B) ist mehrsprachig und kann sogar Reasoning — ideal zum Lernen und Experimentieren.

• TinyLlamaModellApache-2.0· Lokale LLM-Modelle

  Community-Projekt, läuft wirklich überall (Raspberry Pi). Qualitativ überholt, aber als Test-/Lern-Modell und für Embedded-Basteleien beliebt.

• LLaVAModellApache-2.0 (Code); Basis-Modell-Lizenz (Llama/Vicuna) beachten· Lokale LLM-Modelle

  Der Open-Source-Vision-Pionier, in jedem Tool unterstützt. Gut für allgemeine Bildbeschreibung; bei Text im Bild sind Neuere besser.

• Qwen2.5-VLModellApache-2.0 (7B/32B); 3B/72B eigene Lizenzen· Lokale LLM-Modelle

  Aktuell die Referenz für lokales Dokumenten-Verständnis: exzellente OCR (auch Handschrift/Tabellen), versteht Videos, kann Objekte lokalisieren.

• Llama 3.2 VisionModellLlama 3.2 Community License (Vision-Modelle: EU-Nutzungseinschränkung beachten!)· Lokale LLM-Modelle

  Metas Bild-Modelle, gut bei Diagrammen und Dokumenten-Q&A. Der Lizenz-Passus zur EU macht sie hierzulande zur zweiten Wahl.

• PixtralModellApache-2.0· Lokale LLM-Modelle

  Mistrals freies Vision-Modell: verarbeitet Bilder in nativer Auflösung, mehrere Bilder pro Prompt, 128K Kontext.

• MiniCPM-VModellApache-2.0 (Code); Gewichte: MiniCPM-Lizenz (kommerziell nach kostenloser Registrierung)· Lokale LLM-Modelle

  „GPT-4V-Niveau auf dem Handy" ist der Anspruch: sehr effizient, starke OCR, versteht auch Video-Frames. Top für schwächere Hardware.

• MoondreamModellApache-2.0· Lokale LLM-Modelle

  Winziges Vision-Modell für Edge-Geräte und schnelle Bild-Pipelines (Captioning, einfache Fragen, Objekt-Erkennung) — läuft fast überall.

• Gemma 3 (4B+)ModellGemma Terms of Use· Lokale LLM-Modelle

  Kein separates Vision-Modell nötig: Gemma 3 ab 4B versteht Bilder von Haus aus — praktisch als Allrounder mit Bild-Support.

• Whisper (OpenAI)ModellMIT· Lokale LLM-Modelle

  Der Standard für Transkription, sehr gutes Deutsch. large-v3-turbo ist der Alltags-Tipp: fast Large-Qualität bei einem Bruchteil der Rechenzeit.

• faster-whisperModellMIT· Lokale LLM-Modelle

  Whisper-Reimplementierung auf CTranslate2: gleiches Ergebnis, deutlich schneller und speicherschonender. Basis vieler Transkriptions-Apps.

• whisper.cppModellMIT· Lokale LLM-Modelle

  Whisper in reinem C/C++ ohne Python-Abhängigkeiten — perfekt für Offline-Diktat-Tools und Embedded.

• PiperModellMIT· Lokale LLM-Modelle

  Schnelle, schlanke Offline-TTS mit guten deutschen Stimmen (z. B. thorsten). Erste Wahl für Home Assistant & Sprachassistenten.

• KokoroModellApache-2.0· Lokale LLM-Modelle

  Kleines TTS-Modell mit erstaunlich natürlicher Qualität — sehr beliebt für leichtgewichtige Vorlese-Funktionen.

• Bark (Suno)ModellMIT· Lokale LLM-Modelle

  Generatives Audio-Modell: Sprache mit Emotionen, Lachen, Musik-Schnipseln, mehrsprachig. Kreativ stark, aber langsamer und weniger kontrollierbar als Piper.

• Coqui TTS / XTTS-v2ModellCode: MPL-2.0; XTTS-Gewichte: Coqui Public Model License = nicht kommerziell!· Lokale LLM-Modelle

  Voice-Cloning aus ~6 Sekunden Referenz-Audio, 17 Sprachen inkl. Deutsch. Für private Projekte beeindruckend; kommerziell wegen Lizenz tabu.

• nomic-embed-textModellApache-2.0· Lokale LLM-Modelle

  Der Ollama-Standard: gute Qualität, langer Kontext, offen trainiert. Solide erste Wahl für englisch-lastige RAG-Projekte.

• mxbai-embed-largeModellApache-2.0· Lokale LLM-Modelle

  Starkes englisches Embedding-Modell von Mixedbread (Berlin) — auf MTEB lange top in seiner Klasse.

• BGE-M3ModellMIT· Lokale LLM-Modelle

  Tipp für deutsche Dokumente: multilingual, kann dichte + Sparse-Suche (hybrid) gleichzeitig. Sehr beliebt für mehrsprachiges RAG.

• multilingual-e5-largeModellMIT· Lokale LLM-Modelle

  Bewährter Multilingual-Klassiker von Microsoft-Forschern — sehr robuste Wahl für Deutsch-Englisch-Mischbestände.

• GTE / gte-Qwen2ModellApache-2.0· Lokale LLM-Modelle

  Alibabas Embedding-Reihe; die Qwen2-Varianten gehören zu den stärksten offenen Embeddings, brauchen aber mehr Rechenleistung.

• Qwen3-EmbeddingModellApache-2.0· Lokale LLM-Modelle

  Neueste Qwen-Generation, top in Multilingual-Benchmarks (inkl. Deutsch); dazu passende Qwen3-Reranker verfügbar.

• Jina EmbeddingsModellv3: CC-BY-NC-4.0 (nicht kommerziell); v2: Apache-2.0· Lokale LLM-Modelle

  Jina (Berlin) bietet u. a. ein dediziertes Deutsch-Englisch-Modell (v2-base-de, frei). v3 ist stärker, aber nur nicht-kommerziell frei.

• bge-reranker-v2-m3ModellApache-2.0· Lokale LLM-Modelle

  Kein Embedding, sondern Reranker: sortiert Suchtreffer im zweiten Schritt nach echter Relevanz — hebt RAG-Qualität oft deutlich, multilingual.

• ollama_pipeline.pyAnleitungMIT· Ollama

  Minimalbeispiel: Anfragen an einen Ollama-Server durchreichen — der beste Startpunkt, um das Pipeline-Prinzip zu verstehen.

• ollama_manifold_pipeline.pyAnleitungMIT· Ollama

  „Manifold": macht alle auf dem Ollama-Server installierten Modelle auf einmal verfügbar statt nur eines.

• llama_cpp_pipeline.pyAnleitungMIT· Ollama

  GGUF-Modelle direkt über die llama-cpp-python-Bibliothek fahren — ohne Ollama dazwischen.

• mlx_manifold_pipeline.pyAnleitungMIT· Ollama

  Apple-Silicon-Spezialist: Modelle über Apples MLX-Framework serven (schnell auf M-Chips).

• llamaindex_ollama_pipeline.pyAnleitungMIT· Ollama

  Das Basis-Rezept für lokales RAG: Dokumente aus einem Ordner indexieren (LlamaIndex) und mit lokalem Ollama-Modell + lokalen Embeddings befragen.

• llamaindex_ollama_github_pipeline.pyAnleitungMIT· Ollama

  Wie oben, aber die Wissensbasis ist ein GitHub-Repo — „Chat mit der Codebase".

• text_to_sql_pipeline.pyAnleitungMIT· Ollama

  Natürliche Sprache → SQL-Abfrage gegen die eigene Datenbank, ausgeführt mit lokalem Modell.

• haystack_pipeline.pyAnleitungMIT· Ollama

  Gleiches RAG-Prinzip mit dem Haystack-Framework (deutsche Firma deepset) statt LlamaIndex.

• dynamic_ollama_vision_filter_pipeline.pyAnleitungMIT· Ollama

  Leitet Anfragen mit Bildern automatisch an ein Vision-Modell (z. B. llava) um — Text-Modell und Bild-Modell wirken wie eines.

• llm_translate_filter_pipeline.pyAnleitungMIT· Ollama

  Übersetzt Nutzer-Eingabe und Antwort per (lokalem) LLM — z. B. Deutsch fragen, englisch-starkes Modell nutzen, Deutsch antworten.

• libretranslate_filter_pipeline.pyAnleitungMIT· Ollama

  Dasselbe mit selbstgehostetem LibreTranslate statt LLM — deterministisch und schnell.

• rate_limit_filter_pipeline.pyAnleitungMIT· Ollama

  Begrenzung der Anfragen pro Nutzer/Zeitraum — wichtig, wenn Familie/Team auf denselben Heimserver zugreifen.

• detoxify_filter_pipeline.pyAnleitungMIT· Ollama

  Erkennt toxische Nachrichten (lokales Detoxify-Modell) und blockt sie vor dem LLM.

• conversation_turn_limit_filter.pyAnleitungMIT· Ollama

  Begrenzt die Zahl der Gesprächsrunden pro Chat — simples, gut lesbares Filter-Beispiel.

• function_calling_filter_pipeline.pyAnleitungMIT· Ollama

  Tool-/Function-Calling nachrüsten: LLM darf Python-Funktionen aufrufen (Beispiel: Wetter, Rechner).

• home_assistant_filter.pyAnleitungMIT· Ollama

  Anbindung an Home Assistant — Grundlage für den lokalen Smart-Home-Sprachassistenten.

• integrations/python_code_pipeline.pyAnleitungMIT· Ollama

  „Modell", das eingegebenen Python-Code ausführt und das Ergebnis zurückgibt (Vorsicht: nur lokal/sandboxed nutzen!).

• integrations/wikipedia_pipeline.pyAnleitungMIT· Ollama

  Minimal-Beispiel für externe Datenquellen: Anfrage → Wikipedia-API → Antwort.

• scaffolds/example_pipeline_scaffold.pyAnleitungMIT· Ollama

  Leeres Gerüst für eine eigene Pipe — hier eigene Ideen eintragen.

• scaffolds/filter_pipeline_scaffold.pyAnleitungMIT· Ollama

  Leeres Gerüst für einen eigenen Filter (inlet/outlet).

• OllamaToolMIT· Runner-Tools

  Der De-facto-Standard. Modelle mit einem Befehl laden und ausführen (ollama run llama3.1), integrierte Modell-Library, OpenAI-kompatible API auf Port 11434. Basis für unzählige andere Tools.

• LM StudioToolProprietär (App kostenlos, auch für Firmen; SDK/CLI: MIT)· Runner-Tools

  Die komfortabelste Desktop-GUI: Modelle aus Hugging Face suchen, laden, chatten, Parameter per Regler, RAG per Drag-and-drop, lokaler OpenAI-API-Server. MLX-Support auf Apple Silicon.

• llama.cppToolMIT· Runner-Tools

  Die Engine unter fast allem (Ollama, LM Studio, …): C/C++-Inferenz für GGUF-Modelle auf CPU und jeder GPU (CUDA, Metal, Vulkan, ROCm). Wer direkt damit arbeitet, bekommt maximale Kontrolle und die neuesten Features zuerst.

• vLLMToolApache-2.0· Runner-Tools

  Produktions-Inferenz-Server mit sehr hohem Durchsatz (PagedAttention, Continuous Batching). Erste Wahl, wenn viele Nutzer/Anfragen parallel auf eine GPU-Maschine sollen. Kein Tool für den Laptop-Alltag.

• KoboldCppToolAGPL-3.0 → nur Link· Runner-Tools

  Einzel-Binary auf llama.cpp-Basis mit eigener Web-GUI; beliebt in der Rollenspiel-/Story-Community (Charaktere, Welten, lange Kontexte), kann auch Bilder (Stable Diffusion) und TTS.

• JanToolRepo ohne Standard-SPDX (AGPL-basiert) → nur Link· Runner-Tools

  Offline-ChatGPT-Alternative als schicke Desktop-App: lokale Modelle (llama.cpp) und Cloud-Anbieter in einer Oberfläche, Erweiterungen, lokaler API-Server.

• GPT4AllToolMIT· Runner-Tools

  Einsteigerfreundliche Desktop-App von Nomic: kuratierte Modell-Liste, „LocalDocs" (Chat mit eigenen Dateien) eingebaut, läuft gut auf reiner CPU. Entwicklung zuletzt ruhiger.

• Open WebUIToolCustom (Open-WebUI-Lizenz mit Branding-Klausel) → nur Link· Runner-Tools

  Die beliebteste Web-Oberfläche für Ollama & OpenAI-kompatible APIs: Multi-User mit Rechten, RAG, Websuche, Bild-Generierung, Pipelines-Plugins. Perfekt als „Familien-/Team-ChatGPT" auf dem Heimserver. (Die zugehörigen Pipelines sind MIT → kuratierte Beispiele in ../Ollama/.)

• text-generation-webui (oobabooga)ToolAGPL-3.0 → nur Link· Runner-Tools

  Das „Schweizer Taschenmesser" der LLM-Web-UIs: viele Backends (llama.cpp, Transformers, ExLlama), Charaktere, Erweiterungen, Trainings-/LoRA-Funktionen. Für Bastler, die alles einstellen wollen.

• LocalAIToolMIT· Runner-Tools

  Selbstgehosteter OpenAI-API-Ersatz für den kompletten Stack: LLMs, Embeddings, Whisper, TTS, Bild-Generierung hinter einer API — Drop-in für Apps, die „OpenAI" erwarten. Läuft auch ohne GPU.

• exoToolApache-2.0· Runner-Tools

  Experimentell: mehrere Alltagsgeräte zu einem KI-Cluster zusammenschalten (Macs, PCs, sogar iPhones) — große Modelle laufen verteilt, die kein Einzelgerät stemmt.

• KhojToolAGPL-3.0 → nur Link· Runner-Tools

  Selbstgehosteter KI-Assistent für die eigenen Notizen/Dokumente (Obsidian, Markdown, PDF, Notion): semantische Suche + Chat, auch mit lokalen Modellen als Backend.

• AnythingLLMToolMIT· Runner-Tools

  Eine All-in-One-Desktop-App, die lokale oder Cloud-Modelle mit einer eingebauten Dokumenten-Datenbank verbindet — Arbeitsbereiche, RAG und Chat in einem Fenster.

• LibreChatToolMIT· Runner-Tools

  Eine quelloffene, selbst gehostete Chat-Oberfläche, die viele Modelle unter einem Dach vereint — Cloud-Anbieter und lokale Modelle nebeneinander, mit Nutzerverwaltung.

• PrivateGPTToolApache-2.0· RAG-Werkzeuge

  Befrage deine eigenen Dokumente mit KI — zu 100 % offline. PrivateGPT liest deine PDFs und Texte ein und beantwortet Fragen dazu, ohne dass ein Byte das Gerät verlässt.

• Onyx (früher Danswer)ToolMIT (Community Edition)· RAG-Werkzeuge

  Eine selbst gehostete KI-Suche fürs Team: verbindet sich mit euren Wissensquellen (Dateien, Wikis, Chats) und beantwortet Fragen quer über alles — mit Quellenangabe.

• RAGFlowToolApache-2.0· RAG-Werkzeuge

  Eine RAG-Engine mit besonders starkem Dokumentenverständnis: zerlegt auch komplexe PDFs mit Tabellen und Layout sauber — für präzise, belegte Antworten.

• Mistral Medium 3.5ModellModified MIT (siehe Model Card)· Lokale LLM-Modelle

  Mistrals Flaggschiff seit Sommer 2026: ein dichtes 128-Milliarden-Parameter-Modell, das Anweisungen, Reasoning und Programmieren in einem Modell vereint — mit offenen Gewichten.

• Mistral Small 4ModellApache-2.0· Lokale LLM-Modelle

  Mixture-of-Experts-Modell mit 119 Mrd. Parametern, von denen je Token nur 6,5 Mrd. rechnen: Anweisungen, Reasoning, Agenten und Bilder in einem Modell, Apache-2.0.

• Mistral Large 3ModellApache-2.0· Lokale LLM-Modelle

  Mistrals größtes offenes Modell: Mixture-of-Experts mit 673 Mrd. Parametern (39 Mrd. aktiv) plus Bild-Encoder, 256.000 Tokens Kontext, Apache-2.0.

• Leanstral 1.5ModellApache-2.0· Lokale LLM-Modelle

  Spezialmodell für mathematische Beweise und Code-Verifikation in der Beweissprache Lean 4 — 119 Mrd. Parameter, 6,5 Mrd. aktiv, Apache-2.0 (Juli 2026).

• Shieldstral 1.0ModellApache-2.0· Lokale LLM-Modelle

  Kleiner Sicherheitsfilter von Mistral (3 Mrd. Parameter): prüft Texte und Bilder auf unerwünschte Inhalte, bevor sie ein Chatbot verarbeitet oder ausgibt. Apache-2.0.

• Voxtral Mini RealtimeModellApache-2.0· Lokale LLM-Modelle

  Spracherkennung in Echtzeit von Mistral: wandelt gesprochene Sprache laufend in Text um, 13 Sprachen, bis zu rund drei Stunden Audio am Stück. Apache-2.0.

• Devstral 2ModellModified MIT (siehe Model Card)· Lokale LLM-Modelle

  Mistrals Coding-Modell der zweiten Generation (123 Mrd. Parameter, 256.000 Tokens Kontext) für agentisches Programmieren: liest Repos, plant Änderungen, führt Werkzeuge aus.