Lokale LLMs — Modelle, Ollama & Runner.

Lokale LLM-Modelle.60 Einträge

Stand: Juli 2026. Die Modell-Landschaft bewegt sich schnell — neueste Versionen/Checkpoints immer direkt in der [Ollama-Library](https://ollama.com/library) bzw. auf [Hugging Face](https://huggingface.co/models) nachschlagen. ---

L3Modell

Llama 3.1

Der Meta-Klassiker mit 128K Kontext. 8B ist ein sehr solider Allrounder für schwächere Hardware, spricht ordentlich Deutsch.

Llama 3.1 Community License♥ –⧉ –

L3Modell

Llama 3.3

Leistet laut Meta ungefähr so viel wie das riesige 405B-Modell — der Preis-Leistungs-Tipp, wenn man 64 GB (z. B. Mac Studio) hat.

Llama 3.3 Community License♥ –⧉ –

L4Modell

Llama 4 (Scout / Maverick)

Metas MoE-Generation mit sehr großem Kontext und Bildverständnis. Für Heim-Hardware meist zu groß — eher für Server/Mac Studio 128 GB+.

Llama 4 Community License (EU-Einschränkungen für multimodale Nutzung beachten!)♥ –⧉ –

Q2Modell

Qwen 2.5

Alibabas Arbeitspferd: stark in vielen Sprachen (auch Deutsch), Mathe und strukturierten Ausgaben (JSON). Die Apache-Größen sind auch kommerziell völlig frei.

Apache-2.0 (7B/14B/32B); 3B + 72B: eigene Qwen-Lizenz♥ –⧉ –

Q3Modell

Qwen 3

Aktuelle Qwen-Generation mit umschaltbarem „Thinking"-Modus (überlegt vor der Antwort). Das MoE 30B-A3B ist ein Geheimtipp: 30B-Qualität bei Geschwindigkeit eines kleinen Modells.

Apache-2.0♥ –⧉ –

M7Modell

Mistral 7B

Der Klassiker unter den freien 7B-Modellen: schnell, genügsam, gute Basis für Feintuning. Inzwischen von Neuerem überholt, aber weiterhin grundsolide.

Apache-2.0♥ –⧉ –

MSModell

Mistral Small 3.x

Sehr starkes, komplett freies Mittelklasse-Modell aus Europa; neuere Versionen auch mit Bildverständnis. Top-Wahl für 32-GB-Macs und RTX-3090/4090-Besitzer.

Apache-2.0♥ –⧉ –

MNModell

Mistral NeMo

Gemeinsam mit NVIDIA entwickelt, 128K Kontext, ausdrücklich mehrsprachig (gutes Deutsch). Guter Mittelweg zwischen 7B und 24B.

Apache-2.0♥ –⧉ –

MModell

Ministral

Mistrals Edge-Reihe für Geräte-nahe Anwendungen. Wegen der Research-Lizenz nur für private/Forschungszwecke frei.

Mistral Research License (8B — nicht kommerziell, Lizenz prüfen!)♥ –⧉ –

MModell

Mixtral

Der MoE-Pionier von Ende 2023. Heute meist durch Qwen 3 MoE oder Mistral Small ersetzt, aber lizenzrechtlich völlig frei.

Apache-2.0♥ –⧉ –

G2Modell

Gemma 2

Googles Vorgänger-Generation, immer noch beliebt: 9B schreibt angenehm natürliche Texte, auch auf Deutsch.

Gemma Terms of Use♥ –⧉ –

G3Modell

Gemma 3

Googles aktuelle offene Reihe: ab 4B multimodal (versteht Bilder), 128K Kontext, über 100 Sprachen. 12B ist ein exzellenter Allrounder für 16-GB-Rechner.

Gemma Terms of Use♥ –⧉ –

P4Modell

Phi-4

Microsofts „klein aber schlau"-Reihe: mit synthetischen Lehrbuch-Daten trainiert, überraschend stark in Mathe/Logik. MIT-Lizenz = maximal frei.

MIT♥ –⧉ –

DVModell

DeepSeek-V3 / V3.x

Eines der stärksten offenen Modelle überhaupt — GPT-4-Klasse. Lokal nur mit Server-Hardware realistisch; für Normalos sind die R1-Distills (s. Reasoning) der Weg.

MIT (neuere Checkpoints; ältere: DeepSeek Model License)♥ –⧉ –

G4Modell

GLM-4

Chinesische Alternative mit gutem Multilingual-Support und Tool-Calling. Die 9B-Version läuft problemlos auf Mittelklasse-Hardware.

GLM-4-9B: eigene Lizenz (kommerziell mit Registrierung); neuere GLM-4.5-Reihe: MIT♥ –⧉ –

GOModell

gpt-oss (OpenAI)

OpenAIs offene Modelle (2025): starke Reasoning-Fähigkeiten mit einstellbarem Denk-Aufwand, natives Tool-Calling. Das 20B läuft dank MoE + 4-Bit erstaunlich gut auf 16-GB-Geräten.

Apache-2.0♥ –⧉ –

QCModell

Qwen2.5-Coder

Der Standard fürs lokale Coden. Das 32B spielt in der Liga proprietärer Modelle; 1.5B/3B eignen sich als flotte Autocomplete-Engine im Editor (z. B. mit Continue.dev).

Apache-2.0 (0.5–32B)♥ –⧉ –

QCModell

Qwen3-Coder

Nachfolger mit Fokus auf agentisches Coden (Tool-Nutzung, ganze Repos bearbeiten). Das 30B-A3B ist dank nur 3B aktiver Parameter sehr schnell.

Apache-2.0♥ –⧉ –

DCModell

DeepSeek-Coder-V2

Das Lite-Modell (nur 2,4B aktiv) liefert für seine Geschwindigkeit erstaunliche Code-Qualität in 300+ Sprachen — gut für schwächere Rechner.

DeepSeek Model License (kommerziell erlaubt, mit Nutzungsauflagen)♥ –⧉ –

CModell

Codestral

Mistrals Code-Spezialist mit sehr gutem Fill-in-the-Middle, 80+ Sprachen. Wegen der Lizenz nur für private Projekte/Forschung.

Mistral Non-Production License (nicht kommerziell!)♥ –⧉ –

DModell

Devstral

Mistrals freier Coding-Agent (mit All Hands AI entwickelt), optimiert für agentische Workflows wie OpenHands — Codebasen erkunden, Multi-File-Edits.

Apache-2.0♥ –⧉ –

SModell

StarCoder2

Transparent trainiertes Community-Modell (BigCode/Hugging Face) auf 600+ Sprachen. Das 3B ist eine gute lokale Autocomplete-Engine.

BigCode OpenRAIL-M♥ –⧉ –

CModell

CodeLlama

Der Veteran (2023). Heute fast immer von Qwen2.5-Coder geschlagen — nur noch relevant, wenn man explizit darauf aufgebaute Tools nutzt.

Llama 2 Community License♥ –⧉ –

CModell

CodeGemma

Googles Code-Ableger von Gemma; das 2B ist als schnelle Completion-Engine für schwache Hardware gedacht.

Gemma Terms of Use♥ –⧉ –

DRModell

DeepSeek-R1

Das Modell, das Anfang 2025 die Reasoning-Welle auslöste — o1-Klasse, komplett offen unter MIT. Lokal nutzt man praktisch immer die Distills (nächste Zeile).

MIT♥ –⧉ –

DRModell

DeepSeek-R1-Distill

R1-Denkfähigkeit in Alltagsgrößen destilliert (auf Qwen-/Llama-Basis). Das 14B ist der Sweet Spot für 16-GB-Rechner, das 32B für 24-GB-GPUs.

MIT (Basis-Lizenzen von Qwen/Llama beachten)♥ –⧉ –

QModell

QwQ

Alibabas Reasoning-Spezialist: erreicht in Mathe/Logik-Benchmarks Werte nahe viel größerer Modelle. Komplett freie Lizenz.

Apache-2.0♥ –⧉ –

Q3Modell

Qwen 3 (Thinking)

Hybrid-Ansatz: dasselbe Modell kann mit und ohne Denk-Modus antworten (umschaltbar). Praktisch, wenn man nicht zwei Modelle vorhalten will; die „-Thinking-2507"-Checkpoints sind reine Denk-Varianten.

Apache-2.0♥ –⧉ –

P4Modell

Phi-4-reasoning

Microsofts Beweis, dass auch 14B ernsthaft „denken" kann — stark in Mathe/Wissenschaft, MIT-frei. Gute Wahl für 16-GB-Geräte.

MIT♥ –⧉ –

MModell

Magistral

Mistrals Reasoning-Modell mit Fokus auf mehrsprachiges Denken (denkt auch auf Deutsch statt nur Englisch) und nachvollziehbare Gedankengänge.

Apache-2.0♥ –⧉ –

Ollama.20 Einträge

Ollama ([ollama.com](https://ollama.com) · [GitHub](https://github.com/ollama/ollama), MIT) ist der einfachste Weg, lokale LLMs zu betreiben. Dieser Ordner enthält: 1. Praxis-Basics (unten): die wichtigsten CLI-Befehle, ein Modelfile-Beispiel, die API-Endpoints. 2. [`pipelines/`](pipelines/): 20 kuratierte Beispiel-Pipelines aus [open-webui/pipelines](https://github.com/open-webui/pipelines) (MIT-Lizenz, Original-LICENSE liegt bei) — Plugins, die Ollama/Open WebUI um RAG, Filter, Übersetzung u. v. m. erweitern. ---

OAnleitungfrei kopierbar

ollama_pipeline.py

Minimalbeispiel: Anfragen an einen Ollama-Server durchreichen — der beste Startpunkt, um das Pipeline-Prinzip zu verstehen.

MIT♥ –⧉ –

OAnleitungfrei kopierbar

ollama_manifold_pipeline.py

„Manifold": macht alle auf dem Ollama-Server installierten Modelle auf einmal verfügbar statt nur eines.

MIT♥ –⧉ –

LAnleitungfrei kopierbar

llama_cpp_pipeline.py

GGUF-Modelle direkt über die llama-cpp-python-Bibliothek fahren — ohne Ollama dazwischen.

MIT♥ –⧉ –

MAnleitungfrei kopierbar

mlx_manifold_pipeline.py

Apple-Silicon-Spezialist: Modelle über Apples MLX-Framework serven (schnell auf M-Chips).

MIT♥ –⧉ –

LAnleitungfrei kopierbar

llamaindex_ollama_pipeline.py

Das Basis-Rezept für lokales RAG: Dokumente aus einem Ordner indexieren (LlamaIndex) und mit lokalem Ollama-Modell + lokalen Embeddings befragen.

MIT♥ –⧉ –

LAnleitungfrei kopierbar

llamaindex_ollama_github_pipeline.py

Wie oben, aber die Wissensbasis ist ein GitHub-Repo — „Chat mit der Codebase".

MIT♥ –⧉ –

TAnleitungfrei kopierbar

text_to_sql_pipeline.py

Natürliche Sprache → SQL-Abfrage gegen die eigene Datenbank, ausgeführt mit lokalem Modell.

MIT♥ –⧉ –

HAnleitungfrei kopierbar

haystack_pipeline.py

Gleiches RAG-Prinzip mit dem Haystack-Framework (deutsche Firma deepset) statt LlamaIndex.

MIT♥ –⧉ –

DAnleitungfrei kopierbar

dynamic_ollama_vision_filter_pipeline.py

Leitet Anfragen mit Bildern automatisch an ein Vision-Modell (z. B. llava) um — Text-Modell und Bild-Modell wirken wie eines.

MIT♥ –⧉ –

LAnleitungfrei kopierbar

llm_translate_filter_pipeline.py

Übersetzt Nutzer-Eingabe und Antwort per (lokalem) LLM — z. B. Deutsch fragen, englisch-starkes Modell nutzen, Deutsch antworten.

MIT♥ –⧉ –

LAnleitungfrei kopierbar

libretranslate_filter_pipeline.py

Dasselbe mit selbstgehostetem LibreTranslate statt LLM — deterministisch und schnell.

MIT♥ –⧉ –

RAnleitungfrei kopierbar

rate_limit_filter_pipeline.py

Begrenzung der Anfragen pro Nutzer/Zeitraum — wichtig, wenn Familie/Team auf denselben Heimserver zugreifen.

MIT♥ –⧉ –

DAnleitungfrei kopierbar

detoxify_filter_pipeline.py

Erkennt toxische Nachrichten (lokales Detoxify-Modell) und blockt sie vor dem LLM.

MIT♥ –⧉ –

CAnleitungfrei kopierbar

conversation_turn_limit_filter.py

Begrenzt die Zahl der Gesprächsrunden pro Chat — simples, gut lesbares Filter-Beispiel.

MIT♥ –⧉ –

FAnleitungfrei kopierbar

function_calling_filter_pipeline.py

Tool-/Function-Calling nachrüsten: LLM darf Python-Funktionen aufrufen (Beispiel: Wetter, Rechner).

MIT♥ –⧉ –

HAnleitungfrei kopierbar

home_assistant_filter.py

Anbindung an Home Assistant — Grundlage für den lokalen Smart-Home-Sprachassistenten.

MIT♥ –⧉ –

IPAnleitungfrei kopierbar

integrations/python_code_pipeline.py

„Modell", das eingegebenen Python-Code ausführt und das Ergebnis zurückgibt (Vorsicht: nur lokal/sandboxed nutzen!).

MIT♥ –⧉ –

IWAnleitungfrei kopierbar

integrations/wikipedia_pipeline.py

Minimal-Beispiel für externe Datenquellen: Anfrage → Wikipedia-API → Antwort.

MIT♥ –⧉ –

SEAnleitungfrei kopierbar

scaffolds/example_pipeline_scaffold.py

Leeres Gerüst für eine eigene Pipe — hier eigene Ideen eintragen.

MIT♥ –⧉ –

SFAnleitungfrei kopierbar

scaffolds/filter_pipeline_scaffold.py

Leeres Gerüst für einen eigenen Filter (inlet/outlet).

MIT♥ –⧉ –

Runner-Tools.14 Einträge

OTool

Ollama

Der De-facto-Standard. Modelle mit einem Befehl laden und ausführen (ollama run llama3.1), integrierte Modell-Library, OpenAI-kompatible API auf Port 11434. Basis für unzählige andere Tools.

MIT♥ –⧉ –

LSTool

LM Studio

Die komfortabelste Desktop-GUI: Modelle aus Hugging Face suchen, laden, chatten, Parameter per Regler, RAG per Drag-and-drop, lokaler OpenAI-API-Server. MLX-Support auf Apple Silicon.

Proprietär (App kostenlos, auch für Firmen; SDK/CLI: MIT)♥ –⧉ –

LTool

llama.cpp

Die Engine unter fast allem (Ollama, LM Studio, …): C/C++-Inferenz für GGUF-Modelle auf CPU und jeder GPU (CUDA, Metal, Vulkan, ROCm). Wer direkt damit arbeitet, bekommt maximale Kontrolle und die neuesten Features zuerst.

MIT♥ –⧉ –

VTool

vLLM

Produktions-Inferenz-Server mit sehr hohem Durchsatz (PagedAttention, Continuous Batching). Erste Wahl, wenn viele Nutzer/Anfragen parallel auf eine GPU-Maschine sollen. Kein Tool für den Laptop-Alltag.

Apache-2.0♥ –⧉ –

KTool

KoboldCpp

Einzel-Binary auf llama.cpp-Basis mit eigener Web-GUI; beliebt in der Rollenspiel-/Story-Community (Charaktere, Welten, lange Kontexte), kann auch Bilder (Stable Diffusion) und TTS.

AGPL-3.0 → nur Link♥ –⧉ –

JTool

Jan

Offline-ChatGPT-Alternative als schicke Desktop-App: lokale Modelle (llama.cpp) und Cloud-Anbieter in einer Oberfläche, Erweiterungen, lokaler API-Server.

Repo ohne Standard-SPDX (AGPL-basiert) → nur Link♥ –⧉ –

GTool

GPT4All

Einsteigerfreundliche Desktop-App von Nomic: kuratierte Modell-Liste, „LocalDocs" (Chat mit eigenen Dateien) eingebaut, läuft gut auf reiner CPU. Entwicklung zuletzt ruhiger.

MIT♥ –⧉ –

OWTool

Open WebUI

Die beliebteste Web-Oberfläche für Ollama & OpenAI-kompatible APIs: Multi-User mit Rechten, RAG, Websuche, Bild-Generierung, Pipelines-Plugins. Perfekt als „Familien-/Team-ChatGPT" auf dem Heimserver. (Die zugehörigen Pipelines sind MIT → kuratierte Beispiele in ../Ollama/.)

Custom (Open-WebUI-Lizenz mit Branding-Klausel) → nur Link♥ –⧉ –

TGTool

text-generation-webui (oobabooga)

Das „Schweizer Taschenmesser" der LLM-Web-UIs: viele Backends (llama.cpp, Transformers, ExLlama), Charaktere, Erweiterungen, Trainings-/LoRA-Funktionen. Für Bastler, die alles einstellen wollen.

AGPL-3.0 → nur Link♥ –⧉ –

LTool

LocalAI

Selbstgehosteter OpenAI-API-Ersatz für den kompletten Stack: LLMs, Embeddings, Whisper, TTS, Bild-Generierung hinter einer API — Drop-in für Apps, die „OpenAI" erwarten. Läuft auch ohne GPU.

MIT♥ –⧉ –

ETool

exo

Experimentell: mehrere Alltagsgeräte zu einem KI-Cluster zusammenschalten (Macs, PCs, sogar iPhones) — große Modelle laufen verteilt, die kein Einzelgerät stemmt.

Apache-2.0♥ –⧉ –

KTool

Khoj

Selbstgehosteter KI-Assistent für die eigenen Notizen/Dokumente (Obsidian, Markdown, PDF, Notion): semantische Suche + Chat, auch mit lokalen Modellen als Backend.

AGPL-3.0 → nur Link♥ –⧉ –

ATool

AnythingLLM

Eine All-in-One-Desktop-App, die lokale oder Cloud-Modelle mit einer eingebauten Dokumenten-Datenbank verbindet — Arbeitsbereiche, RAG und Chat in einem Fenster.

MIT♥ –⧉ –

LTool

LibreChat

Eine quelloffene, selbst gehostete Chat-Oberfläche, die viele Modelle unter einem Dach vereint — Cloud-Anbieter und lokale Modelle nebeneinander, mit Nutzerverwaltung.

MIT♥ –⧉ –

RAG-Werkzeuge.3 Einträge

PTool

PrivateGPT

Befrage deine eigenen Dokumente mit KI — zu 100 % offline. PrivateGPT liest deine PDFs und Texte ein und beantwortet Fragen dazu, ohne dass ein Byte das Gerät verlässt.

Apache-2.0♥ –⧉ –

O(Tool

Onyx (früher Danswer)

Eine selbst gehostete KI-Suche fürs Team: verbindet sich mit euren Wissensquellen (Dateien, Wikis, Chats) und beantwortet Fragen quer über alles — mit Quellenangabe.

MIT (Community Edition)♥ –⧉ –

RTool

RAGFlow

Eine RAG-Engine mit besonders starkem Dokumentenverständnis: zerlegt auch komplexe PDFs mit Tabellen und Layout sauber — für präzise, belegte Antworten.

Apache-2.0♥ –⧉ –