machichdigital

Lokale LLMs · Foto: derekGavey, CC BY 2.0

ModellLokale LLM-ModelleLizenz: MIT

whisper.cpp

Zuletzt aktualisiert:

⧉ –× kopiert⬇ –× heruntergeladenBewertung:

Typ

Modell

Lizenz

MIT

Anwendungsfeld

Lokale LLM-Modelle

Voraussetzungen

Keine besonderen — direkt loslegen.

Whisper in reinem C/C++ ohne Python-Abhängigkeiten — perfekt für Offline-Diktat-Tools und Embedded.

So nutzt du es

Am einfachsten per Ollama: ollama pull <modellname> und dann ollama run <modellname> — oder komfortabel mit LM Studio (grafische Oberfläche, Modell-Suche eingebaut). Die Hardware-Angaben unten beziehen sich auf die übliche 4-Bit-Quantisierung (Q4).

Größen & Hardware

  • Verfügbare Größen: nutzt Whisper-Gewichte (GGML)
  • Empfohlene Hardware (Q4): läuft auf CPU, Mac, sogar Raspberry Pi

Im Detail

whisper.cpp portiert OpenAIs Whisper-Modell nach C/C++, ohne Python-Laufzeit oder schwere Abhängigkeiten wie PyTorch. Es nutzt die gleichen Gewichte (im GGML/GGUF-Format), läuft aber deutlich schlanker und sogar auf einem Raspberry Pi oder in mobilen Apps. Für Entwickler, die Spracherkennung in eine native App, ein Kommandozeilen-Tool oder ein Embedded-Gerät einbauen wollen, ist das oft die praktischere Wahl als das Python-Original – weniger Setup-Aufwand, kleinerer Ressourcenbedarf, einfacheres Deployment. Wer dagegen ohnehin in einer Python-Umgebung arbeitet und maximale Flexibilität bei Nachbearbeitung oder Batch-Verarbeitung will, fährt mit dem originalen Whisper-Modell meist komfortabler.

Praxis-Tipp

Für ein Offline-Diktat-Tool auf dem Mac whisper.cpp mit dem Modell „base“ oder „small“ und Core-ML-Beschleunigung nutzen – reicht für Echtzeit-Transkription ohne spürbare Verzögerung.

Lizenz & Quelle

Erfahrungen & Kommentare.

Funktioniert der Modell bei Ihnen? Tipps, Stolperfallen, Varianten — teilen Sie es mit der Community.

Lade Kommentare …

Ihre IP-Adresse wird zum Schutz vor Missbrauch gespeichert und nach 14 Tagen automatisch entfernt (Datenschutz).

Passt dazu.

Llama 3.1

Der Meta-Klassiker mit 128K Kontext. 8B ist ein sehr solider Allrounder für schwächere Hardware, spricht ordentlich Deutsch.

Llama 3.1 Community License♥ –⧉ –

Llama 3.3

Leistet laut Meta ungefähr so viel wie das riesige 405B-Modell — der Preis-Leistungs-Tipp, wenn man 64 GB (z. B. Mac Studio) hat.

Llama 3.3 Community License♥ –⧉ –

Llama 4 (Scout / Maverick)

Metas MoE-Generation mit sehr großem Kontext und Bildverständnis. Für Heim-Hardware meist zu groß — eher für Server/Mac Studio 128 GB+.

Llama 4 Community License (EU-Einschränkungen für multimodale Nutzung beachten!)♥ –⧉ –