LocalAI

Selbstgehosteter OpenAI-API-Ersatz für den kompletten Stack: LLMs, Embeddings, Whisper, TTS, Bild-Generierung hinter einer API — Drop-in für Apps, die „OpenAI“ erwarten. Läuft auch ohne GPU.

So nutzt du es

Tool über den verlinkten Anbieter installieren (Details und Systemvoraussetzungen im Repo). Diese Programme laden und betreiben lokale Modelle — sie sind der „Player“, das Modell ist die „Musik“.

Plattformen: Docker, Linux, macOS, Windows

Im Detail

LocalAI bildet die OpenAI-API nach, deckt dabei aber weit mehr als Chat ab: Sprachmodelle, Embeddings, Spracherkennung (Whisper), Sprachausgabe (TTS) und Bildgenerierung laufen alle hinter derselben API. Das macht es zum Drop-in-Ersatz für Anwendungen, die fest auf „OpenAI“ programmiert sind – es genügt, die Basis-URL umzubiegen, ohne den Anwendungscode anzupassen. Anders als reine Chat-Tools deckt LocalAI damit ganze Produkt-Stacks ab, etwa eine App mit Chat, Transkription und Bildgenerierung aus einer Hand. Es läuft auch ganz ohne GPU, wird dann aber entsprechend langsamer. Wer nur chatten möchte, ist mit Ollama oder LM Studio einfacher bedient – LocalAI lohnt sich, sobald mehrere KI-Fähigkeiten gleichzeitig gebraucht werden.

Praxis-Tipp

Wenn Ihre bestehende App bereits die OpenAI-Bibliothek nutzt, reicht oft nur das Ändern der API-Basis-URL auf Ihre LocalAI-Instanz, um sie komplett lokal laufen zu lassen.

Siehe auch

• Ollama
• LM Studio
• Open WebUI

Lizenz & Quelle

• Lizenz: MIT
• Quelle: localai.io
• Quelle: GitHub