exo

Experimentell: mehrere Alltagsgeräte zu einem KI-Cluster zusammenschalten (Macs, PCs, sogar iPhones) — große Modelle laufen verteilt, die kein Einzelgerät stemmt.

So nutzt du es

Tool über den verlinkten Anbieter installieren (Details und Systemvoraussetzungen im Repo). Diese Programme laden und betreiben lokale Modelle — sie sind der „Player“, das Modell ist die „Musik“.

Plattformen: macOS, Linux (P2P im LAN)

Im Detail

exo ist ein experimentelles Projekt, das ungenutzte Rechenleistung mehrerer Geräte im selben Netzwerk bündelt — Macs, PCs und sogar iPhones lassen sich per P2P zu einem Cluster zusammenschalten, auf dem dann Modelle laufen, die auf keinem der Einzelgeräte allein Platz hätten. Interessant für alle, die z. B. mehrere alte Laptops oder verteilte Hardware in einer WG haben und größere Modelle ausprobieren wollen, ohne in einen Server zu investieren. Als experimentelles Projekt ist es aber weniger stabil und langsamer als ein dediziertes Server-Setup mit vLLM oder llama.cpp — für den Produktivbetrieb eher ungeeignet.

Praxis-Tipp

Erst mit zwei, drei Geräten im selben WLAN testen, bevor man ein größeres Cluster plant — Netzwerklatenz ist oft der Flaschenhals.

Siehe auch

• llama.cpp
• vLLM
• Ollama

Lizenz & Quelle

• Lizenz: Apache-2.0
• Quelle: GitHub