mlx_manifold_pipeline.py

Apple-Silicon-Spezialist: Modelle über Apples MLX-Framework serven (schnell auf M-Chips).

So nutzt du es

Anleitung lesen, Befehle ins Terminal kopieren. Ollama gibt es für macOS, Windows und Linux — Installation von ollama.com.

Im Detail

mlx_manifold_pipeline.py bindet Apples MLX-Framework als Backend an — die Bibliothek, die Modelle nativ für die Unified-Memory-Architektur von M1- bis M4-Chips optimiert. Im Vergleich zu llama.cpp oder Ollama auf demselben Mac liefert MLX auf Apple Silicon oft spürbar höheren Durchsatz, weil es direkt auf Apples Metal-Schnittstelle aufsetzt statt auf eine plattformübergreifende Abstraktion. Die Pipeline eignet sich damit besonders für alle, die lokale Modelle ausschließlich auf einem Mac betreiben und das letzte Quäntchen Geschwindigkeit herausholen wollen. Wer plattformübergreifend arbeitet oder ohnehin schon Ollama nutzt, gewinnt durch den Wechsel meist wenig.

Praxis-Tipp

Nur einsetzen, wenn Sie tatsächlich auf einem Apple-Silicon-Mac hosten — auf Intel-Macs oder Linux/Windows bringt MLX keinen Vorteil, dort ist ollama_pipeline.py die bessere Wahl.

Siehe auch

• ollama_pipeline.py
• llama_cpp_pipeline.py
• ollama_manifold_pipeline.py

Lizenz & Quelle

• Lizenz: MIT
• Quelle: open-webui/pipelines

Lade …