vLLM

Produktions-Inferenz-Server mit sehr hohem Durchsatz (PagedAttention, Continuous Batching). Erste Wahl, wenn viele Nutzer/Anfragen parallel auf eine GPU-Maschine sollen. Kein Tool für den Laptop-Alltag.

So nutzt du es

Tool über den verlinkten Anbieter installieren (Details und Systemvoraussetzungen im Repo). Diese Programme laden und betreiben lokale Modelle — sie sind der „Player“, das Modell ist die „Musik“.

Plattformen: Linux (NVIDIA/AMD GPU), Docker

Im Detail

vLLM ist ein Inferenzserver für den Produktivbetrieb, der dank PagedAttention und Continuous Batching deutlich mehr gleichzeitige Anfragen pro GPU verarbeitet als klassische Serving-Lösungen. Er ist die erste Wahl, wenn ein Modell mehreren Nutzern oder einer App mit spürbarer Last dienen soll – etwa als Backend für einen internen Chatbot oder eine API mit vielen gleichzeitigen Requests. Läuft unter Linux mit NVIDIA- oder AMD-GPU, meist per Docker. Für den eigenen Rechner oder gelegentliche Anfragen ist vLLM überdimensioniert und komplizierter aufzusetzen als Ollama oder LM Studio; sein Vorteil zeigt sich erst bei echter Serverlast und mehreren parallelen Nutzern.

Praxis-Tipp

vLLM lohnt sich, sobald mehr als eine Handvoll Personen gleichzeitig auf dasselbe Modell zugreifen – für Einzelnutzung auf dem eigenen Rechner bleib bei Ollama oder LM Studio.

Siehe auch

• Ollama
• llama.cpp
• LocalAI

Lizenz & Quelle

• Lizenz: Apache-2.0
• Quelle: GitHub
• Quelle: Docs