Home / LLM SizerLLM-Rechner

Which LLM runs on
your hardware?
Welches LLM läuft auf
Ihrer Hardware?

How many users, how fast, how good: an honest estimate before the first GPU is ordered.Wie viele Nutzer, wie schnell, wie gut: eine ehrliche Schätzung, bevor die erste GPU bestellt ist.

01The machineDie Hardware

02PurposeZiel

03The workloadDie Nutzung

How many usersWie viele Nutzer
How oftenWie oft
Response speedAntwortgeschwindigkeit

Details and settingsDetails und Einstellungen

Thinking before the answerNachdenken vor der Antwort
Prompt cachingPrompt-Caching Reuses text already read (instructions, earlier messages, the same report) instead of reading it again.Nutzt bereits gelesenen Text (Anweisungen, frühere Nachrichten, denselben Bericht) erneut, statt ihn noch einmal zu lesen.
Memory per conversation (KV cache)Speicher pro Gespräch (KV-Cache) 8-bit halves the memory each running conversation holds, so more conversations fit at once. An engine setting, off by default (vLLM: --kv-cache-dtype fp8).8-Bit halbiert den Speicher, den jedes laufende Gespräch belegt; es passen also mehr Gespräche gleichzeitig. Eine Einstellung der Engine, standardmäßig aus (vLLM: --kv-cache-dtype fp8).

German text needs about 30% more tokens than English, so the same machine serves fewer German-speaking users.Deutscher Text braucht etwa 30 % mehr Tokens als englischer, dieselbe Hardware bedient also weniger deutschsprachige Nutzer.