Wie vLLM die Wartezeit bis zum ersten Antwortteil bei längeren KI-Gesprächen verkürzt

vLLM kann bereits berechnete Gesprächsinhalte zwischen Servern in beide Richtungen übertragen und so wiederholte Berechnungen vermeiden. In Tests von AWS sank die Wartezeit bis zum ersten Antwortteil bei Qwen3-32B um bis zu den Faktor 1.6 und bei zai-org/GLM-5-FP8 um bis zu den Faktor 3.3. Die Ergebnisse hängen von der Arbeitslast und der Konfiguration ab.