vLLM überträgt Gesprächsdaten zwischen Servern
Das Wichtigste zuerst
vLLM kann bereits berechnete Inhalte eines KI-Gesprächs zwischen Servern in beide Richtungen übertragen. So muss das System bei weiteren Schritten eines längeren Gesprächs weniger erneut berechnen. In AWS-Tests sank die Wartezeit bis zum ersten Antwortteil je nach Modell um bis zum Faktor 1,6 beziehungsweise 3,3. Für die Einrichtung nennt AWS vLLM ab Version 0.21.0, NixlConnector, eine aktivierte Übertragung auf beiden Servern und eine Weiterleitung, die gespeicherte Gesprächsdaten berücksichtigt. Die gemessene Wirkung hängt von Modell, Arbeitslast, Hardware und Netzwerk ab.
KI-generiert aus Berichten · aktualisiert vor 1 Stunden
Berichtsverlauf
Entdecken Sie verschiedene Seiten des Ereignisses anhand der Berichte.
- AWS Machine Learning BlogWie vLLM die Wartezeit bis zum ersten Antwortteil bei längeren KI-Gesprächen verkürzt
vLLM kann bereits berechnete Gesprächsinhalte zwischen Servern in beide Richtungen übertragen und so wiederholte Berechnungen vermeiden. In Tests von AWS sank die Wartezeit bis zum ersten Antwortteil bei Qwen3-32B um bis zu den Faktor 1.6 und bei zai-org/GLM-5-FP8 um bis zu den Faktor 3.3. Die Ergebnisse hängen von der Arbeitslast und der Konfiguration ab.
Trendverlauf dieses Ereignisses
Noch nicht genügend durchgehende Beobachtungsdaten für einen Trend.