Wie Amazon SageMaker AI die Berechnung von Mixture-of-Experts-Modellen optimiert

Der AWS Machine Learning Blog beschreibt Optimierungen für die Berechnung von Mixture-of-Experts-Modellen auf Grafikkarten. Dabei werden Rechenschritte gebündelt und für bestimmte Modellberechnungen anders angeordnet. Laut AWS erhöhte eine dieser Änderungen auf H200-Grafikkarten den gesamten Ausgabedurchsatz grosser Modelle um 2–4 Prozent; sie ist ab vLLM 0.24.0 verfügbar.