AWS beschleunigt Berechnungen für MoE-Modelle
Das Wichtigste zuerst
AWS hat mehrere Rechenschritte für Mixture-of-Experts-Modelle optimiert, die bei einer Anfrage nur ausgewählte Teile des Modells nutzen. Die Änderungen bündeln Berechnungen oder ordnen sie anders an. Laut AWS steigerte eine davon auf H200-Grafikkarten die gesamte Textausgabe grosser Modelle um 2–4 Prozent; sie ist ab vLLM 0.24.0 verfügbar. Weitere Änderungen sind laut AWS im AWS-LMI-Container v28 beziehungsweise ab vLLM 0.22.0 verfügbar. Die genannten Versionen gelten für unterschiedliche Optimierungen, nicht für das gesamte Paket.
KI-generiert aus Berichten · aktualisiert vor 7 Stunden
Berichtsverlauf
Entdecken Sie verschiedene Seiten des Ereignisses anhand der Berichte.
- AWS Machine Learning BlogWie Amazon SageMaker AI die Berechnung von Mixture-of-Experts-Modellen optimiert
Der AWS Machine Learning Blog beschreibt Optimierungen für die Berechnung von Mixture-of-Experts-Modellen auf Grafikkarten. Dabei werden Rechenschritte gebündelt und für bestimmte Modellberechnungen anders angeordnet. Laut AWS erhöhte eine dieser Änderungen auf H200-Grafikkarten den gesamten Ausgabedurchsatz grosser Modelle um 2–4 Prozent; sie ist ab vLLM 0.24.0 verfügbar.
Trendverlauf dieses Ereignisses
- Aktueller Wert im vergleichbaren Bereich
- 8
- Höchstwert im vergleichbaren Bereich
- 1014. Okt. 01:00
- Veränderung in den letzten 24 Stunden
- –
Der Trend vergleicht nur dieselben Akteure, die durchgehend vollständig beobachtet wurden. Sein Umfang kann kleiner sein als bei der aktuellen Trendbewertung. Mauszeiger bewegen oder ins Diagramm klicken, um Stundenwerte zu sehen; mit den Pfeiltasten links und rechts wechseln.