AWS misst Skalierung für Sprachausgabe
Das Wichtigste zuerst
AWS zeigt, wie sich die automatische Kapazitätsanpassung eines Sprachausgabe-Dienstes auf Amazon SageMaker AI anhand von Messungen einstellen lässt. Beim Test mit Kokoro-82M auf einer ml.g5.xlarge-Instanz blieben bis zu 50 gleichzeitige Anfragen innerhalb des angestrebten Antwortzeitlimits. Der Kapazitätsausbau dauerte 260,2 Sekunden; AWS berücksichtigte für die Planung weitere 60 Sekunden. Für andere Modelle oder Instanztypen müssen diese Werte neu gemessen werden.
KI-generiert aus Berichten · aktualisiert vor 2 Stunden
Berichtsverlauf
Entdecken Sie verschiedene Seiten des Ereignisses anhand der Berichte.
- AWS Machine Learning BlogAmazon SageMaker AI: Skalierungsgrenzen für Kokoro-82M anhand von Messungen festlegen
AWS zeigt, wie sich die automatische Skalierung eines Kokoro-82M-Endpunkts für Sprachausgabe in Amazon SageMaker AI anhand zweier Messungen einstellen lässt. Bei der getesteten Instanz lag die Grenze für gleichzeitige Anfragen innerhalb des Latenzziels bei 50; der gemessene Ausbau der Kapazität dauerte 260,2 Sekunden, für die Planung wurden weitere 60 Sekunden berücksichtigt. Die Werte gelten für Kokoro-82M auf ml.g5.xlarge und müssen für andere Modelle oder Instanztypen neu gemessen werden.
Trendverlauf dieses Ereignisses
Noch nicht genügend durchgehende Beobachtungsdaten für einen Trend.