Amazon SageMaker AI: Skalierungsgrenzen für Kokoro-82M anhand von Messungen festlegen

AWS zeigt, wie sich die automatische Skalierung eines Kokoro-82M-Endpunkts für Sprachausgabe in Amazon SageMaker AI anhand zweier Messungen einstellen lässt. Bei der getesteten Instanz lag die Grenze für gleichzeitige Anfragen innerhalb des Latenzziels bei 50; der gemessene Ausbau der Kapazität dauerte 260,2 Sekunden, für die Planung wurden weitere 60 Sekunden berücksichtigt. Die Werte gelten für Kokoro-82M auf ml.g5.xlarge und müssen für andere Modelle oder Instanztypen neu gemessen werden.