AWS Machine Learning Blog· Kevin Shabahang·· vor 1 TagenKI-Bewertung48
Wie i14 Laplace 3B auf AWS Trainium2 trainiert und für Anfragen bereitstellt
Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
KI-Überblick
i14 hat sein Modell Laplace 3B mit AWS für Trainium2 angepasst und dort trainiert und bereitgestellt. Statt eines mit dem Text wachsenden Zwischenspeichers nutzt es pro Anfrage einen festen Speicherbereich von 29.5 MB; wie gut es Informationen aus langen Texten wiederfindet, muss für den jeweiligen Einsatz geprüft werden. Laut AWS erreichte das Modell auf einer trn2.48xlarge-Instanz beim Training etwa 120,000 Texteinheiten pro Sekunde und bei der Ausgabe 11,544 Texteinheiten pro Sekunde über 1,280 gleichzeitige Anfragen.
Quelle:AWS Machine Learning Blog · aws.amazon.com