i14 trainiert Laplace 3B auf AWS Trainium2
Das Wichtigste zuerst
i14 hat sein Sprachmodell Laplace 3B für AWS Trainium2 angepasst, dort trainiert und für Anfragen bereitgestellt. Das Modell nutzt pro Anfrage einen festen Speicherbereich von 29,5 MB statt eines Zwischenspeichers, der mit der Textlänge wächst. Wie zuverlässig es Informationen aus langen Texten wiederfindet, muss für den jeweiligen Einsatz geprüft werden. Laut AWS verarbeitete das Modell beim Training auf einer trn2.48xlarge-Instanz rund 120 000 Texteinheiten pro Sekunde. Bei der Ausgabe waren es 11 544 Texteinheiten pro Sekunde über 1280 gleichzeitige Anfragen.
KI-generiert aus Berichten · aktualisiert vor 1 Tagen
Berichtsverlauf
Entdecken Sie verschiedene Seiten des Ereignisses anhand der Berichte.
- AWS Machine Learning BlogWie i14 Laplace 3B auf AWS Trainium2 trainiert und für Anfragen bereitstellt
i14 hat sein Modell Laplace 3B mit AWS für Trainium2 angepasst und dort trainiert und bereitgestellt. Statt eines mit dem Text wachsenden Zwischenspeichers nutzt es pro Anfrage einen festen Speicherbereich von 29.5 MB; wie gut es Informationen aus langen Texten wiederfindet, muss für den jeweiligen Einsatz geprüft werden. Laut AWS erreichte das Modell auf einer trn2.48xlarge-Instanz beim Training etwa 120,000 Texteinheiten pro Sekunde und bei der Ausgabe 11,544 Texteinheiten pro Sekunde über 1,280 gleichzeitige Anfragen.
Trendverlauf dieses Ereignisses
- Aktueller Wert im vergleichbaren Bereich
- 5
- Höchstwert im vergleichbaren Bereich
- 1021. Okt. 06:00
- Veränderung in den letzten 24 Stunden
- -50%
Der Trend vergleicht nur dieselben Akteure, die durchgehend vollständig beobachtet wurden. Sein Umfang kann kleiner sein als bei der aktuellen Trendbewertung. Mauszeiger bewegen oder ins Diagramm klicken, um Stundenwerte zu sehen; mit den Pfeiltasten links und rechts wechseln.