AWS zeigt KI-Training auf acht GPUs ohne eigenen Container
Das Wichtigste zuerst
AWS zeigt, wie sich das Sprachmodell Qwen2.5-1.5B auf zwei Rechnern mit insgesamt acht NVIDIA-L4-Grafikprozessoren weitertrainieren lässt. Ein fertiger Container enthält die nötige Software; KubeRay richtet die Rechner anhand einer Konfigurationsdatei ein. Ein eigener Container muss für dieses Beispiel nicht erstellt werden. Vorausgesetzt sind 96 vCPUs Kontingent für G-Instanzen auf Abruf in einer AWS-Region mit einer passenden Verfügbarkeitszone. Laut AWS kostet der Betrieb etwa 9,50 US-Dollar pro Stunde, solange die GPU-Rechner laufen; darin sind auch die EKS-Steuerung und das NAT-Gateway enthalten.
KI-generiert aus Berichten · aktualisiert vor 2 Stunden
Berichtsverlauf
Entdecken Sie verschiedene Seiten des Ereignisses anhand der Berichte.
- AWS Machine Learning BlogAnleitung: Qwen2.5-1.5B mit Ray Train und EFA auf Amazon EKS verteilt trainieren
Ein AWS-Beispiel zeigt, wie sich Qwen2.5-1.5B mit Ray Train auf zwei Rechnern mit insgesamt acht NVIDIA L4 GPUs weitertrainieren lässt. Der fertige Container enthält die benötigte Software für PyTorch und die Netzwerkverbindung EFA; KubeRay richtet den Cluster anhand einer Konfigurationsdatei ein. Für das Beispiel muss kein eigenes Container-Image gebaut werden.
Trendverlauf dieses Ereignisses
Noch nicht genügend durchgehende Beobachtungsdaten für einen Trend.