AWS zeigt Entscheidungsmodelle auf SageMaker AI
Das Wichtigste zuerst
AWS zeigt in einer Anleitung, wie sich Entscheidungsmodelle mit llama.cpp auf Amazon SageMaker AI bereitstellen lassen. Eine optionale Erweiterung namens SemIf bewertet vorgegebene Antwortmöglichkeiten und gibt deren Wahrscheinlichkeiten aus, statt eine Antwort als Text zu schreiben. In einem Test mit 231 Aufgaben erreichte das Modell Qwen3.5-4B mit SemIf eine Genauigkeit von 77,5 Prozent auf einem Hauptprozessor und 77,9 Prozent auf einem Grafikprozessor. Die Werte beziehen sich auf die Bewertung der Antwortmöglichkeiten, nicht auf die Textausgabe.
KI-generiert aus Berichten · aktualisiert vor 1 Stunden
Berichtsverlauf
Entdecken Sie verschiedene Seiten des Ereignisses anhand der Berichte.
- AWS Machine Learning BlogAnleitung: Entscheidungsmodelle mit llama.cpp auf Amazon SageMaker AI bereitstellen
AWS zeigt, wie sich Entscheidungsmodelle mit llama.cpp auf Amazon SageMaker AI bereitstellen lassen. Eine Erweiterung mit SemIf bewertet vorgegebene Antwortmöglichkeiten und gibt deren Wahrscheinlichkeiten zurück, statt eine Antwort als Text zu erzeugen. In einem Test mit 231 Aufgaben erreichte Qwen3.5-4B auf CPU 77.5% und auf GPU 77.9% Genauigkeit; diese Werte gelten für die SemIf-Erweiterung, nicht für die Textausgabe.
Trendverlauf dieses Ereignisses
Noch nicht genügend durchgehende Beobachtungsdaten für einen Trend.