Anleitung: Entscheidungsmodelle mit llama.cpp auf Amazon SageMaker AI bereitstellen

AWS zeigt, wie sich Entscheidungsmodelle mit llama.cpp auf Amazon SageMaker AI bereitstellen lassen. Eine Erweiterung mit SemIf bewertet vorgegebene Antwortmöglichkeiten und gibt deren Wahrscheinlichkeiten zurück, statt eine Antwort als Text zu erzeugen. In einem Test mit 231 Aufgaben erreichte Qwen3.5-4B auf CPU 77.5% und auf GPU 77.9% Genauigkeit; diese Werte gelten für die SemIf-Erweiterung, nicht für die Textausgabe.