Wie Property Finder verzerrte Modellbewertungen auf Amazon Bedrock korrigierte
Fix evaluation bias to unlock better models on Amazon Bedrock
Property Finder stellte fest, dass 96.8 Prozent seiner Prüflabels direkt von einem bisherigen Modell stammten und Vergleiche mit anderen Modellen verzerrten. Das Team liess Immobilienbilder unabhängig von Fachleuten beschriften und verbesserte die Anweisungen zur Bildprüfung schrittweise. Auf einem Datensatz mit 356 Bildern erreichte Llama 4 Maverick 17B Instruct einen Micro-F1-Wert von 0.80 gegenüber 0.56 beim bisherigen Modell; beide wurden teilweise mit Bildern aus diesem Datensatz abgestimmt, weshalb die Werte zu optimistisch sein können.
Der Fall zeigt, wie Bewertungen ein bisheriges Modell bevorzugen können, wenn dessen eigene Antworten als richtige Lösungen gelten.
Quelle:AWS Machine Learning Blog · aws.amazon.com