Property Finder korrigiert verzerrten Modellvergleich
Das Wichtigste zuerst
Property Finder hat seine Bewertung von KI-Modellen zur Prüfung von Immobilienbildern korrigiert. 96,8 Prozent der bisherigen Prüflabels stammten vom bisherigen Modell selbst und verzerrten den Vergleich mit anderen Modellen. Deshalb liess das Team Fachleute die Bilder unabhängig beschriften und überarbeitete die Anweisungen für die Bildprüfung. Bei 356 Bildern erzielte Llama 4 Maverick 17B Instruct einen Micro-F1-Wert von 0,80, das bisherige Modell 0,56. Dieser Wert fasst die Trefferqualität über alle geprüften Fälle zusammen. Beide Modelle wurden teilweise anhand von Bildern aus diesem Datensatz angepasst; die Ergebnisse können daher zu optimistisch sein.
KI-generiert aus Berichten · aktualisiert vor 59 Minuten
Berichtsverlauf
Entdecken Sie verschiedene Seiten des Ereignisses anhand der Berichte.
- AWS Machine Learning BlogAuswahlWie Property Finder verzerrte Modellbewertungen auf Amazon Bedrock korrigierte
Property Finder stellte fest, dass 96.8 Prozent seiner Prüflabels direkt von einem bisherigen Modell stammten und Vergleiche mit anderen Modellen verzerrten. Das Team liess Immobilienbilder unabhängig von Fachleuten beschriften und verbesserte die Anweisungen zur Bildprüfung schrittweise. Auf einem Datensatz mit 356 Bildern erreichte Llama 4 Maverick 17B Instruct einen Micro-F1-Wert von 0.80 gegenüber 0.56 beim bisherigen Modell; beide wurden teilweise mit Bildern aus diesem Datensatz abgestimmt, weshalb die Werte zu optimistisch sein können.
Trendverlauf dieses Ereignisses
Noch nicht genügend durchgehende Beobachtungsdaten für einen Trend.