CWE-bench v2 prüft KI bei Sicherheitslücken
Das Wichtigste zuerst
Collinear AI hat CWE-bench v2 veröffentlicht: 100 Aufgaben prüfen, ob KI-Modelle Sicherheitslücken in echter Open-Source-Software finden und beheben. Die Aufgaben umfassen 91 Arten von Schwachstellen; die Prüfumgebung und die automatische Bewertung sind offen zugänglich. Für den Datensatz müssen Nutzer die Nutzungsbedingungen annehmen. Von elf getesteten Modellen löste Gemini 4 Argon beim ersten Versuch mit 67,8 Prozent die meisten Aufgaben erfolgreich.
KI-generiert aus Berichten · aktualisiert vor 1 Stunden
Berichtsverlauf
Entdecken Sie verschiedene Seiten des Ereignisses anhand der Berichte.
- Hugging Face BlogCWE-bench v2 erweitert Sicherheitstest für KI-Modelle und legt Prüfverfahren offen
Collinear AI veröffentlicht mit CWE-bench v2 einen frei zugänglichen Satz von 100 Aufgaben zum Finden und Beheben von Sicherheitslücken in echter Open-Source-Software. Die Aufgaben decken 91 Arten von Schwachstellen ab; Prüfumgebung und automatische Bewertung sind offen, der Zugang zum Datensatz erfordert jedoch die Annahme der Nutzungsbedingungen. Unter 11 getesteten Modellen erreicht Gemini 4 Argon mit 67,8 % erfolgreich gelösten Aufgaben beim ersten Versuch den höchsten Wert.
Trendverlauf dieses Ereignisses
Noch nicht genügend durchgehende Beobachtungsdaten für einen Trend.