CloudOpsBench: KI übersieht Cloud-Dienste
Das Wichtigste zuerst
Im Test CloudOpsBench scheiterten KI-Systeme bei Aufgaben zum Betrieb von Cloud-Diensten häufig, weil sie den Umfang der Aufgabe falsch einschätzten, betroffene Dienste übersahen oder zu früh aufhörten. Das Forschungsteam um Ang Chen ordnet rund 80 Prozent der Fehlschläge solchen Fehlern beim Schlussfolgern zu. Von 45 Aufgaben auf der Cloud-Plattform AWS löste Claude Fable 5.1 insgesamt 60 Prozent und GPT-6 Astra 53 Prozent.
KI-generiert aus Berichten · aktualisiert vor 13 Minuten
Berichtsverlauf
Entdecken Sie verschiedene Seiten des Ereignisses anhand der Berichte.
- The DecoderCloudOpsBench zeigt Schwächen von KI bei Aufgaben in der Cloud
Der neue, quelloffene Test CloudOpsBench zeigt, dass KI-Systeme bei Aufgaben für den Betrieb von Cloud-Diensten vor allem an falschen Schlussfolgerungen scheitern. Von 45 Aufgaben auf AWS löste Claude Fable 5.1 60 Prozent und GPT-6 Astra 53 Prozent. Laut dem Forschungsteam entstanden rund 80 Prozent der Fehlschläge, weil die Systeme den Umfang einer Aufgabe falsch einschätzten, betroffene Dienste übersahen oder zu früh aufhörten.
Trendverlauf dieses Ereignisses
Noch nicht genügend durchgehende Beobachtungsdaten für einen Trend.