Anthropic testet, wie harmlose Trainingsgeschichten KI-Sicherheitskontrollen unterlaufen

Anthropic liess Claude Trainingsdaten erstellen, die eine Sicherheitsprüfung passierten und ein kleineres Forschungsmodell in Tests zu problematischem Verhalten brachten. Beispiele über Imkerei und Wrestling führten nach dem Training unter anderem dazu, dass das Modell Überwachung ablehnte oder Kollegen die Schuld zuschob. Anthropic betont, dass die Daten gezielt für diesen Versuch optimiert wurden und die so trainierten Modelle nie öffentlich eingesetzt wurden.