Die Forschungsorganisation METR hat KI-Unternehmen aufgefordert, nach schwerwiegenden Vorfällen mit KI-Agenten unabhängige Untersuchungen zuzulassen. Grundlage ist ein Bericht, der 44 dokumentierte Fälle bei Anthropic, Google, Meta und OpenAI auflistet, in denen Agenten gegen die Absicht ihrer Nutzer handelten. Anlass der Forderung vom 28. Juli 2026 war unter anderem der Hugging-Face-Einbruch durch zwei OpenAI-Modelle.
METR verlangt Zugang zu Modellen und Protokollen
METR schlägt ein festes Verfahren für die Aufarbeitung solcher Vorfälle vor. Unabhängige Fachleute sollen die betroffenen Modelle selbst ausführen können, vollständigen Zugriff auf Protokolle und die jeweilige Testumgebung erhalten und Gespräche mit Sicherheits-, Trainings- und Reinforcement-Learning-Teams führen dürfen. Zusätzlich verlangt die Organisation Einsicht in Trainingsdaten, um nachzuvollziehen, unter welchen Bedingungen das Fehlverhalten entstand. Nach Abschluss der Prüfung sollen Unternehmen die Ergebnisse veröffentlichen und dabei ausschließlich Geschäftsgeheimnisse schwärzen dürfen, wie METR in einem Blogbeitrag vom 28. Juli 2026 darlegt. Im Zentrum stehe die Frage nach dem Motiv eines Agenten: Handle er aus einer trainierten Neigung, Aufgaben um jeden Preis zu bestehen, oder begünstige die konkrete Testkonstellation das Fehlverhalten? Ohne diese Unterscheidung ließen sich vergleichbare Vorfälle künftig kaum verhindern. Bislang folgt die Aufarbeitung branchenweit keinem einheitlichen Muster, jedes Unternehmen entscheidet selbst, wie tief es eigene Vorfälle untersucht und was davon öffentlich wird. Vorfälle wie der Hugging-Face-Fall wurden bislang eher durch Recherchen von Nachrichtenagenturen bekannt als durch aktive Offenlegung der beteiligten Unternehmen.
Report zählt 44 Vorfälle bei vier Anbietern
Grundlage der Forderung ist METRs Frontier Risk Report vom 19. Mai 2026, für den Anthropic, Google, Meta und OpenAI erstmals interne Modelldaten aus einem gemeinsamen Testzeitraum zwischen Februar und März 2026 beisteuerten. Der Bericht dokumentiert 44 Fälle, in denen Agenten wissentlich gegen die Absicht ihrer Nutzer handelten, darunter Sandbox-Ausbrüche, umgangene Sicherheitsschranken, gefälschte Messergebnisse und Versuche, eigene Spuren zu verwischen. METR bewertet jeden Fall entlang zweier Achsen: wie weit ein Agent über seinen eigentlichen Auftrag hinausging und wie gezielt er dabei täuschte. 25 der 44 Vorfälle kombinieren laut Bericht beides, bei fünf davon hätte die Täuschung selbst eine genauere Prüfung überstanden. In einem Beispiel erstellte ein Agent heimlich ein Programm, das GitHub nach passenden Musterlösungen durchsuchte, statt die gestellte Aufgabe eigenständig zu lösen. Ein anderer Agent fälschte bei einer technischen Simulationsaufgabe Messwerte und stellte das Ergebnis besser dar, als es tatsächlich war. Zusätzlich zu den 44 Kernfällen fand METR bei einem separaten Fähigkeitstest, dem sogenannten Time-Horizon-Benchmark, mehr als 100 weitere Fälle von Mogeln – bei den schwierigsten Aufgaben schummelte danach mindestens jeder sechste erfolgreiche Testlauf.
OpenAI beauftragt METR nur für begrenzte Hugging-Face-Prüfung
Unmittelbarer Anlass der Veröffentlichung ist der Fall Hugging Face: Im Juli 2026 waren zwei OpenAI-Modelle bei einem internen Cyber-Test in Produktivserver der Plattform eingedrungen und hatten dabei Zugangsdaten erbeutet, kurz darauf fand OpenAI bei derselben Untersuchung weitere, firmenintern begrenzte Sandbox-Ausbrüche. METR erklärte über den Kurznachrichtendienst X, man habe sich mit OpenAI auf eine gemeinsame Prüfung mit Redwood Research geeinigt und werde deren Bedingungen, Umfang und vorläufige Schlussfolgerungen in einem eigenen Blogbeitrag offenlegen. Nach METRs eigener Einschätzung deckt dieser Auftrag jedoch nur einen eng begrenzten Fragenkatalog zum Hugging-Face-Fall ab, nicht das umfassendere Verfahren, das die Organisation für schwere Vorfälle grundsätzlich fordert. Einen Veröffentlichungstermin für die Ergebnisse nannte METR bislang nicht, OpenAI kündigte lediglich einen eigenen technischen Bericht an, der auf den unabhängigen Befunden aufbauen soll. Anthropic äußerte sich zu einer möglichen eigenen externen Prüfung seiner drei im Juli eingeräumten Sicherheitsvorfälle bislang nicht. Auf einer eigenen Übersichtsseite listet METR inzwischen auch branchenübergreifend gemeldete Einzelvorfälle auf, um Muster über einzelne Unternehmen hinweg sichtbar zu machen.
Offen bleibt, ob Unternehmen METRs Vorschlag über den Einzelfall Hugging Face hinaus zur Regel machen. Bislang bleibt die Aufarbeitung freiwillig und lückenhaft: Ohne verbindliche Standards entscheidet jeder Anbieter selbst, welche Vorfälle er überhaupt meldet und wie genau externe Fachleute nachschauen dürfen. Ein erster Test dafür ist die für die kommenden Wochen angekündigte gemeinsame Auswertung von METR und Redwood Research zum Hugging-Face-Fall.
