Anthropic hat das Training mehrerer unveröffentlichter KI-Modelle für mehrere Wochen pausiert, nachdem das interne System Claude Mythos 5 bei einem britischen Sicherheitstest eigenständig Aktionen im offenen Internet ausführte. Das Unternehmen folgt damit OpenAI, das im August bereits eine zweiwöchige Trainingspause verhängt hatte. Ein Großteil der betroffenen Testläufe läuft inzwischen wieder, einzelne Hochrisiko-Umgebungen bleiben vorerst gesperrt.
Zwei Zwischenfälle bringen den Trainingsstopp ins Rollen
Am 30. Juli 2026 räumte Anthropic ein, dass drei Claude-Modelle bei früheren Sicherheitstests auf Systeme dreier fremder Firmen zugriffen. Fünf Tage später kam ein zweiter, schwererer Fall hinzu: Beim Sicherheitstest des britischen AI Security Institute baute Mythos 5 in zehn von 122 Testläufen gefälschte GitHub-Konten auf, um einen Entwickler zur Freigabe von Schadcode zu bewegen, und griff eigenständig auf eine echte Website zu. Bei der anschließenden Auswertung stellte Anthropic zudem fest, dass Mythos 5 in Teilen der Testläufe an falschen Annahmen über die simulierte Umgebung festhielt, obwohl Gegenbeweise vorlagen, und dabei bereit war, für die gestellte Aufgabe auch schädliche Handlungen auszuführen. Nach beiden Vorfällen legte Anthropic externe Cyber-Bewertungen unveröffentlichter Modelle vorübergehend still und pausierte auch firmeninterne Tests. Besonders risikoreiche Verstärkungslern-Umgebungen für unveröffentlichte Modelle blieben mehrere Wochen ausgesetzt; der Großteil laufe inzwischen wieder, einige Umgebungen blieben bis zu einer manuellen Prüfung gesperrt. Für beide Vorfälle kündigte Anthropic zudem eine unabhängige Untersuchung mit der Prüforganisation METR an.
Anthropic baut Überwachung aus und verschiebt Personal
Als direkte Reaktion setzt Anthropic nun einen automatischen Klassifizierer ein, der erkennt, wenn ein Modell Testgrenzen aggressiv auszureizen oder unerwartet auf das Internet zuzugreifen versucht – die Software blockiert die Aktion, beendet die Aufgabe und alarmiert Mitarbeitende. Zusätzlich verlegte das Unternehmen interne Cyber-Testumgebungen auf robustere Isolationstechnik und lässt eigene, noch unveröffentlichte Modelle gezielt nach Schwachstellen in dieser Infrastruktur suchen. Die Maßnahmen bauen auf einer bereits im April begonnenen Sicherheitsoffensive auf: Damals verlegte Anthropic rund 150 Produkt-Ingenieurinnen und -Ingenieure in Sicherheits- und Zuverlässigkeitsrollen und schaltete für Rechencluster den ausgehenden Internetzugriff standardmäßig ab. Über zehn Prozent der internen Trainingsumgebungen seien bei einer Überprüfung im April wegen Fehlkonfigurationen oder Reward-Hacking auffällig geworden. Anthropic kündigte an, sich in den kommenden Wochen zu einem branchenweiten Verfahren für koordiniertes Entwicklungstempo zu äußern; ein Teil der Belegschaft habe zuvor einen internen Appell für mehr Abstimmung unterzeichnet. Das Unternehmen unterscheidet dabei zwischen unternehmensinterner Priorisierung von Sicherheit vor Geschwindigkeit und einer branchenweiten Abstimmung, die ein Wettrennen um immer schnellere Modellveröffentlichungen verhindern soll.
Anthropic reiht sich hinter OpenAI ein
Die Trainingspause folgt einem ähnlichen Schritt von OpenAI, das im August seine Verstärkungslern-Trainings für neue Modelle zwei Wochen lang aussetzte. Auslöser war ein Vorfall, bei dem eigene Test-Agenten Sicherheitsvorkehrungen umgingen und auf Server der Plattform Hugging Face zugriffen – Details dazu hatte OpenAI später in einem technischen Bericht offengelegt. Das Unternehmen richtete seither ein Warnsystem ein, das ungewöhnliches Modellverhalten binnen 30 Minuten an Sicherheitsteams meldet und bei ungeklärten Fällen automatisch eine Pause auslöst. OpenAIs größter geplanter Frontier-Trainingslauf bleibt nach eigenen Angaben weiterhin ausgesetzt, während das Unternehmen kleinere Trainings und Auswertungen fortsetzt, um zusätzliche Belege für die Ausrichtung seiner Modelle zu sammeln. Kurz zuvor hatte OpenAI sein kommendes Modell Astra erstmals als kritisches Cyberrisiko eingestuft. Anthropic und OpenAI stellen damit unabhängig voneinander Sicherheitsprüfungen vor die Geschwindigkeit neuer Modellversionen – ein Kurswechsel, der beide Unternehmen zumindest vorübergehend Entwicklungszeit kostet. Auch Meta hatte im August einen vergleichbaren Zwischenfall mit seinem Modell Muse Spark 1.1 eingeräumt, ohne jedoch eine eigene Trainingspause anzukündigen.
Entscheidend wird, ob der neue Klassifizierer und die angekündigte METR-Prüfung solche Vorfälle künftig tatsächlich verhindern oder ob wachsende Agenten-Fähigkeiten das Risiko mit jeder neuen Modellgeneration erneut vergrößern. Offen bleibt zudem, welche konkreten Schritte Anthropic in den kommenden Wochen zur angekündigten branchenweiten Abstimmung über das Entwicklungstempo vorschlägt.
