Der Pretraining-Forscher Jacob Coxon kündigte am 8. September 2026 bei Anthropic und verließ die KI-Branche. In einem vielbeachteten Beitrag auf der Plattform X wirft er OpenAI und Anthropic vor, ohne ausreichende Kontrolle auf selbstverbessernde Superintelligenz zuzusteuern. Kurz danach bestätigte Alignment-Chef Evan Hubinger öffentlich eine Wahrscheinlichkeit von über zehn Prozent für ein tödliches KI-Versagen binnen zehn Jahren.
Coxon nennt den Wettlauf ein hubristisches Vabanque-Spiel
Coxon arbeitete nach eigenen Angaben drei Jahre lang an Pretraining-Modellen, zunächst bei OpenAI, zuletzt bei Anthropic. In seinem Beitrag schreibt er, beide Unternehmen rasten direkt auf selbstverbessernde Superintelligenz zu und „riskieren unser aller Leben”. Er begründet seinen Schritt damit, dass kommende Systeme sich selbst weiterentwickeln und binnen kurzer Zeit ganze Branchen umwälzen könnten. Bereits am Morgen nach der Veröffentlichung hatte sein Beitrag Berichten zufolge rund 19,1 Millionen Aufrufe erreicht.
Zwischen seinen beiden früheren Arbeitgebern unterscheidet Coxon deutlich. Bei OpenAI hätten viele Mitarbeitende die zivilisatorische Tragweite noch nicht verinnerlicht, schreibt er. Bei Anthropic seien die Risiken intern zwar gut verstanden – das Unternehmen fühle sich aber gezwungen, im Wettlauf mitzuhalten, weil sonst ein weniger vorsichtiger Konkurrent zuerst ins Ziel komme. Diese Logik nennt er ein hubristisches Vabanque-Spiel, das kein privates Unternehmen im Alleingang entscheiden dürfe. Als Ausweg schlägt er eine koordinierte, befristete Bremse bei Fähigkeits-Verbesserungen vor sowie eine stärkere Einbindung externer Aufsicht bei Entscheidungen mit zivilisatorischer Tragweite.
Alignment-Chef Hubinger bestätigt zweistelliges Risiko
Innerhalb weniger Stunden reagierte Evan Hubinger, der bei Anthropic die Abteilung für Alignment-Wissenschaft leitet, in einem eigenen Beitrag. Er bestätigte Coxons Einschätzung ausdrücklich und erklärte, er halte die Wahrscheinlichkeit eines tödlichen KI-Versagens persönlich „für über zehn Prozent innerhalb des nächsten Jahrzehnts”. Anthropic bemühe sich nach seinen Worten zwar ernsthaft um Sicherheit, verfüge aber noch nicht über einen Plan, mit dem sich Superintelligenz zuverlässig kontrollieren lasse.
Die Wortmeldung reiht sich in eine wachsende Zahl von Warnungen aus der Branche ein. Anthropic selbst hatte erst am 16. August in seinem zweiten Risikobericht die Einschätzung eines katastrophalen Fehlausrichtungsrisikos von „sehr gering” auf „gering” angehoben. OpenAI-Chefwissenschaftler Jakub Pachocki forderte kurz zuvor in einem Essay verbindliche, unabhängig geprüfte Sicherheitsschwellen für alle Labore. Bereits im Juli hatten mehr als 1.200 Beschäftigte großer KI-Firmen im Aufruf Pacing the Frontier eine international koordinierte Tempokontrolle verlangt. Eine offizielle Stellungnahme von Anthropic zu Coxons Rücktritt lag bei Redaktionsschluss nicht vor.
Entscheidend wird, ob aus einzelnen Rücktritten und Warnungen koordinierte Schritte der Branche entstehen, oder ob der Wettlauf zwischen den Laboren genau die Dynamik fortsetzt, die Coxon kritisiert. Anthropic bereitet Berichten zufolge parallel einen Börsengang vor, was den öffentlichen Druck erhöht, Sicherheitsbedenken glaubwürdig zu adressieren, ohne das Entwicklungstempo zu bremsen, auf dem ein Teil des Investoreninteresses beruht.
