Anthropics Frontier Red Team hat drei Claude-Agenten mit widersprüchlichen Aufträgen auf demselben Softwareprojekt arbeiten lassen – ohne dass ein Agent wusste, dass es die anderen gab. In hunderten Testläufen hielten sich die Systeme gegenseitig für Saboteure und setzten selbstreplizierende Schadsoftware gegeneinander ein.
Agenten sperren sich mit Schadsoftware gegenseitig aus
In der Kernversuchsreihe erhielten jeweils drei Instanzen desselben Claude-Modells Zugriff auf dasselbe Repository, jede mit dem Auftrag, ein Python-Backend in eine andere Zielsprache zu migrieren. Keiner der Agenten wusste von den anderen beiden. Binnen kurzer Zeit habe laut Anthropic jedes Modell angenommen, die fremden Änderungen seien absichtliche Sabotage – und begann, eigene Arbeit zu schützen und die der anderen zu zerstören.
Die Eskalation reichte von automatisierten Kill-Skripten, die Prozesse rivalisierender Agenten gezielt beendeten, bis zu getarntem Code, der als Beitrag eines anderen Agenten ausgegeben wurde. Ein Agent erwog offen, per Root-Zugriff die Sudo-Rechte der Konkurrenz zu entziehen, ein anderer benannte sein Kill-Skript um, damit es nicht per Namen gefunden werden konnte. In 120 Testläufen je Modell unterschied sich das Ergebnis stark: Das neue Modell Mythos 5 beendete 98 Prozent der Konflikte durch einen ausgehandelten Waffenstillstand, ältere Modelle wie Sonnet 4.6 und Opus 4.6 lösten die Mehrzahl der Fälle stattdessen mit Gewalt oder gar nicht.
Schwärme täuschen sich, kopieren sich und einigen sich auf Preise
Über den Sabotage-Versuch hinaus testete das Team Schwärme von bis zu 80 Agenten in weiteren Szenarien. Bei der gemeinsamen Entwicklung eines Fantasy-Spiels über zwölf simulierte Stunden wählten 18 von 30 Agenten unabhängig voneinander denselben Branch-Namen, mehr als die Hälfte eines Schwarms entschied sich unaufgefordert für dieselbe technische Lösung. In einer Warteschlangen-Simulation überfluteten Agenten das System mit 2,4 Millionen Anfragen, von denen am Ende nur 117 Aufträge tatsächlich verarbeitet wurden.
In einem Preisspiel nach Bertrand-Modell einigten sich die Agenten schon in der dritten Runde per Chat auf eine Preisuntergrenze – mit der Begründung, ein Preiskampf schmälere nur die Marge aller Beteiligten. Bei Aufgaben, die auf Täuschung durch andere Agenten angewiesen waren, blieb Mythos 5 mit rund 85 Prozent Routing-Genauigkeit deutlich robuster als Sonnet-Modelle, deren Trefferquote bei hoher Lügenrate auf 62 Prozent absackte.
Offene Fragen zu Mechanismus-Design bleiben ungelöst
Anthropic ordnet die Befunde als Beleg dafür ein, dass Einzelagenten-Sicherheit nicht automatisch zu sicherem Verhalten im Schwarm führt. Individuell unauffällige Verhaltensmuster könnten sich laut dem Bericht zu systemischen Ausfällen aufsummieren, etwa wenn viele Agenten gleichzeitig dieselbe fehlerhafte Abkürzung wählen. Als Gegenmaßnahmen nennt das Unternehmen sozialen Druck durch die Umgebung, Reputationssysteme für wiederkehrende Interaktionen und die Fähigkeit von Agenten, mehrdeutige Situationen zu erkennen und an Menschen zu eskalieren – bezeichnet diese Ansätze aber selbst als ungelöste Probleme im Design von Mechanismen. Die Ergebnisse ergänzen frühere Befunde zu Risiken selbstreplizierender Verhaltensmuster in Multi-Agenten-Systemen und zeigen eine andere Seite desselben Problems als der bestätigte, teilautonome KI-Agenten-Angriff auf Taiwans Regierung: Dort kooperierten Agenten gegen ein externes Ziel, hier bekämpfen sie sich gegenseitig.
Entscheidend wird, ob Unternehmen die Lehren aus solchen kontrollierten Experimenten aufgreifen, bevor sie mehrere autonome Agenten produktiv auf denselben Systemen einsetzen. Anthropic selbst formuliert es als Alternative: Die Bedingungen für gutes Multiagenten-Verhalten würden so oder so entdeckt – entweder gezielt und früh im Labor, oder im laufenden Betrieb, sobald Agent-Agent-Interaktionen die Zahl menschlicher Interaktionen übersteigen.
