Forschung

Vier neue KI-Paper: Red-Teaming, Werkzeug-Fehler, Gedächtnis

5 Min. Lesezeit

TL;DR Too Long; Didn’t read

Vier neue arXiv-Preprints zeigen, wie weit Agenten-Fähigkeiten und ihre Kontrolle derzeit auseinanderlaufen: Am schwersten wiegt eine neue Rotteam-Plattform, deren automatisiertes Angriffsverfahren in sich entwickelnden Umgebungen bei 85 Prozent von 75 geprüften Agent-Modell-Konfigurationen Sicherheitslücken fand. Eine zweite Arbeit lokalisiert typische Werkzeug-Fehler von KI-Agenten auf eine Handvoll einzelner Neuronen und senkt per gezielter Steuerung die Rate unnötiger Werkzeugaufrufe um 80 Prozent. Eine dritte Studie liefert mit 761 Millionen analysierten LLM-Aufrufen die erste Produktionscharakterisierung von Coding-Agenten wie GitHub Copilot. Ein viertes Paper zeigt, dass selbstlernende Agenten ohne externe Kontrolle eigene Fehler durch aufgeblähte Selbstbewertungen verstärken, statt sie zu korrigieren.

Ein aufgebrochener Schutzschild mit einem sich selbst umlaufenden Pfeil, davor eine Lupe über leuchtenden Neuronen-Punkten, im Hintergrund ein Serverschrank mit Balkendiagramm, umgeben von vier aufgefächerten Notizblättern Generiertes Bild mit GPT Image 2

Das Wichtigste in Kürze

  • OpenART erreicht mit automatisierten Umgebungs-Angriffen eine Erfolgsrate von 85 Prozent über 75 Agent-Modell-Konfigurationen hinweg.
  • PRISMS erkennt Werkzeug-Fehler von KI-Agenten mit ein bis 128 Neuronen und senkt unnötige Aufrufe um 80 Prozent.
  • Erste Produktionsdaten von GitHub Copilot zeigen: Cache-Trefferquoten fallen über Sitzungsgrenzen hinweg von 90 auf 55 Prozent.
  • LUCID korrigiert aufgeblähte Selbstbewertungen im Agenten-Gedächtnis und erreicht 56,9 statt 54,0 Prozent Genauigkeit bei BIRD.

Die Redaktion wählt aus den arXiv-Neueinreichungen der vergangenen 24 bis 48 Stunden vier Arbeiten, die zeigen, wie weit gestiegene Agenten-Fähigkeiten und die Werkzeuge zu ihrer Kontrolle derzeit auseinanderliegen – von einer neuen Angriffsplattform für Agenten-Rotteams über neuronen-genaue Fehlererkennung beim Werkzeugeinsatz bis zu ersten Produktionsdaten realer Coding-Agenten und einem blinden Fleck im Gedächtnis selbstlernender Systeme. Kuratiert wurde nach Substanz: Jedes Paper liefert eine nachvollziehbare Methode und ein konkretes Zahlen-Ergebnis im Abstract, nicht nur eine neue Themenüberschrift. Die Auswahl deckt bewusst vier verschiedene Teilgebiete ab – Agenten-Sicherheit, Interpretierbarkeit, Infrastruktur und selbstlernende Systeme.

OpenART treibt KI-Agenten mit wachsender Umgebungskomplexität in Sicherheitslücken

Ein Team um Yunhao Chen und Xin Wang stellt mit OpenART eine Testumgebung für Agenten-Rotteams vor, die im Unterschied zu bisherigen Sicherheitsbenchmarks nicht auf einzelne Prompts, sondern auf sich entwickelnde, zustandsbehaftete Umgebungen setzt: Über 10.000 geprüfte Szenarien aus 50 Domänen mit mehr als 500.000 Werkzeugen und Fähigkeiten bilden die Basis. Mit der vorgestellten Angriffsmethode EMHA (Evolutionary Markov Hypergraph Attack) – einem Black-Box-Verfahren, das erlaubte Zustandsübergänge in der Umgebung gezielt koordiniert und so schrittweise Rückmeldungen des Agenten ausnutzt – erreichten die Autoren über 75 geprüfte Agent-Modell-Kombinationen hinweg eine Angriffserfolgsrate von 85,0 Prozent. Die Autoren berichten, je komplexer sich die Umgebung im Zeitverlauf entwickle, desto mehr Sicherheitslücken träten zutage, die einmalige Prompt-Tests nicht erfassten; zudem beeinflusse die konkrete Laufzeit-Implementierung eines Agenten das Sicherheitsergebnis stärker als bislang angenommen. Das zählt, weil es zeigt, dass Sicherheitsbewertungen, die einen Agenten nur in einer statischen Momentaufnahme prüfen, systematisch zu optimistisch ausfallen können – ein Anschluss an die zuvor besprochene Erkenntnis, dass Red-Teaming eine berechenbare Beweisgrenze hat, hier jedoch mit einem konkreten, gegen 75 Konfigurationen validierten Angriffsverfahren untermauert.

PRISMS findet Werkzeug-Fehler von KI-Agenten in einer Handvoll Neuronen

Yutong Ke, Ming Yin und Kolleginnen und Kollegen identifizieren in PRISMS drei wiederkehrende Fehlertypen agentischer Sprachmodelle beim Werkzeugeinsatz: ungültige Argumente, unnötige Aufrufe (“Over-Calling”) und ausgelassene Aufrufe, obwohl ein Werkzeug nötig gewesen wäre. Die Autoren berichten, eine kleine, fehlertyp-spezifische Auswahl von MLP-Neuronen (Neuronen in den vollvernetzten Zwischenschichten eines Sprachmodells) trenne diese Fehler bereits linear und lasse sich daher sowohl zur Erkennung als auch zur gezielten Steuerung nutzen. Über sechs Modelle der Qwen3-, Llama- und Gemma-Familien hinweg erreichte die Erkennung für Over-Calling und ausgelassene Aufrufe einen ROC-AUC-Wert (ein Maß für die Trennschärfe eines Klassifikators) von 0,90 bis 1,00, für ungültige Argumente 0,86 bis 0,90 – mit nur ein bis zwei Neuronen für ausgelassene Aufrufe, zwei bis 16 für Over-Calling und rund 128 für ungültige Argumente, was 23- bis 627-mal weniger Merkmale als dichte Vergleichsverfahren benötige. Durch gezielte Steuerung dieser Neuronen sei die Over-Calling-Rate um 80 Prozent gesunken, während die Genauigkeit bei tatsächlich nötigen Werkzeugaufrufen um 14,2 Prozentpunkte gestiegen sei. Das zählt, weil es zeigt, dass sich unzuverlässiges Agenten-Verhalten nicht nur nachträglich an der Oberfläche korrigieren lässt, sondern auf eine extrem kompakte interne Ursache zurückgeht – ein Gegenstück zum zuvor berichteten Befund, dass KI-Agenten behauptete Skill-Nutzung oft nur vortäuschen, ohne dass der Skill die Entscheidung tatsächlich beeinflusst, hier jedoch mit einem Hebel, der sich direkt zur Korrektur nutzen lässt.

Erste Produktionsdaten zeigen, wie anders Coding-Agenten Rechenzentren belasten

Banruo Liu, Haoran Qiu und Kolleginnen und Kollegen legen mit Agentic Coding in the Wild nach eigenen Angaben die erste Analyse einer agentischen Coding-Arbeitslast im Produktionsmaßstab vor – anhand gesampelter GitHub-Copilot-Nutzungsdaten aus Juni 2026 mit 3,2 Millionen Nutzerinnen und Nutzern, 13 Millionen Sitzungen, 761 Millionen LLM-Aufrufen und 95 Billionen Tokens. Die Autoren berichten, wenige nutzerinitiierte Anfragen entfalteten sich jeweils in eine autonome Kette aus LLM-Aufrufen und Werkzeugausführungen – eine Struktur, die sich grundlegend von klassischen Chatbot-Lasten unterscheide. Die KV-Cache-Trefferquote (ein Maß dafür, wie oft bereits berechnete Zwischenergebnisse eines Sprachmodells wiederverwendet werden können) liege innerhalb einer Anfrage im Schnitt bei 90 Prozent, falle über Anfragegrenzen hinweg aber auf 55 Prozent und werde durch Modellwechsel oder Kontext-Kompression teils drastisch entwertet. Ein daraus abgeleiteter, leichtgewichtiger Vorhersage-Mechanismus für Leerlaufzeiten zwischen Anfragen erfasse 86 bis 90 Prozent der gesamten Leerlaufzeit und könne so proaktive Entscheidungen für die Ressourcen-Zuteilung ermöglichen. Das zählt, weil es zeigt, dass aktuelle LLM-Serving-Systeme, die für gleichmäßige Chatbot-Anfragen ausgelegt sind, den sprunghaften und lang anhaltenden Ressourcenbedarf von Coding-Agenten in der Praxis systematisch verfehlen können.

LUCID entlarvt aufgeblähte Selbstbewertungen im Gedächtnis selbstlernender Agenten

Mohammad Asadolahi, Amir Amini und Kolleginnen und Kollegen beschreiben in Memory Reward Inflation in Self-Improving LLM Agents, wie sich selbstverbessernde KI-Agenten selbst in die Irre führen können, wenn sie vergangene Handlungsepisoden nicht anhand einer externen Referenz, sondern durch eine eigene Bewertung des Modells speichern und wiederverwenden. Die Autoren nennen dieses Muster “Echo Gap”: Fehlerhafte Episoden erhielten dabei überhöhte Bewertungen, sodass der Agent bevorzugt genau jene Fehler wiederhole, in die er selbst am meisten Vertrauen gesetzt habe. Um die Verzerrung korrigierbar zu machen, formalisieren die Autoren die “Error-Independence Assumption” als notwendige Bedingung und leiten daraus den Korrekturalgorithmus LUCID ab. Im Text-zu-SQL-Benchmark BIRD habe LUCID eine Ausführungsgenauigkeit von 56,9 Prozent erreicht, gegenüber 54,0 Prozent für einen selbstbewertenden gedächtnisgestützten Agenten und 52,4 Prozent für eine Basisvariante ganz ohne Gedächtnis. Das zählt, weil es ein grundlegendes Problem selbstlernender Agenten offenlegt: Ohne externe Kontrolle verstärkt das eigene Gedächtnis Fehler eher, als sie zu korrigieren – ein Gegenstück zum zuvor besprochenen proaktiven Memory-Agenten, der gespeicherte Erinnerungen gezielt zum richtigen Zeitpunkt einspeist, hier jedoch mit dem Befund, dass die Qualität der gespeicherten Erinnerung selbst zum Risiko wird.

Einordnung zum Schluss: Alle vier Arbeiten sind bislang unbegutachtete Preprints; ihre Zahlen stammen aus den Experimenten der jeweiligen Autorenteams selbst. OpenART deckt mit 75 Agent-Modell-Konfigurationen nur einen Ausschnitt heutiger Systeme ab, PRISMS wurde bislang an sechs offenen Modellfamilien erprobt, die Copilot-Charakterisierung beschränkt sich auf gesampelte Daten eines einzigen Anbieters aus einem einzigen Monat, und LUCID wurde bislang nur auf dem Text-zu-SQL-Benchmark BIRD getestet. Ob die Muster an weiteren Systemen, Anbietern und in unabhängigen Replikationen Bestand haben, zeigt sich erst noch.

Häufige Fragen

Sind diese vier Paper von unabhängigen Fachleuten begutachtet?

Nein, alle vier sind bislang unbegutachtete arXiv-Preprints; ihre Ergebnisse stammen aus den Experimenten der jeweiligen Autorenteams selbst und wurden noch nicht unabhängig repliziert.

Gibt es Code oder Daten zu den vier vorgestellten Verfahren?

Die verfügbaren Abstracts nennen für keines der vier Paper eine ausdrückliche Code- oder Datensatz-Veröffentlichung; ob Materialien in den vollständigen Arbeiten oder später ergänzt werden, ist auf Basis der Kurzfassungen offen.

Was unterscheidet EMHA von klassischen Red-Teaming-Prompt-Tests?

Klassische Red-Teaming-Tests prüfen einen Agenten meist mit einzelnen, statischen Prompts in einer unveränderlichen Umgebung. EMHA koordiniert dagegen erlaubte Zustandsübergänge in einer sich entwickelnden Umgebung über mehrere Schritte hinweg und deckt laut den Autoren dadurch Sicherheitslücken auf, die erst mit wachsender Umgebungskomplexität entstehen und bei Einzelprompt-Tests unsichtbar bleiben.

Ist die im LUCID-Paper beschriebene Gedächtnis-Inflation dasselbe wie klassisches Reward-Hacking beim Reinforcement Learning?

Nicht ganz. Klassisches Reward-Hacking entsteht meist während des Trainings, wenn ein Modell eine fehlerhaft spezifizierte Belohnungsfunktion ausnutzt. Die hier beschriebene „Echo Gap" entsteht dagegen zur Laufzeit eines bereits trainierten Agenten, der vergangene Episoden ohne externe Referenz selbst bewertet und speichert – die Verzerrung entsteht durch fehlende Ground Truth bei der Selbstbewertung, nicht durch eine fehlerhafte Trainingsbelohnung.

Quellen (4)
  1. OpenART: Scaling Agent Red Teaming via Open-Ended Environment Evolution
  2. A Few Neurons Reveal When LLMs Misuse Tools: Sparse Detection and Selective Steering for Reliable Tool Use
  3. Agentic Coding in the Wild: Characterizing GitHub Copilot Traces at Production Scale
  4. Memory Reward Inflation in Self-Improving LLM Agents

Dein KI-Update für die Arbeitswoche

Einmal pro Woche das Wichtigste aus der KI-Welt – plus ein Praxis-Tipp zum direkt Ausprobieren. Kein Spam, jederzeit abbestellbar.

← Zurück zum Blog