Die heutige Auswahl aus den arXiv-Neueinreichungen der vergangenen 24 bis 48 Stunden verbindet vier Fragen, die selten gemeinsam auftauchen: wie zuverlässig Gedächtnissysteme von KI-Agenten sich ändernde Fakten nachverfolgen, wie sich Sicherheitsverhalten bei körperlich handelnden Agenten trainieren lässt, wie stark Modellkompression Wissen und Vorurteile ungleich verschiebt und wie weit Coding-Agenten bei der Reparatur wissenschaftlicher Software tatsächlich kommen. Kuratiert wurde nach Substanz und Streuung: Jedes Paper liefert eine nachvollziehbare Methode mit belastbaren Zahlen im Abstract, und keine zwei Arbeiten behandeln dasselbe Teilgebiet.
StateMemBench: Wenn sich Fakten ändern, scheitern viele Gedächtnissysteme
Xinyi Fan, Miri Liu, Ruozhen Yang, Siru Ouyang und Jiawei Han stellen mit StateMemBench einen Benchmark vor, der prüft, ob Gedächtnissysteme von KI-Agenten nicht nur Fakten erinnern, sondern auch erkennen, wenn diese Fakten durch neue Informationen überholt wurden – etwa eine geänderte Lieferadresse oder eine zurückgenommene Entscheidung. Der Benchmark umfasst 234 Mehrsitzungs-Szenarien und bewertet getrennt, ob eine Antwort den aktuellen oder einen bereits überholten Stand wiedergibt. Bestehende Gedächtnissysteme, retrieval-gestützte Basisverfahren und Long-Context-Modelle tun sich damit den Autorinnen und Autoren zufolge schwer; ihr eigenes Verfahren StateMem, das Überholung und Abhängigkeiten explizit nachhält, verbessert die Genauigkeit beim aktuellen Wissensstand gegenüber der stärksten Vergleichsmethode um das 1,8-Fache (von 0,205 auf 0,363), als leichter Zusatzbaustein über sechs bestehende Systeme gelegt sogar um 32 bis 67 Punkte. Eine frühere Arbeit hatte bereits gezeigt, dass ein separater Memory-Agent bei Langzeit-Aufgaben die Erfolgsquote steigert – StateMemBench liefert nun den ersten dedizierten Test dafür, ob solche Systeme auch mit sich widersprechenden, im Zeitverlauf revidierten Informationen zurechtkommen. Das zählt, weil produktiv eingesetzte KI-Agenten über lange Interaktionen hinweg ständig mit genau solchen Aktualisierungen konfrontiert sind.
SafeBranch: Sicherheitstraining aus den eigenen Fehlversuchen des Agenten
Hyunse Lee, Jiwoo Jeong, Haneul Lee, Kyochul Jang, Youngjae Yu und Woojin Lee stellen mit SafeBranch ein Trainingsverfahren für körperlich handelnde KI-Agenten vor, die auf Basis von Bild-Sprach-Modellen Aufgaben in simulierten Haushaltsumgebungen ausführen. Das Verfahren nutzt die eigenen unsicheren Ausführungsversuche des Agenten: An sicherheitskritischen Schritten wird die Simulation zurückgesetzt, der Agent nach einer sicheren Alternative gefragt, und aus beiden Varianten entsteht ein Vergleichspaar, das nur an dieser einen Stelle abweicht. Getestet auf den Benchmarks IS-Bench und SafetyALFRED sowie deren Varianten mit unbekannten Objekten erzielte der trainierte Agent laut den Autorinnen und Autoren rund zehnmal mehr sichere Erfolge als das unbehandelte Basismodell – und das, ohne bei der Ausführung eine zusätzliche Prüfinstanz zu benötigen. Das Weltmodell Orca zeigte zuvor bereits, dass sich Robotik-Fähigkeiten ganz ohne Aktionsdaten trainieren lassen – SafeBranch ergänzt dazu einen Sicherheitsmechanismus, der ohne separate Laufzeit-Überwachung auskommt. Das zählt, weil Sicherheitsprüfungen zur Laufzeit bei körperlich handelnden Agenten zusätzliche Rechenkosten und Latenz verursachen, die sich SafeBranch durch das vorgelagerte Training spart.
Asymmetrische Schäden: Kompression trifft Wissen und Gruppen ungleich
Yuan Wu, Mairui Li, Lesia Semenova und Chudi Zhong untersuchen mit ihrer Studie zu den Schäden von KI-Modellkompression, was Standard-Kennzahlen wie Perplexität oder Gesamtgenauigkeit beim Verkleinern von Sprachmodellen übersehen. Sie prüfen drei Sprachmodelle über elf Kompressionsverfahren hinweg auf Wissenserhalt, Modellvertrauen und sozialen Bias. Die Autorinnen und Autoren berichten, Kompression schwäche selten genutztes Nischenwissen stärker als häufig abgefragtes Kernwissen, und komprimierte Modelle blieben bei neu verlorenem Wissen trotzdem oft mit hoher Sicherheit bei falschen Antworten. Zudem verbergen stabile aggregierte Bias-Werte laut der Studie gegenläufige Verschiebungen von Stereotyp-Vorlieben zwischen einzelnen Bevölkerungsgruppen, die erst bei getrennter Betrachtung sichtbar werden. Eine frühere Arbeit hatte bereits belegt, dass Quantisierung das Antwortverhalten verändert, ohne dass klassische Genauigkeits- oder Perplexitäts-Metriken das anzeigen – die neue Studie erweitert diesen Befund gezielt auf Wissensverteilung und demografische Bias-Muster. Das zählt, weil Kompression in der Praxis oft als nahezu kostenlose Optimierung gilt, obwohl sie laut diesen Befunden gezielt unterschiedliche Nutzergruppen und Wissensbereiche treffen kann.
SWE-bench Science: Wissenschaftliche Software bleibt für Coding-Agenten schwer
Zhipeng Xu, Jiahao Lu, Yining Zheng, Yuxin Wang und Xipeng Qiu stellen mit SWE-bench Science einen Benchmark für Coding-Agenten vor, der gezielt wissenschaftliche Software prüft – Programmcode, dessen Fehler nicht nur das Programmverhalten, sondern auch wissenschaftliche Schlussfolgerungen verfälschen kann. Der Benchmark umfasst 119 Aufgaben aus 98 GitHub-Repositories über 20 Fachgebiete, unterteilt in drei Aufgabentypen von der einfachen Fehlerbehebung bis zur eigenständigen Systemintegration. Selbst das leistungsstärkste getestete System, Claude Code mit Opus 5 (max), erreicht den Autorinnen und Autoren zufolge eine Pass@1-Erfolgsquote unter 50 Prozent; als wiederkehrende Fehlerursachen identifizieren sie unter anderem fehlendes Fachwissen, oberflächliche statt systematische Reparaturen und unvollständige Integration in die restliche Codebasis. Ein Kontrollexperiment zeigt zudem, dass fachliches Hintergrundwissen im Prompt nicht durchweg hilft: Gut passende Hinweise verbessern demnach Erfolgsquote und Effizienz, schlecht passende Hinweise können Agenten dagegen an einer falschen Annahme festhalten. Ein früherer Bericht hatte bereits gezeigt, dass rund 30 Prozent der Aufgaben im vielgenutzten Benchmark SWE-Bench Pro selbst fehlerhaft sind – SWE-bench Science adressiert das mit einem neuen, domänenspezifischen Aufgabenkorpus und zeigt zugleich, wie viel selbst Spitzenmodelle in der Wissenschaftsdomäne noch liegen lassen. Das zählt, weil Software zunehmend Teil des wissenschaftlichen Messinstruments selbst ist und Fehler darin nicht nur Code, sondern auch Forschungsergebnisse verfälschen können.
Alle vier Arbeiten sind nicht unabhängig begutachtete Preprints – die berichteten Zahlen stammen aus den Experimenten der jeweiligen Autorenteams und wurden bislang nicht extern repliziert. Das gilt besonders für SafeBranch, dessen Zehnfach-Verbesserung bislang nur an zwei simulierten Benchmark-Familien gezeigt wurde, sowie für die Kompressions-Studie, die nur drei Modelle und elf Verfahren abdeckt. Ob sich die Befunde an weiteren Modellen, Umgebungen und in unabhängigen Nachbauten bestätigen, muss sich erst noch zeigen.
