Aus den arXiv-Neueinreichungen der vergangenen 24 bis 48 Stunden in cs.AI, cs.LG und cs.CL wählt dieser Digest vier Arbeiten, die zusammen zeigen, wie brüchig Verlässlichkeit heutiger KI-Agenten unter echten Bedingungen bleibt – vom Umgang mit widersprüchlichen Werkzeug-Antworten über Produktionsausfälle bei Agenten-Orchestrierung bis zu kognitiven Vergleichen zwischen Mensch und Modell sowie einem KI-System, das erstmals ein physisches Laborgerät eigenständig bedient. Kuratiert wurde nach Substanz und thematischer Streuung: Jedes Paper liefert eine nachvollziehbare Methode mit belastbaren Zahlen im Abstract, und keine zwei Arbeiten behandeln dasselbe Teilgebiet.
KI-Agenten glauben dem Werkzeug öfter als dem eigenen richtigen Gedächtnis
Arseniy Varlamov, Rishat Zinnatullin, Elisei Rykov, Alexander Panchenko und Ilseyar Alimova stellen mit MemToC einen Benchmark vor, der prüft, wie werkzeugnutzende Sprachmodelle entscheiden, wenn eine Tool-Antwort ihrem eigenen, korrekten internen Wissen widerspricht. Der Datensatz umfasst 6.504 Testfälle aus 542 Faktenfragen, in denen fünf offene Modelle gezielt mit widersprüchlichen Werkzeug-Ergebnissen konfrontiert werden. Den Autorinnen und Autoren zufolge behalten instruktionsoptimierte Modelle ihre ursprünglich richtige Antwort nur in 6,5 bis 17,1 Prozent der Fälle, wenn das Werkzeug ein falsches Ergebnis liefert – in der übrigen Zeit übernehmen die Modelle die falsche Tool-Antwort. Ein früherer Digest-Beitrag hatte bereits gezeigt, dass ein separater Memory-Agent die Erfolgsquote von Langzeit-Agenten um 6,8 bis 8,3 Prozentpunkte steigern kann – die neue Studie zeigt, dass selbst korrektes Gedächtnis wirkungslos bleibt, wenn ein Agent ihm gegenüber einem fehlerhaften Werkzeug nicht vertraut. Das zählt, weil Unternehmen zunehmend Agenten mit externen Werkzeugen ausstatten, deren Ergebnisse nicht automatisch zuverlässiger sind als das interne Modellwissen.
147 Produktionsvorfälle zeigen: Klassische Zuverlässigkeits-Bausteine versagen bei KI-Agenten
Mazhar Shaikh, Anurag Rajkumar Bombarde und Harshal Pathak werten in „Agent Mesh: Reliability Primitives for Non-Idempotent Agent Delegation” 147 dokumentierte Ausfälle einer produktiven, agentengestützten Softwareplattform über 81 Testläufe aus. Die Autoren zeigen, dass die aus Microservices bekannten Verlässlichkeits-Werkzeuge – Wiederholungsversuche, Zeitüberschreitungen, Fehlerraten-Sicherungen – bei Agenten regelmäßig versagen: In einem Fall übersah eine Fehlerraten-Sicherung eine Kette von 54 erfolgreichen, aber nutzlosen Werkzeugaufrufen in Folge, in einem anderen blockierte die Kontrollebene korrekte Arbeit über zwölf Vorfälle hinweg, der teuerste davon mit 107 Agenten-Arbeitsschritten ohne ein einziges akzeptiertes Ergebnis. Als gemeinsame Ursache identifizieren die Autoren unzureichende Nachweis- und Identitäts-Prüfungen und leiten daraus sieben neue Zuverlässigkeits-Prinzipien ab, die auf der Ebene der einzelnen Delegation statt der einzelnen Nachricht ansetzen. Ein früherer Digest-Beitrag hatte bereits gezeigt, dass zwei Instanzen desselben Modells in einem Agenten-Duo bei 90 Prozent aller Missionen gemeinsam scheitern, sobald eines von beiden versagt – die neue Studie liefert dazu die betriebliche Gegenseite: warum die bekannten Absicherungsmechanismen aus der klassischen Softwarearchitektur solche Kettenausfälle gar nicht erst verhindern. Das zählt, weil Unternehmen KI-Agenten zunehmend mit Infrastruktur betreiben, die für ganz andere Fehlermuster gebaut wurde.
GPT-5 passt seine Denktiefe im Verhandlungsspiel besser an als Menschen
Aamir Sohail, Xintong Zhong, Arkady Konovalov, Patricia L. Lockwood und Lei Zhang untersuchen in „Assessing mentalization in humans and large language models”, ob Sprachmodelle Überzeugungen und Absichten anderer nicht nur erkennen, sondern auch zur eigenen Entscheidungsfindung nutzen können – ein Kernmerkmal sozialer Intelligenz, das als Mentalisierung bezeichnet wird. Die Autorinnen und Autoren testen 2.099 KI-Agenten aus vier Modellfamilien (DeepSeek, GPT-4.1, GPT-5, Gemini 2.0 Flash) in zwei ökonomischen Spielen gegen unterschiedlich raffinierte Gegner und vergleichen die Ergebnisse mit 251 menschlichen Versuchspersonen. Der Studie zufolge zeigten alle Modelle klare Anzeichen von Mentalisierung, die sich je nach Anbieter und Modellgröße deutlich unterschieden; GPT-5-Agenten hätten dabei ihre rekursive Denktiefe flexibel an zunehmend raffiniertere Gegner angepasst und darin sogar die menschlichen Versuchspersonen übertroffen. Eine gezielte Strategie-Aufforderung im Prompt verbesserte die Leistung in beiden Spielen unterschiedlich stark. Das zählt, weil sich damit erstmals mit denselben kognitionswissenschaftlichen Modellen prüfen lässt, wie nah heutige Sprachmodelle menschlichem sozialen Schlussfolgern tatsächlich kommen – und wo sie es übertreffen.
Ein KI-Agent bedient erstmals eigenständig ein Rasterkraftmikroskop
Zahra Ayar, Marcos Penedo, Mahdi Mehdikhani, Nahid Hosseini, Prabhu Prasad Swain und Georg E. Fantner stellen mit einem agentenbasierten KI-Rahmenwerk für Rasterkraftmikroskope drei über das Model Context Protocol verbundene KI-Agenten vor, die den ausführenden Teil eines Mikroskop-Arbeitsablaufs übernehmen: Ein Agent übersetzt natürlichsprachliche Anweisungen in geprüfte Gerätebefehle, ein zweiter bewertet die Bildqualität und passt Abbildungsparameter an, ein dritter diagnostiziert Bildfehler und wendet freigegebene Nachbearbeitungsschritte an. Eine vorgeschaltete Prüfebene gegen mehrdeutige Befehle senkte den Autorinnen und Autoren zufolge die Rate fehlerhaft ausgeführter Befehle auf null, und in Live-Experimenten an unterschiedlichen Proben erreichte das System bei Bildqualität, Iterationszahl und Abstimmungszeit ohne signifikanten Unterschied das Niveau menschlicher Expertinnen und Experten. Anthropic hatte im August einen offenen Hardware-Standard vorgestellt, der KI-Agenten die direkte Steuerung von Laborgeräten erlauben soll – die neue Studie zeigt an einem konkreten Gerät, wie weit eine solche eigenständige Steuerung schon funktioniert, solange die eigentliche Experimentabsicht beim Menschen bleibt. Das zählt, weil autonome Gerätebedienung bislang meist auf feste, aufgabenspezifische Routinen beschränkt war, während dieser Ansatz laut den Autoren ohne erneutes Training auf verschiedene Proben und Abbildungsmodi übertragbar sein soll.
Von den vier vorgestellten Arbeiten ist keine bislang durch ein reguläres Peer-Review-Verfahren gegangen; alle vier sind unbegutachtete arXiv-Preprints, deren Zahlen aus den Experimenten der jeweiligen Autorenteams stammen und noch nicht extern repliziert wurden. Ob sich die berichteten Effekte an weiteren Modellen, Systemen und in unabhängigen Nachbauten bestätigen, muss sich erst noch zeigen.
