Die heutige Auswahl aus den arXiv-Neueinreichungen der vergangenen 24 bis 48 Stunden verbindet vier Fragen, die selten gemeinsam auftauchen: wie verlässlich KI-Agenten grafische Bedienoberflächen bedienen, wie robust Coding-Agenten gegenüber rein kosmetischen Code-Änderungen bleiben, wie leicht sich KI-Richtermodelle allein durch Autorenschafts-Etiketten beeinflussen lassen und ab welcher Modellgröße Sprachmodelle ein zentrales Sprachverständnis-Merkmal beherrschen. Kuratiert wurde nach Substanz und Streuung: Jedes Paper liefert eine nachvollziehbare Methode mit belastbaren Zahlen im Abstract, und keine zwei Arbeiten behandeln dasselbe Teilgebiet.
ComponentBench: UI-Agenten scheitern nicht am Ziel, sondern an der Beobachtung
Tianchen Guan, Xinlei Lin, Royce Cheng-Yue, Xiangjun Wang und Shuyan Zhou stellen mit ComponentBench einen Benchmark für sogenannte Computer-Use-Agenten vor – KI-Systeme, die Weboberflächen wie Menschen per Mausklick und Tastatur bedienen. Statt wie bisherige Tests entweder lange Arbeitsabläufe oder isolierte Klick-Ziele zu prüfen, zerlegt ComponentBench die Aufgabe in 2.910 automatisch geprüfte Interaktionen mit 97 gängigen Bedienelement-Typen (etwa Schalterlisten oder Dropdown-Menüs), ergänzt um bereinigte menschliche Referenzabläufe. Bei sieben getesteten Modellen – darunter GPT-5.4, Gemini 3 Flash und UI-TARS-1.5-7B – zeigte sich laut den Autorinnen und Autoren, dass allein der Wechsel des Beobachtungs- und Aktionsraums bei identischem Modell die Erfolgsquote um mehr als 30 Prozentpunkte verschiebt: GPT-5 mini fiel von 83,1 Prozent mit Zugriff auf den Accessibility-Baum (eine strukturierte Beschreibung der Oberfläche für Hilfstechnologien) auf 48,9 Prozent, wenn es nur auf reine Bildschirmkoordinaten angewiesen war. Selbst die schnellste Konfiguration brauchte demnach 3,7-mal so lange wie der menschliche Referenzwert. Das zählt, weil es zeigt, dass Fähigkeitsvergleiche zwischen KI-Agenten oft mehr über die gewählte Schnittstelle aussagen als über das zugrunde liegende Modell.
A Jagged Frontier: Kosmetische Code-Änderungen bringen Coding-Agenten ins Wanken
Ein Team um Hasan Najib Mahmud, Shreya Gupta und Isha Chaudhary prüft mit A Jagged Frontier, wie stabil KI-Coding-Agenten bleiben, wenn der umgebende Programmcode rein kosmetisch umgeschrieben wird – etwa durch andere Kontrollfluss-Formulierungen, eingefügten toten Code oder umbenannte Variablen, ohne dass sich die Funktion ändert. Getestet wurden zwei Agenten-Gerüste (mini-SWE agent und OpenCode) mit je vier Spitzenmodellen, darunter Claude Opus 4.5, auf Aufgaben aus SWE-bench Verified und SWE-bench Pro. Die Autorinnen und Autoren berichten, die Erfolgsquote falle in den am stärksten betroffenen Konfigurationen um bis zu 6,7 Prozentpunkte, mit statistisch signifikanten Einbußen bei 6 von 16 geprüften Kombinationen aus Modell, Gerüst und Datensatz; welches Modell am robustesten sei, hänge dabei stark vom verwendeten Agenten-Gerüst ab, das einfachere mini-SWE agent schnitt insgesamt robuster ab als OpenCode. Ein früherer Bericht hatte bereits gezeigt, dass OpenAI selbst rund 30 Prozent der SWE-bench-Pro-Aufgaben als fehlerhaft einstuft – die neue Arbeit zeigt zusätzlich, dass selbst korrekte Aufgaben instabile Messwerte liefern können, sobald sich nur die Code-Umgebung, nicht aber deren Bedeutung ändert. Das zählt, weil Leaderboard-Platzierungen von Coding-Agenten damit stärker vom Zufall der Testcodebasis abhängen könnten als bislang angenommen.
Bidirektionale Urteilsverzerrung: Schon ein Label genügt, um KI-Richter zu kippen
Songeun Chae, Min Kim, Donghoon Jung, Seojin Choi und Seohyon Jung untersuchen mit ihrer Studie zu Selbst- und Fremd-Labels, ob sogenannte LLM-Richter – Sprachmodelle, die als automatische Gutachter für andere KI-Ausgaben eingesetzt werden – tatsächlich eigene Ausgaben bevorzugen (Selbstpräferenz) oder ob dieser Effekt nur mit Stil und Qualität verwechselt wird. Um das zu trennen, ließen die Autorinnen und Autoren zehn Sprachmodelle nicht generierte Texte, sondern stilneutrale narrative Auswahlentscheidungen bewerten, die dennoch ein erkennbares modell-spezifisches Muster tragen. Im blinden Test verschwand die Selbstpräferenz demnach fast vollständig, sobald Auswahlqualität und Strenge der Gutachtenden kontrolliert wurden – bei einer von vier Bewertungsdimensionen kehrte sich der Effekt sogar um. Wurden den Richtermodellen bei gleicher Qualität jedoch offen die Etiketten „eigene Auswahl” oder „fremde Auswahl” gezeigt, ohne ein Modell beim Namen zu nennen, werteten sie als eigen markierte Antworten auf und als fremd markierte ab. Ein früherer Digest-Beitrag hatte bereits gezeigt, dass sich das Verdikt von KI-Richtermodellen unter gezielter Überredung in bis zu 91 Prozent der Fälle kippen lässt – die neue Arbeit zeigt, dass selbst die bloße Autorenschafts-Kennzeichnung ohne jede inhaltliche Überredung ausreicht, um ein Urteil systematisch zu verzerren. Das zählt, weil LLM-Richter zunehmend über Trainingsdaten-Auswahl, Produktfreigaben und automatisierte Bewertungen entscheiden, bei denen Herkunfts-Metadaten oft mitgeliefert werden.
Entity Tracking: Menschliches Niveau schon bei 410 Millionen Parametern
Karolina Drożdż und Micha Heilbron untersuchen mit ihrer Studie zum Entity Tracking, wie gut Sprachmodelle und Menschen verfolgen können, wo sich Dinge in einer Erzählung befinden und wie sie sich verändern, auch wenn das nicht explizit gesagt wird – eine Kernfähigkeit für Textverständnis. Anders als frühere, künstliche Testaufgaben nutzten die Autorinnen und Autoren natürliche Erzähltexte unterschiedlicher Komplexität und ließen sowohl Sprachmodelle als auch 48 menschliche Versuchspersonen antreten. Bei Menschen habe sich die Tracking-Leistung gezielt mit der erzählerischen Komplexität verschlechtert, nicht mit der reinen Textlänge. Bei Sprachmodellen sei menschliches Leistungsniveau bereits ab 410 Millionen Parametern erreicht worden – deutlich unterhalb der um ein Vielfaches größeren, code-spezialisierten Modelle, die frühere Arbeiten für diese Schwelle identifiziert hatten –, und größere zeitgenössische Modelle hätten die menschliche Leistung danach klar übertroffen. Das zählt, weil es nahelegt, dass ein zentraler Baustein von Sprachverständnis schon bei vergleichsweise kleinen, günstig zu betreibenden Modellen entsteht, statt erst bei den größten Systemen.
Alle vier Arbeiten sind nicht unabhängig begutachtete Preprints – die berichteten Zahlen stammen aus den Experimenten der jeweiligen Autorenteams und wurden bislang nicht extern repliziert. Das gilt besonders für die Selbst- und Fremd-Label-Studie, deren Befund bislang nur an zehn getesteten Modellen und einer eng umrissenen Aufgabenart gezeigt wurde, sowie für die Entity-Tracking-Arbeit, deren Vergleich mit nur 48 menschlichen Versuchspersonen auskommt. Ob sich die Befunde an weiteren Modellen, Aufgaben und in unabhängigen Nachbauten bestätigen, muss sich erst noch zeigen.
