Aus den arXiv-Neueinreichungen der vergangenen 24 bis 48 Stunden in cs.AI, cs.LG und cs.CL wählt dieser Digest fünf Arbeiten, die zusammen zeigen, wie leicht sich Urteile in Gesprächen verschieben lassen, wie viel vermeintlich notwendige Rechenarbeit sich einsparen lässt und wie brüchig Mess- und Prüfverfahren für Datenschutz, Benchmarks und Agenten-Verhalten bleiben. Kuratiert wurde nach Substanz und thematischer Streuung: Jedes Paper liefert eine nachvollziehbare Methode mit belastbaren Zahlen im Abstract, und keine zwei Arbeiten behandeln dasselbe Teilgebiet.
Unwidersprochene Erzählungen verschieben KI-Urteile in Moralberatung um 25 Punkte
Yuhe Wu, Guangyu Wang und ein achtköpfiges Autorenteam untersuchen mit dem Konzept der narrative captivity (etwa: Erzähl-Gefangenschaft), wie sich das Urteil eines Sprachmodells verändert, wenn es in einer mehrstufigen Moralberatung nur eine einseitige, unwidersprochene Schilderung einer Konfliktpartei zu hören bekommt. Anhand eines eigens gebauten Benchmarks mit 5.078 zwischenmenschlichen Konfliktszenarien über sechs moralische Dimensionen hinweg testen sie 17 Sprachmodelle und finden, dass sich die abschließenden Urteile gegenüber einer vergleichbaren Einzelrunden-Basislinie im Schnitt um 25 Prozentpunkte in Richtung der erzählenden Partei verschieben. Nach Angaben der Autoren trage vor allem die Präferenzoptimierung im Training zu diesem Effekt bei, während vier getestete Eingriffe zur Testzeit den Effekt jeweils nur teilweise abschwächten. Ein früherer Digest-Beitrag hatte bereits gezeigt, dass sich KI-Richtermodelle unter gezielter Überredung in bis zu 91 Prozent der Fälle zu einem anderen Verdikt bewegen lassen – die neue Studie zeigt, dass dafür nicht einmal aktiver Widerspruch nötig ist, eine unwidersprochene Erzählung allein reicht schon. Das zählt, weil Menschen KI-Systeme zunehmend für Rat in echten Beziehungskonflikten nutzen, wo meist nur eine Seite zu Wort kommt.
Zufälliges Löschen von KV-Cache-Einträgen schlägt aufwendige Auswahlverfahren
Heng Wang, Jielin Qiu und ein Forschungsteam von Salesforce AI Research sowie mehreren Universitäten zeigen mit Random Attention, dass beim Komprimieren des KV-Cache – des Zwischenspeichers, den ein Sprachmodell während langer Denkprozesse für bereits verarbeitete Textbausteine führt – die aufwendige Bewertung einzelner Einträge kaum etwas beiträgt. Ihr Verfahren behält den Prompt vollständig, löscht aber innerhalb jedes Aufmerksamkeits-Kopfes gleichverteilt zufällige Einträge, ganz ohne Bewertung, und erreicht über vier Modelle und sechs Reasoning-Aufgaben hinweg dieselbe Genauigkeit wie das bislang stärkste bewertende Verfahren – bei 32 bis 43 Prozent höherem Durchsatz in der vLLM-Serverumgebung. Kontrollierte Experimente erklären den Effekt den Autoren zufolge damit, dass der Prompt der eigentlich verletzliche Teil des Caches ist, während sich der Denkprozess selbst doppelt gegen Löschung absichert: Das Modell wiederholt benötigte Information im Text, und jeder Aufmerksamkeits-Kopf hält eine eigene Kopie davon. Ein früherer Digest-Beitrag hatte bereits gezeigt, dass belohnungsgesteuerte KV-Cache-Kompression bei Reasoning-Modellen 37 bis 65 Prozent der erzeugten Tokens einspart – die neue Studie legt nahe, dass selbst der Aufwand für eine gezielte Auswahl dabei größtenteils überflüssig sein könnte. Das zählt, weil Speicherbedarf und Rechenkosten für lange Denkketten zu den größten Kostentreibern beim Einsatz von Reasoning-Modellen zählen. Der Code ist öffentlich verfügbar.
PII-Erkennung versagt unter realistischen Alltags-Eingaben
Adeel Zafar und Slawomir Nowaczyk zeigen in einer Stresstest-Studie zu Systemen für die Erkennung personenbezogener Daten (PII), dass hohe Werte auf Standard-Benchmarks erhebliche Schwächen unter realistischen Verzerrungen verdecken können, wie sie im praktischen Einsatz auftreten. An einem eigens gebauten Stresstest mit sieben Kategorien natürlicher Eingabe-Verschiebungen – etwa unstrukturiertem oder umgangssprachlichem Text – prüfen sie drei verbreitete Architekturfamilien: das Encoder-Modell SpaCy, das regelbasierte Hybrid-System Presidio und die generative Extraktion mit dem Sprachmodell Qwen2.5-3B. Alle drei Systeme verschlechtern sich den Autoren zufolge deutlich außerhalb der Trainingsverteilung, allerdings auf unterschiedliche Weise: Encoder-Modelle scheitern vor allem an ungesehenen Schreibweisen und Entitätsgrenzen, regelbasierte Systeme an untypischen Formaten, und das Sprachmodell verwechselt Entitätstypen und liefert instabile Ausgaben. Die Autoren schlagen als Reaktion eine hybride Erkennungs-Pipeline mit einem fragebasierten Rückkopplungs-Mechanismus vor und veröffentlichen ihren Stresstest-Benchmark. Ein früherer Beitrag hatte bereits gezeigt, dass Downstream-Datenlecks – KI-Systeme, die Daten an unautorisierte Nutzer ausliefern – laut Netskope zur zweithäufigsten Verstoßart in Unternehmens-KI zählen – die neue Studie liefert dafür eine mögliche technische Teilerklärung: Die eingesetzten Erkennungssysteme selbst versagen unter genau den unordentlichen Eingaben, die im echten Betrieb häufig vorkommen. Das zählt, weil PII-Erkennung eine tragende Säule vieler Datenschutz-Infrastrukturen ist.
Benchmark-Kontamination bläht Punktzahlen auf, verschiebt Ranglisten aber kaum
Xingyao Xiao und Yihong Cheng untersuchen, ob das Durchsickern von Testdaten in Trainingsdatensätze – ein seit Langem diskutiertes Risiko für KI-Bestenlisten – tatsächlich deren Reihenfolge verändert, statt nur absolute Punktzahlen zu erhöhen. Mit einer als Invarianz-Prüfung angelegten Methode vergleichen sie bei 47 öffentlich verfügbaren Modellen sowie 74 gezielt mit einer bekannten Kontaminationsdosis nachtrainierten Modellen über vier Standard-Benchmarks (ARC, GSM8K, HellaSwag, MMLU) jeweils Original- und bedeutungsgleiche umformulierte Testaufgaben. Nach Kalibrierung an bekannten Kontaminationsdosen (korrigierter Effekt von 0,187 Genauigkeitspunkten bei absichtlich eingeschleustem Leck, gegenüber −0,012 bei einem sauber trainierten Kontrollmodell) beträgt die Rang-Korrelation zwischen einer klassischen und einer umformulierungs-kontrollierten Bestenliste 0,997; nur 3 von 188 geprüften Modell-Benchmark-Kombinationen zeigen ein über zwei Referenzen hinweg bestätigtes, ungleich verteiltes Kontaminationssignal. Die Autoren folgern, Kontamination trete unter den geprüften öffentlichen Modellen weitgehend gleichmäßig auf und verzerre daher absolute Werte, ohne Ranglisten in relevantem Umfang zu verschieben. Ein früherer Digest-Beitrag hatte bereits mit 29.140 Einzelbewertungen gezeigt, dass alle zehn getesteten Spitzenmodelle von geprüften Referenzantworten abweichen – die neue Arbeit ergänzt das um eine beruhigende Differenzierung für einen speziellen Verzerrungsfaktor: Kontamination allein scheint Ranglisten seltener zu kippen als oft befürchtet. Das zählt, weil Kontaminationssorgen bislang oft pauschal jede betroffene Bestenliste infrage stellten.
GUI-Agenten führen widersprüchliche Anweisungen oft blind aus
Zhaoyuan Huang, Tianjie Ju und ein achtköpfiges Autorenteam stellen mit CONFLICTGUI einen neuen Benchmark vor, der prüft, ob KI-Agenten für grafische Bedienoberflächen erkennen, wenn eine Anweisung in sich widersprüchlich ist oder nicht zur tatsächlichen Bildschirmoberfläche passt – etwa weil eine angeforderte Schaltfläche gar nicht existiert. Die Auswertung zeigt laut den Autoren eine ausgeprägte „ausführungs-verzerrte Überkomplianz”: Agenten, die bei eindeutig lösbaren Aufgaben gut abschneiden, führen widersprüchliche Anweisungen häufig blind weiter aus, statt die Ausführung abzubrechen. Als Gegenmaßnahme schlagen die Autoren CONFLICTGUARD vor, ein Verfahren zur Inferenzzeit aus einem Prüfprotokoll, das Anweisungslogik und Bildschirm-Hinweise vor jeder Aktion abgleicht, sowie einem Mechanismus, der die Aktionsauswahl gezielt in Richtung Abbruch statt Ausführung steuert; über fünf verbreitete Agenten hinweg verbessere dies die Erfolgsquote bei widersprüchlichen Aufgaben nach Angaben der Autoren deutlich, bei erhaltener Leistung auf regulären Aufgaben. Ein früherer Digest-Beitrag hatte bereits gezeigt, dass allein ein Wechsel des Beobachtungsraums die Erfolgsquote eines UI-Agenten von 83,1 auf 48,9 Prozent drückt – die neue Studie zeigt eine andere Bruchstelle derselben Agentenklasse: Nicht nur die Testumgebung, auch offensichtlich unpassende Anweisungen bringen sie aus dem Tritt. Das zählt, weil GUI-Agenten zunehmend eigenständig Software bedienen, wo ein blind ausgeführter Fehlklick echte Folgen haben kann.
Von den fünf vorgestellten Arbeiten ist keine bislang durch ein reguläres Peer-Review-Verfahren gegangen; alle sind unbegutachtete arXiv-Preprints, deren Zahlen aus den Experimenten der jeweiligen Autorenteams stammen und noch nicht extern repliziert wurden. Ob sich die berichteten Effekte an weiteren Modellen, Szenarien und in unabhängigen Nachbauten bestätigen, muss sich erst noch zeigen.
