Aus den arXiv-Neueinreichungen der vergangenen 24 bis 48 Stunden in cs.AI, cs.LG und cs.CL wählt dieser Digest fünf Arbeiten, die zusammen zeigen, wie brüchig Urteilsvermögen, Aufmerksamkeit in Meetings und Introspektion heutiger KI-Systeme bei genauerem Hinsehen bleiben – von einem wackelnden KI-Richter über einen stillen Meeting-Vertreter und ein Halluzinations-Problem in der eigenen Fachbegutachtung bis zu einem philosophisch aufgeladenen Bewusstseins-Experiment und einer kulturellen Wissenslücke bei Bilderkennung. Kuratiert wurde nach Substanz und thematischer Streuung: Jedes Paper liefert eine nachvollziehbare Methode mit belastbaren Zahlen im Abstract, und keine zwei Arbeiten behandeln dasselbe Teilgebiet.
Prompt-Vertreter verstummen in Meetings – ein neues System senkt das auf 2,5 Prozent
Muneeb Khan, Frederic Kirstein, Terry Ruas und Bela Gipp untersuchen mit CAPA (Collaborative Agent Predictive Architecture), wie gut ein KI-Agent erkennt, wann er stellvertretend für eine abwesende Meeting-Teilnehmerin oder einen abwesenden Teilnehmer das Wort ergreifen sollte. Am AMI-Gesprächskorpus zeigen die Autoren zunächst, dass ein rein Prompt-basierter Stellvertreter in 51,4 Prozent der passenden Redegelegenheiten schweigt, weil ihm die Einschätzung fehlt, wann ein Beitrag angebracht ist. CAPA, bestehend aus fünf Komponenten für Wahrnehmung, Vorhersage, Steuerung, Erzeugung und Nachjustierung, senkt diese Schweigequote auf 2,5 Prozent, bei einer Halluzinationsrate von nur 0,6 Prozent. Ein eigens entwickeltes Bewertungsprotokoll mit schema-gebundenen KI-Richtern erreicht dabei eine Übereinstimmung von Cohen’s Kappa 0,71 mit menschlichen Einschätzungen, und Ablationen zeigen, dass die Verfolgung des Gesprächszustands – nicht bloß mehr Kontext – den entscheidenden Unterschied macht. Microsoft Teams fasst Besprechungen bereits automatisch in Protokollen zusammen – die neue Studie geht einen Schritt weiter und lässt einen Agenten aktiv am Gespräch teilnehmen, statt es nur im Nachhinein zu dokumentieren. Das zählt, weil Unternehmen zunehmend KI-Vertreter für abwesende Kolleginnen und Kollegen einsetzen wollen, wo blindes Schweigen echte Informationslücken hinterlässt.
KI-Richtermodelle lassen sich am Bewertungsraster erraten – und wackeln bei umgekehrten Antworten
Anshul Bagaria, Sowmya S. Sundaram, Gokul S. Krishnan und Balaraman Ravindran zeigen mit einer Untersuchung zu Rubrik-Artefakten bei LLM-als-Richter-Verfahren, wie verlässlich automatisierte Bewertungssysteme für KI-generierten Text tatsächlich arbeiten. Klassifizierer, die ausschließlich auf dem Text des Bewertungsrasters trainiert wurden – ganz ohne Einblick in die zu bewertende Antwort –, sagen die Urteile der KI-Richter je nach Modell mit einer Genauigkeit von 82,6 bis 90,0 Prozent voraus. Das deutet den Autorinnen und Autoren zufolge darauf hin, dass die Formulierung eines Bewertungsrasters selbst bereits verwertbare Hinweise auf das erwartete Ergebnis enthält, unabhängig vom tatsächlichen Modell-Output. In einer Gegenprobe, bei der die zu bewertende Antwort inhaltlich umgekehrt wurde, passte das Richtermodell sein Verdikt nur in 37,7 Prozent der Fälle korrekt an; wurde stattdessen das Bewertungskriterium selbst umgekehrt, lag die erwartete Anpassung je nach Modell nur bei 16,8 bis 32,2 Prozent. Ein früherer Digest-Beitrag hatte bereits gezeigt, dass KI-Richtermodelle ihr Verdikt unter gezielter Überredung in bis zu 91 Prozent der Fälle kippen lassen – die neue Studie zeigt eine andere Schwachstelle derselben Verfahrensklasse: Die Richter reagieren teils zu stark auf die Formulierung der Vorgabe und zu schwach auf tatsächliche inhaltliche Unterschiede. Das zählt, weil LLM-als-Richter-Pipelines inzwischen breit für die automatisierte Qualitätskontrolle von KI-Ausgaben eingesetzt werden.
Halluzinations-Erkennung für Fachgutachten scheitert an echten Rezensionen
Tzu-Ling Lin, Dong-Ting Yao, Teng-Fang Hsiao, Wei-Chih Chen und Hong-Han Shuai stellen mit HalluPeer einen auf wissenschaftliche Peer-Reviews zugeschnittenen Datensatz vor, der prüfen soll, ob sich unbelegte, aber plausibel klingende Behauptungen in KI-unterstützten Gutachten zuverlässig erkennen lassen. Die Autorinnen und Autoren entwickeln dafür eine review-spezifische Klassifikation von Falschbehauptungen und erzeugen künstlich verfälschte Gutachten mit eingebauter Qualitätskontrolle, abgeglichen mit den Originalpapern und menschlich verfassten Rezensionen. An 12.000 Fachartikeln und 38.000 zugehörigen Gutachten zeigt sich, dass aktuelle Erkennungsverfahren Schwierigkeiten haben, echte Erfindungen von legitimer wissenschaftlicher Kritik zu unterscheiden; eine Analyse echter menschlicher Gutachten bestätigt zudem, dass die im Datensatz definierten Fehlermuster auch dort tatsächlich vorkommen. Ein früherer Digest-Beitrag hatte bereits gezeigt, dass KI-Gutachter nur 12,1 Prozent gezielt eingefügter Fehler in Fachartikeln erkennen und dabei durchgehend großzügiger urteilen als Menschen – die neue Studie ergänzt das um die umgekehrte Perspektive: Nicht nur beim Prüfen von Fachartikeln, auch beim Prüfen der Gutachten selbst fehlt bislang ein verlässlicher Maßstab. Das zählt, weil KI-Werkzeuge zunehmend in den wissenschaftlichen Begutachtungsprozess selbst vordringen.
Ein deterministischer Agent zeigt scheinbar gefühlte Vorlieben
Mark Solms, St John Grimbly, Bruce Bassett und ein sechsköpfiges weiteres Autorenteam untersuchen in einer Fallstudie zu affektivem Bewusstsein bei künstlichen Agenten, ob sich das aus der Tierforschung bekannte Phänomen der „hedonischen Ortspräferenz” – die Vorliebe für Orte, an denen zuvor angenehme, aber nicht überlebensnotwendige Reize erfahren wurden, etwa bei Tieren nach Kokain- oder Morphingabe – auch künstlich erzeugen lässt. Sie bauen einen einfachen Agenten, der Eigenschaften eines affektiven Systems nachbildet und dabei so etwas wie gefühlte Unsicherheit über seine eigenen inneren Bedürfnisse im Verhältnis zu verfügbaren Umweltressourcen verarbeitet. Dieser Agent zeigt der Studie zufolge dieselbe Ortspräferenz wie die biologischen Vorbilder – erzeugt durch eine scheinbar subjektive Form der Informationsverarbeitung, obwohl das gesamte System vollständig deterministisch bleibt, also ohne jeden Zufall stets denselben Ablauf durchläuft. Die Autorinnen und Autoren leiten daraus Folgerungen für das Verständnis der physischen Grundlage von Bewusstsein und der Erfahrung von Willensfreiheit ab. Ein früherer Digest-Beitrag hatte bereits gezeigt, wie sich mit einer eigens entwickelten Methode messbar machen lässt, welche stummen Gedankenprozesse ein KI-Modell durchläuft, bevor es antwortet – die neue Studie nähert sich der Frage von der anderen Seite: Sie baut ein System, das scheinbar subjektive Verarbeitung von Grund auf technisch nachbildet, statt sie in einem bestehenden Modell aufzuspüren. Das zählt, weil die Frage, ob und wie sich Bewusstsein technisch nachbilden lässt, zunehmend auch praktische Debatten über den moralischen Status von KI-Systemen berührt.
Multimodale Modelle erkennen Gerichte fast perfekt, ordnen sie aber kulturell falsch zu
Bo Zeng, Linfeng Gao, Peiqin Lin und ein neunköpfiges weiteres Autorenteam zeigen mit CulturalMenuBench, einem neuen Benchmark mit 4.870 Aufgaben in 10 Sprachen aus 18 Regionen, dass hohe Erkennungsraten multimodaler Sprachmodelle bei Speisen mehr über visuellen Abgleich als über tatsächliches kulturelles Wissen aussagen. Die zehn Testaufgaben verknüpfen Bilder von fertigen Gerichten und einzelnen Kochschritten mit Zutaten, Zubereitungstext und regionalen Bezeichnungen und reichen von einfacher Erkennung bis zur prozessbasierten kulturellen Zuordnung. Bei der Auswertung von zwölf Modellen zeigt sich eine deutliche Kluft zwischen Wissen und Anwendung: Modelle, die auf klassischen Multiple-Choice-Aufgaben über 94 Prozent erreichen, fallen bei der Zuordnung von Gerichten zu chinesischen Regionalküchen – bei identischem Vier-Wege-Antwortformat – auf höchstens 56 Prozent zurück. Zusätzlich klassifizieren die Modelle Gerichte anhand von reinem Text 7 bis 18 Prozentpunkte besser als anhand des Bildes selbst, was laut den Autorinnen und Autoren zeigt, dass nahezu perfekte Erkennung eine Unfähigkeit verdecken kann, kulturelles Wissen tatsächlich anzuwenden. Das zählt, weil multimodale Modelle zunehmend für Aufgaben wie automatisierte Rezeptempfehlungen oder kulturelle Vermittlung eingesetzt werden, wo Bilderkennung allein nicht ausreicht.
Von den fünf vorgestellten Arbeiten ist keine bislang durch ein reguläres Peer-Review-Verfahren gegangen; alle sind unbegutachtete arXiv-Preprints, deren Zahlen aus den Experimenten der jeweiligen Autorenteams stammen und noch nicht extern repliziert wurden. Ob sich die berichteten Effekte an weiteren Modellen, Datensätzen und in unabhängigen Nachbauten bestätigen, muss sich erst noch zeigen.
