Die Redaktion wählt aus den arXiv-Neueinreichungen der vergangenen 24 bis 48 Stunden vier Arbeiten, die zeigen, wie weit Fähigkeit und Verlässlichkeit heutiger KI-Systeme derzeit auseinanderfallen – von einem vollständig offengelegten Rechercheagenten über eine sicherheitsrelevante Merging-Lücke bis zu einer brüchigen Bewertungsmethode für KI-Tutoren. Kuratiert wurde nach Substanz: Jedes Paper liefert eine nachvollziehbare Methode und ein konkretes Zahlen-Ergebnis im Abstract, nicht nur eine neue Themenüberschrift. Die Auswahl deckt bewusst vier verschiedene Teilgebiete ab – Agentensysteme, Sicherheits-Engineering, Evaluationsmethodik und Interpretierbarkeit.
Offengelegter Rechercheagent erreicht 87,3 Prozent auf Humanity’s Last Exam
Ein Team um Yong Huang und Yulu Huang stellt mit dem DeepResearch Agent System ein vollständig quelloffenes Agentensystem für Tiefenrecherche, mehrstufiges Schlussfolgern und autonome Forschungsaufgaben vor. Das System basiert auf einer sparsen Architektur mit 30 Milliarden Gesamt-, aber nur 3 Milliarden pro Token aktivierten Parametern, was laut den Autoren eine 3,2-fach schnellere Inferenz als bei dicht besetzten Modellen gleicher Größe ermögliche; ein duales Reasoning-Verfahren kombiniert dabei einfaches mehrstufiges Vorgehen (ReAct) mit einem iterativen Recherche-Modus für bis zu 20 Schritte. Auf Humanity’s Last Exam erreiche das System den Autoren zufolge 87,3 Prozent, dazu 85,3 Prozent auf BrowserComp Chinese und 91,2 Prozent auf WebWalkerQA, bei 92,1 Prozent Treffsicherheit in der Werkzeug-Nutzung. Das zählt, weil hier Architektur-, Trainings- und Inferenz-Code vollständig offenliegen und sich derart hohe Benchmark-Werte damit unabhängig nachvollziehen lassen – ein Transparenz-Grad, der beim zuvor vorgestellten, selbstprüfenden Rechercheagenten AREX nicht im Zentrum der Berichterstattung stand.
Sicherheits-Merging verliert Schadenserkennung, behält aber die Verweigerung
Aarnav Choudhary, Matheus Fonseca Rocha und Kolleginnen und Kollegen testen in Asymmetric Collapse in Model Merging: When Refusal Overwrites Recognition, was passiert, wenn zwei sicherheitsrelevant feinabgestimmte Varianten von Gemma-3-1B-IT – eine auf Schadens-Klassifikation, die andere auf Jailbreak-Verweigerung trainiert – mit vier gängigen Verfahren (Linear, SLERP, TIES, DARE-TIES) verschmolzen werden. Die Autoren berichten, die verschmolzenen Modelle hielten die Verweigerungs-Rate gegen Jailbreak-Angriffe bei 81 bis 85 Prozent, während die Genauigkeit bei der Schadens-Erkennung (CARES) auf höchstens 12,9 Prozent einbreche. Ursache sei, dass das Verweigerungs-Finetuning durchgängig größere Gewichts-Vektoren pro Schicht erzeuge als das Erkennungs-Finetuning, wodurch magnituden-empfindliche Merging-Verfahren die Verweigerung systematisch bevorzugen; die Vektoren beider Fähigkeiten stehen dabei mit einer Kosinus-Ähnlichkeit von nur 0,011 fast orthogonal zueinander. Das zählt, weil Unternehmen Sicherheits-Fähigkeiten oft durch genau solches Merging kombinieren wollen – ein Muster, das an den zuvor beschriebenen Wippe-Effekt beim Verschmelzen unterschiedlich großer Modelle anschließt, hier jedoch nicht zwischen allgemeinen Fähigkeiten, sondern zwischen zwei komplementären Sicherheits-Zielen auftritt.
Warum KI-Bewertungen für Hilfsbereitschaft schlechte Nachhilfe nicht erkennen
Shuyi Fan, Boyuan Deng und Kolleginnen und Kollegen prüfen in Rethinking LLM-Judged Helpfulness as a Pedagogy Signal: A Pre-Registered Audit Across Tutor Models in einer vorregistrierten Studie mit festem simuliertem Studierenden, ob allgemeine Hilfsbereitschafts-Bewertungen zwischen direkten Antworten und echter pädagogischer Anleitung unterscheiden können. Mit einem eigens entwickelten pädagogischen Bewertungsraster erzielten die Autoren eine vollständige Trennung zwischen den getesteten Unterrichtsstrategien (Cliff’s Delta 1,0), während die klassische Hilfsbereitschafts-Bewertung keinen signifikanten Unterschied fand (Delta 0,10); zwischen verschiedenen Richter-Modellen kehrte sich die Hilfsbereitschafts-Rangfolge bei zwei von drei Basis-Modellen sogar um. Direkt ausgeplauderte Lösungen verringerten zudem in allen getesteten Fällen die anschließende eigenständige Arbeit der simulierten Studierenden. Das zählt, weil Hilfsbereitschafts-Bewertungen durch ein KI-Modell als Richter (LLM-as-a-judge) zum Standardwerkzeug für Tutoring-Systeme geworden sind – ein blinder Fleck, der an den früheren Digest-Befund zu vorschnell helfenden KI-Tutoren anschließt, dort allerdings am Verhalten der Tutoren selbst ansetzte statt an der Frage, wie man dieses Verhalten überhaupt zuverlässig misst.
Sprachmodelle nutzen oft dieselbe interne Schnittstelle für gleiche Antworten
SiYuan Ma, Yiqin Luo und Kolleginnen und Kollegen untersuchen in Hidden APIs in Language Models: Discovering Reusable Causal Interfaces from Forked Futures, ob unterschiedliche Wege zur selben Modell-Antwort auch auf denselben internen Mechanismen beruhen. Mit der Methode „Forked Futures” vergleichen sie verborgene Zustände, indem sie nach einem gemeinsamen Prompt-Anfang mehrere mögliche Fortsetzungen abtasten, statt sich auf vorab festgelegte Konzept-Label zu verlassen, und unterscheiden dabei vier Schnittstellen-Typen (Shared, Local, Mixture, Distributed). Eine gemeinsam genutzte („Shared”) Schnittstelle erklärt die Modell-Antwort demnach am knappsten; entlang dieser Schnittstelle vermitteln die identifizierten Pfade den Autoren zufolge 74,9 Prozent des untersuchten Effekts, gegenüber 15,0 Prozent bei einem zufällig gewählten Kontroll-Pfad, und ein blinder Architektur-Test ordnete 14 von 16 getesteten Modell-Varianten korrekt zu. Das zählt, weil es zeigt, dass Sprachmodelle greifbare, wiederverwendbare interne Schnittstellen für ganze Aufgabenklassen entwickeln – ein Befund, der an Anthropics J-Lens-Forschung zu Claudes verborgenem „J-Space” anschließt, dort jedoch für unsichtbare Denkprozesse statt für kausal nachweisbare Antwort-Mechanismen steht.
Einordnung zum Schluss: Alle vier Arbeiten sind bislang unbegutachtete Preprints; ihre Zahlen stammen aus den Experimenten der jeweiligen Autorenteams selbst. Die Benchmark-Werte des Rechercheagenten wurden bislang nicht unabhängig reproduziert, die Merging-Studie testet nur ein einziges 1-Milliarden-Parameter-Modellpaar, die Tutoring-Studie stützt sich auf einen simulierten statt einen echten Studierenden, und die Schnittstellen-Analyse bleibt an die getesteten Modellarchitekturen und Parameter gebunden. Ob die Muster an produktionsnahen Systemen und in unabhängigen Replikationen Bestand haben, zeigt sich erst noch.
