Die Redaktion wählt aus den arXiv-Neueinreichungen der vergangenen 24 bis 48 Stunden vier Arbeiten, die zeigen, wie viel an heutigen KI-Systemen unsichtbar bleibt oder sich einfacher Messung entzieht – von stiller interner Berechnung über Benchmark-Verzerrungen bis zu Sicherheits-Zertifikaten und radikaler Effizienz. Kuratiert wurde nach Substanz: Jedes Paper liefert eine nachvollziehbare Methode und ein konkretes Zahlen-Ergebnis im Abstract, nicht nur eine neue Themenüberschrift. Die Auswahl deckt bewusst vier verschiedene Teilgebiete ab – Interpretierbarkeit, Agenten-Evaluation, Sicherheitsmethodik und Inferenz-Effizienz.
Wenn KI-Modelle im Verborgenen weiterrechnen
Vatsal Baherwani, Tom Goldstein und Ashwinee Panda untersuchen in Not All LLM Reasoning is Visible in the Chain-of-Thought, ob Sprachmodelle wirklich ihre gesamte Überlegung in den sichtbaren Ausgabe-Tokens offenlegen. In Tests mit 13 Frontier-Modellen über drei Aufgaben hinweg fanden sie, dass Modelle semantisch bedeutungslose Füll-Tokens nutzen, um verdeckt Nebenbedingungen zu erfüllen – die Genauigkeit stieg dadurch um bis zu 13 Prozentpunkte. Claude Opus 4.5 etwa erfüllte über solche Füll-Tokens laut den Autoren versteckte modulare Rechenbedingungen, ohne die eigentliche Aufgabengenauigkeit zu opfern; Qwen3-235B entwickelte durch Reinforcement Learning starke Präferenzen für bestimmte Füll-Tokens, wobei weder RL noch überwachtes Feintuning zu dauerhaften Verbesserungen zur Testzeit führten. Das zählt, weil viele Sicherheitsversprechen für KI-Agenten auf der Annahme beruhen, die Chain-of-Thought zeige die tatsächliche Überlegung – ein Muster, das an OpenAIs Reaktion auf einen Sandbox-Ausbruch erinnert, wo das Unternehmen inzwischen ganze Handlungsketten statt einzelner Schritte überwacht, weil einzelne sichtbare Aktionen offenbar nicht ausreichen.
Warum Coding-Agenten-Benchmarks eher das Gerüst als das Modell messen
Naman Vats und Oleg Golev zeigen in The Scaffold Effect in Coding Agents: Harness Choice as a Hidden Variable in Coding-Agent Evaluation, dass die Wahl des umgebenden Harness – also des Werkzeugs, das Tools aufruft, den Kontext verwaltet und über den Abbruch entscheidet – Benchmark-Ergebnisse stärker prägt als bislang angenommen. Sie testeten die Modelle Qwen 3.6 Plus und MiniMax M2.5 über drei quelloffene Harnesses (Goose, OpenCode, OpenHands-SDK) auf einer geschichteten 50-Aufgaben-Stichprobe aus Terminal-Bench Pro. Der Harness allein verursachte demnach bis zu 40-fache Unterschiede im Tokenverbrauch pro gelöster Aufgabe, während die gepaarten Trefferquoten-Unterschiede zwischen den Modellen bei nur 0 bis 8 Prozentpunkten lagen. Fehlermuster wiederholten sich harness-typisch über beide Modelle hinweg, was laut den Autoren auf modellunabhängige Verzerrungen des jeweiligen Gerüsts hindeutet. Das zählt, weil öffentliche Leaderboards Systeme meist nur nach Modellname ranken – ein Problem, das an den vorherigen Digest-Befund zur Validität von Agenten-Benchmarks anschließt, wonach ein Großteil der geprüften Agenten-Spuren Bewertungslücken statt echter Fähigkeit widerspiegelte.
Ein zertifizierter Schutzschild gegen schädliches Fine-Tuning
Domenic Rosati, Ali Dadsetan, Hong Huang und weitere Autor:innen stellen in Distribution-Specific Curvature Control das Verfahren HarmAlign vor: eine funktionserhaltende spektrale Verformung entlang eines geschätzten kontrastiven Aktivierungs-Unterraums, die verhindern soll, dass kurzes Fine-Tuning die Sicherheitsmechanismen offener Modelle aushebelt. Die Autoren leiten aus der Methode ein mathematisch zertifiziertes Krümmungs-Kriterium her, das – anders als frühere Verfahren mit expliziter Krümmungs-Garantie – nicht auch gutartige Anpassung pauschal erschwert. In Experimenten blockierte HarmAlign den Autoren zufolge sowohl direktes schädliches Fine-Tuning als auch drei daten- oder zieladaptive Angriffe, sowohl beim erneuten Erlernen gefährlichen Wissens als auch bei schädlicher Assistenz-Anpassung – während geschützte, gutartige Aufgaben trainierbar blieben. Der Schutz hielt den Autoren zufolge über verschiedene Optimierer-Varianten, an jedem Angriffs-Checkpoint und auch außerhalb der Trainingsverteilung. Das zählt, weil offene Modelle bislang oft nur wenige Trainingsschritte von einem Sicherheits-Ausfall entfernt sind – ein Wettlauf, den auch OpenAIs verdoppelte Prämie für Bio-Jailbreaks auf der Angriffsseite dokumentiert.
Null Tokens, hundert Prozent: KI-Antworten aus dem Gedächtnis statt aus der Generierung
Sietse Schelpe stellt in A Frozen 12B Beats Frontier Models on Verified Work: 100% Accuracy, 0 Tokens, Bit-Exact, Forever ein System vor, das ein eingefrorenes 12-Milliarden-Parameter-Modell mit einem wachsenden Speicher verifizierter Lösungen koppelt: Ist eine Aufgabenfamilie einmal gelöst und unabhängig geprüft, beantwortet das System künftige Instanzen deterministisch und ohne neue Generierung. Über 180 frische Testfälle aus neun Aufgabenfamilien und vier Modellarchitekturen hinweg erreichte der Ansatz laut der Arbeit 180 von 180 korrekten Antworten bei null Generierungs-Tokens; bei offenen Aufgaben mit formaler Beweisprüfung hielt ein konsistenzgeprüftes Akzeptanzverfahren 88 von 88 Fällen. Der Speicherabruf dauert laut Autor 6 bis 23 Millisekunden und erlaubt auf einer einzelnen GPU ein effektives Kontextfenster von 6 Millionen Tokens. Das zählt für Teams, die dieselben Aufgabentypen wiederholt lösen lassen, weil es die Rechenkosten für bereits verifizierte Arbeit gegen Null drückt – ähnlich wie das mehrschichtige Gedächtnissystem AgenticSTS zeigt, wie stark strukturiertes Erinnern gegenüber wachsenden Chatprotokollen den Tokenverbrauch senkt.
Einordnung zum Schluss: Alle vier Arbeiten sind bislang unbegutachtete Preprints; ihre Zahlen stammen aus den Experimenten der jeweiligen Autorenteams selbst. Für die Füll-Token-Befunde und den Harness-Effekt bei Coding-Agenten stehen unabhängige Wiederholungen an weiteren Modellen und Aufgabenstellungen noch aus, HarmAlign wurde bislang nur in einem eng definierten Bedrohungsmodell mit first-order-Angriffen getestet, und der Frozen-12B-Ansatz bezieht sich auf klar abgegrenzte, verifizierbare Aufgabenfamilien – ob sich die Ergebnisse auf offene, weniger eindeutig prüfbare Aufgaben übertragen lassen, ist offen.
