Die heutige Auswahl aus den arXiv-Neueinreichungen der vergangenen Tage verbindet vier Fragen, die selten gemeinsam auftauchen: ob eine der meistgenutzten Erfolgsmetriken für Coding-Agenten überhaupt hält, was sie verspricht, wie sich heimliche Nachrichten unauffällig in KI-generiertem Text verstecken lassen, wie ungleich verteilt Sicherheitslücken über 23 führende Sprachmodelle sind und wie sich ein Sprachmodell mit deutlich weniger Parametern bauen lässt. Kuratiert wurde nach Substanz und Streuung: Jedes Paper liefert eine nachvollziehbare Methode mit belastbaren Zahlen im Abstract, und keine zwei Arbeiten behandeln dasselbe Teilgebiet.
Beyond Pass@k: Wie eine Coding-Metrik systematisch schönt
Jiajun Jiang, Sharon Zheng, Natan Vidra und Spurthi Setty zeigen mit Beyond Pass@k, dass eine der meistgenutzten Erfolgskennzahlen für KI-Coding-Agenten in der Praxis falsch angewendet wird: Statt k für die Zahl unabhängiger Testläufe zu setzen, setzten gängige Implementierungen den Autoren zufolge k gleich der Zahl der Unit-Tests innerhalb einer einzelnen Einreichung – ein grundlegender Rechenfehler. Die Autoren schlagen mit reliability@k eine korrekt berechnete Alternative vor sowie mit security-adjusted reliability@k eine Variante, die zusätzlich das Fehlen von Sicherheitslücken im erzeugten Code verlangt. Auf ihrem synthetischen Testbenchmark melde die fehlerhafte Standardmetrik Werte von 0,96 bis 0,98, während die korrigierte Messung nur 0,00 bis 0,12 erreiche; erste Ergebnisse auf SWE-bench zeigten ebenfalls eine Lücke zwischen 0,80 bestandenen versteckten Tests und lediglich 0,20 tatsächlich gelösten Aufgaben. Ein früherer Digest-Beitrag hatte bereits gezeigt, dass schon ein einzelner unmaskierter Parserschritt die gemessene Erfolgsquote von Agenten um bis zu 73 Prozentpunkte verändern kann – die neue Arbeit zeigt, dass selbst die Metrik selbst, unabhängig von der Ausführungsumgebung, verlässliche Vergleiche zwischen Coding-Agenten erschwert. Das zählt, weil viele Leaderboards und Kaufentscheidungen für Coding-Agenten auf genau dieser Kennzahl beruhen.
Synchronized Logit Steering: Geheime Botschaften in ganz normalem KI-Text
Andrew Rufail und ein siebenköpfiges Autorenteam stellen mit Synchronized Logit Steering ein Steganografie-Verfahren vor, das eine zentrale Hürde bisheriger Ansätze umgeht: Sender und Empfänger mussten bislang denselben geheimen Prompt-Kontext kennen, um dieselbe Wahrscheinlichkeitsverteilung über mögliche nächste Wörter zu erzeugen. Das neue Verfahren leitet stattdessen einen Ersatz-Prompt aus dem bereits erzeugten Text selbst ab, sodass beide Seiten unabhängig dieselbe Verteilung rekonstruieren, und kodiert die geheime Nachricht als Rang einzelner Tokens in Bereichen hoher Unsicherheit. Die Autorinnen und Autoren berichten, die Kullback-Leibler-Divergenz zwischen echter und rekonstruierter Verteilung falle ab einem Synchronisationsfenster von 40 Tokens unter 0,5 nats, eine Burst-Variante erreiche etwa die zehnfache Kapazität einfacher Verfahren, und statistische Tests könnten die erzeugten Texte kaum von gewöhnlichen KI-Antworten unterscheiden. Ein früherer Bericht hatte gezeigt, dass sich Anthropics Text-Wasserzeichen für Claude-Antworten nur durch vollständige Neuformulierung zuverlässig entfernen lässt – die neue Arbeit zeigt die Kehrseite desselben Grundproblems: Wenn sich Bedeutung so fein in Text hineinsteuern lässt, dass ein Wasserzeichen bestehen bleibt, lässt sich darin ebenso zuverlässig eine verdeckte Nachricht verstecken. Das zählt, weil verdeckte Kommunikationskanäle in scheinbar normalen KI-Antworten Content-Moderation und Exfiltrations-Abwehr vor neue Probleme stellen.
HarmProfile: 80.000 schädliche Antworten zeigen, dass Fähigkeit kein Sicherheitsgarant ist
Ein Team um Zhouyuan Ma und Yutao Wu stellt mit HarmProfile einen Datensatz aus über 80.000 geprüften schädlichen Ausgaben von 23 Frontier-Sprachmodellen aus 13 Modellfamilien vor, gegliedert in 15 Schadenskategorien mit 57 Unterkategorien. Statt schädliche Ausgaben nur als Nebenprodukt von Angriffstests zu behandeln, analysieren die Autorinnen und Autoren sie als eigenständigen Untersuchungsgegenstand und leiten daraus für jedes Modell ein individuelles Risikoprofil ab. Sie berichten, alle getesteten Modelle produzierten zuverlässig schädliche Inhalte im großen Maßstab, zeigten dabei aber deutlich unterschiedliche Risikoprofile; mit steigender Modellfähigkeit nähmen sowohl Schweregrad als auch Vielfalt der Fehlschläge zu, sodass fähigere Modelle zwar sicherer wirken, aber zunehmend gefährlicheres Wissen unter der Alignment-Oberfläche bergen könnten. Ein früherer Digest-Beitrag hatte bereits gezeigt, dass sich GPT-5.5 mit gezielten Jailbreak-Prompts zu potenziell gefährlichen Virus-Kandidatensequenzen bewegen ließ – HarmProfile liefert dazu die systematische Kartierung über 23 Modelle hinweg statt eines Einzelfalls. Das zählt, weil belastbare Vergleichsdaten zwischen Modellen bislang selten waren und Sicherheitsbehauptungen einzelner Anbieter sich damit leichter einordnen lassen.
RecurrentGPT: Ein wiederverwendeter Rechenblock spart bis zu 63 Prozent der Parameter
Amr Hegazy, Amr Alanwar und Mostafa Elhoushi stellen mit RecurrentGPT eine Transformer-Variante vor, die statt vieler unterschiedlicher Schichten einen einzigen gemeinsamen Rechenblock mehrfach durchläuft. Eine leichtgewichtige Projektion mit elementweisem Update-Gate passt dabei bei jedem Durchlauf die Eingabe an den verborgenen Zustand, die feste Vorverarbeitung und frisch gezogenes Rauschen an, damit der wiederverwendete Block bei jedem Schritt unterschiedliche Funktionen übernehmen kann. Die Autoren berichten, ein dreischichtiges RecurrentGPT erreiche bei gleichem Rechenbudget eine vergleichbare Genauigkeit wie ein zwölfschichtiges GPT-2 Small und schlage andere Verfahren zur Tiefen-Wiederverwendung; bei größeren Modellen sinke die Parameterzahl um 63 Prozent und der Spitzenspeicherbedarf beim Dekodieren um 59 Prozent, bei nur 10 Prozent höherer kompilierter Generierungslatenz. Das zählt, weil kleinere, speicherschonendere Modelle bei vergleichbarer Qualität den Betrieb von Sprachmodellen auf günstigerer oder mobiler Hardware erleichtern könnten.
Alle vier Arbeiten sind nicht unabhängig begutachtete Preprints – die berichteten Zahlen stammen aus den Experimenten der jeweiligen Autorenteams und wurden bislang nicht extern repliziert. Das gilt besonders für HarmProfile, dessen Risikoprofile bislang nur auf den eigenen Kategorisierungen der Autorinnen und Autoren beruhen, sowie für die Steganografie-Arbeit, deren Erkennungsresistenz bislang nur gegen die getesteten statistischen Verfahren geprüft wurde, nicht gegen künftige Detektoren. Ob sich die Befunde an weiteren Modellen, Benchmarks und in unabhängigen Nachbauten bestätigen, muss sich erst noch zeigen.
