Die arXiv-Neueinreichungen der vergangenen 24 bis 48 Stunden in cs.AI, cs.LG und cs.CL boten wieder deutlich mehr Kandidaten, als in einen Digest passen. Dieser Beitrag kuratiert fünf Paper aus möglichst unterschiedlichen Teilgebieten – Trainings-Effizienz, Agenten-Sicherheit, Interpretierbarkeit, Fehlerdiagnose und Speicher-Infrastruktur –, die jeweils eine nachvollziehbare Methode und belastbare Kernzahlen im Abstract liefern, keine bloßen Nischen-Anwendungen. Gemeinsamer roter Faden: Mehrere Arbeiten zeigen, dass etablierte Annahmen über Trainingsaufwand, Sicherheits-Robustheit und Mess-Zuverlässigkeit von KI-Agenten bei genauerem Hinsehen nicht tragen.
Reasoning-Training mit nur 0,05 Prozent aller Tokens
Zhishuai Liu, Xingzi Xu und ein dreiköpfiges weiteres Autorenteam zeigen mit einer Untersuchung zu extrem sparsamer Supervision beim Post-Training, dass sich Schlussfolgerungs-Fähigkeit (Reasoning) bei Sprachmodellen mit einem winzigen Bruchteil der bislang für nötig gehaltenen Trainingssignale vermitteln lässt. Für ihr Verfahren markieren die Autorinnen und Autoren pro Lösungsweg nur ein bis zwei besonders aussagekräftige Tokens als eigentliches Lernsignal – zusammen rund 0,05 Prozent aller erzeugten Tokens – und trainieren gezielt darauf, statt wie bislang üblich alle Tokens eines Lösungswegs gleich zu gewichten. Getestet an neun verschiedenen Lehrer-Schüler-Konfigurationen sowie an Mathematik- und Programmier-Aufgaben mit Llama-Modellen und einem PPO-basierten Verstärkungslernen erreiche das sparsame Verfahren den Autoren zufolge in den meisten Fällen dieselbe oder eine bessere Leistung wie das vollständige Tokentraining. Das zählt, weil Post-Training von Sprachmodellen bislang als daten- und rechenintensiv gilt und ein derart sparsamer Ansatz die Kosten für nachträgliches Reasoning-Training senken könnte, sollte sich der Befund in größerem Maßstab bestätigen.
Prompt-Injection als Suchproblem: Mehr Angreifer-Rechenleistung, mehr Erfolg
Duong M. Nguyen, Joon Sik Kim und ein zweiköpfiges weiteres Autorenteam schlagen mit einer neuen Betrachtung indirekter Prompt-Injection vor, solche Angriffe nicht mehr als statischen Einzeltest, sondern als Testzeit-Suchproblem über eine aufgabenabhängige Angriffsfläche zu behandeln. Ihr agentischer Angreifer erkundet dafür gezielt die Umgebung eines KI-Agenten und passt seine Strategie iterativ an, statt einen einzelnen, vorformulierten Angriffstext zu verwenden. Die Autorinnen und Autoren berichten, mehr Rechenzeit auf Seiten des Angreifers verbessere systematisch sowohl das Auffinden als auch das Ausnutzen von Schwachstellen, weshalb Sicherheitsbewertungen künftig sowohl das Such-Verfahren als auch das Rechenbudget des Angreifers berücksichtigen müssten, statt Angriffserfolg als budgetunabhängige Eigenschaft zu behandeln. Das zählt, weil Sicherheitstests für KI-Agenten bislang meist nur einzelne, feste Angriffsversuche prüfen und damit ein mit wachsender Rechenleistung wachsendes Risiko systematisch unterschätzen könnten. Ein früherer Sicherheits-Beitrag hatte bereits gezeigt, wie sich ein Datendiebstahl-Befehl über präparierte MCP-Werkzeuge auf drei harmlos wirkende Kanäle aufteilen und so Schutzmechanismen umgehen ließ – die neue Studie liefert dazu einen systematischeren Rahmen, der solche Angriffsstrategien als durchsuchbaren Raum statt als Einzelfall begreift.
Eine einzelne Richtung entscheidet über Verweigerung – architekturübergreifend
Preethi Carmel Bosco und Gopalakrishnan Srinivasan zeigen mit einer Untersuchung zur Lokalisierung von Verweigerungsverhalten, dass sich die Bereitschaft eines Sprachmodells, eine schädliche Anfrage abzulehnen, in verschiedenen Architekturen auf eine einzelne interne Richtung im Repräsentationsraum zurückführen lässt – und dass sich diese Richtung zwischen Modellen übertragen lässt. Mit einer einzigen starren Rotation richten die Autorinnen und Autoren den Repräsentationsraum eines Modells auf den eines anderen aus, sodass ein auf Transformer-Architekturen trainierter Schadinhalts-Detektor auch in Zustandsraum-Modellen (State-Space-Modellen) zuverlässig funktioniert. Wird die so identifizierte Richtung entfernt, beantworte das Modell den Autoren zufolge Angriffe, die es sonst ablehnen würde, während das Entfernen einer zufälligen Richtung gleicher Größe deutlich schwächere Effekte zeige; getestet wurde der Ansatz an vier verschiedenen Architekturfamilien, auch gegen Angreifer, die ihre Prompts gezielt gegen die Abwehr anpassen. Das zählt, weil Sicherheits-Filter bislang meist für eine einzelne Architektur entwickelt werden, während neue, nicht transformerbasierte Sprachmodelle zunehmend verbreitet sind. Ein früherer Digest-Beitrag hatte bereits gezeigt, dass sich Sicherheitstraining bei einem von elf getesteten Modellen mit als Kunstkritik getarnter ASCII-Art in 93 Prozent der Versuche umgehen ließ – die neue Studie sucht nach einem architekturübergreifenden Gegenmittel für genau solche Umgehungsversuche.
DCFA spürt tiefliegende Fehlerursachen in KI-Agenten-Teams auf
Zehao Wang, Lanjun Wang und ein dreiköpfiges weiteres Autorenteam stellen mit DCFA ein trainingsfreies Verfahren vor, das die Ursache eines gescheiterten Durchlaufs in einem mehrköpfigen KI-Agenten-System präziser bestimmen soll als bisherige Ansätze. Bisherige Zuordnungs-Verfahren erfassten den Autorinnen und Autoren zufolge oft nur oberflächliche Abweichungen wie unvollständige Datenabrufe oder Formatierungsfehler, während die eigentliche, tieferliegende Fehlerursache unentdeckt bleibe. DCFA kombiniert ein globales Modul, das einen strukturierten, kausal inspirierten Abhängigkeitsgraphen des gesamten Agenten-Durchlaufs aufbaut, mit einem lokalen Modul, das mittels kontrafaktischer Überlegungen die Zuordnung an einzelnen Schritten verfeinert; über sechs verschiedene Sprachmodelle und den Who&When-Benchmark hinweg verbessert das Verfahren die schritt-genaue Trefferquote um bis zu 8,27 Prozentpunkte gegenüber dem bisherigen Bestwert. Das zählt, weil Unternehmen zunehmend mehrköpfige Agenten-Systeme einsetzen, bei denen ein einzelner Fehlschlag oft erst nach vielen Schritten sichtbar wird und sich die eigentliche Ursache ohne systematische Zuordnung kaum auffinden lässt. Ein früherer Digest-Beitrag hatte bereits gezeigt, dass sich 41 verschiedene Agenten-Fehlertypen mit hoher Übereinstimmung zwischen menschlichen Gutachtern danach ordnen lassen, ob Modell, Harness oder Umgebung verantwortlich ist – DCFA liefert dazu nun ein automatisiertes Verfahren, das diese Zuordnung ohne menschliche Gutachter übernehmen soll.
KVMem packt Millionen Tokens Agenten-Gedächtnis auf eine Consumer-GPU
Di Chai, Leye Wang und ein dreiköpfiges weiteres Autorenteam stellen mit KVMem ein System vor, das lang laufenden KI-Agenten erlaubt, auf eine Arbeitshistorie von bis zu einer Million Tokens zuzugreifen, ohne dabei feinkörnige Ausführungs-Details zu verlieren oder bereits verarbeiteten Kontext wiederholt neu einzulesen. Statt ältere Kontextinhalte wie bisherige Systeme in Textzusammenfassungen zu komprimieren, hält KVMem den internen Schlüssel-Wert-Zustand (KV-Cache) des Modells über GPU-Speicher, Arbeitsspeicher und NVMe-Speicher hinweg vor und wählt mit einem leichtgewichtigen, modelleigenen Attention-Index gezielt die für die aktuelle Anfrage relevanten historischen Blöcke aus. Auf dem DeepSWE-Benchmark steigt die Erfolgsquote damit von 43,8 auf 48,4 Prozent gegenüber reiner Kompression, und das System verarbeitet auf einer Consumer-GPU mit 24 Gigabyte Speicher (RTX 5090 Laptop) Verlaufsdaten von bis zu einer Million Tokens – dem Vierfachen des nativen 256.000-Token-Kontextfensters der getesteten Qwen-Modelle. Das zählt, weil lang laufende KI-Agenten in der Praxis oft genau an dieser Grenze zwischen Speicherbedarf und verfügbarem Kontextfenster scheitern und KVMem zeigt, dass sich das Problem auch ohne teure Rechenzentrums-Hardware lösen lässt. Ein früherer Digest-Beitrag hatte bereits gezeigt, dass ein separater Memory-Agent bei lang laufenden KI-Agenten aktiv entscheidet, wann eine gespeicherte Erinnerung tatsächlich gebraucht wird, und so die Erfolgsquote um 6,8 bis 8,3 Prozentpunkte steigert – KVMem löst das verwandte, aber technisch andere Problem, wie sich solche Erinnerungen überhaupt speichereffizient vorhalten lassen.
Von den fünf vorgestellten Arbeiten ist keine bislang durch ein reguläres Peer-Review-Verfahren gegangen; alle sind unbegutachtete arXiv-Preprints, deren Zahlen aus den Experimenten der jeweiligen Autorenteams stammen und noch nicht extern repliziert wurden. Ob sich das sparsame Trainingsverfahren auch bei größeren Modellen und komplexeren Aufgaben bewährt, ob sich die architekturübergreifende Verweigerungs-Steuerung gegen raffiniertere Angriffe hält und ob DCFA sowie KVMem auch außerhalb der getesteten Benchmarks Bestand haben, müssen erst unabhängige Nachbauten zeigen.
