Die heutige Auswahl aus den arXiv-Neueinreichungen der vergangenen Tage verbindet vier Fragen, die selten gemeinsam auftauchen: wie verlässlich Agenten-Verbünde rechnerisch wirklich sind, wie stark reine Ausführungsdetails die gemessene Agenten-Leistung verfälschen können, was ein neues wissenschaftliches KI-Agentenmodell großer Labore leistet und wie sich mehrere Modelle verlustärmer zu einem verschmelzen lassen. Kuratiert wurde nach Substanz und Streuung: Jedes Paper liefert eine nachvollziehbare Methode mit belastbaren Zahlen im Abstract, und keine zwei Arbeiten behandeln dasselbe Teilgebiet. Da arXiv am Wochenende keine neuen Listungen veröffentlicht, stammt die Auswahl aus der jüngsten verfügbaren Ausgabe vom Freitag.
Verlässlichkeits-Zertifikate für Agenten: Die Unabhängigkeits-Annahme hält nicht
Varun Pratap Bhardwaj, Garima Singh und Arun Pratap Bhardwaj prüfen in Agent Behavioral Contracts II eine in der Praxis kaum hinterfragte Annahme: Verlässlichkeitsrechnungen für mehrstufige Agenten-Systeme multiplizieren üblicherweise die Einzelzuverlässigkeiten der Komponenten, was voraussetzt, dass deren Fehler statistisch unabhängig voneinander auftreten. In einer vorregistrierten Auswertung von 18.000 Missionen mit zwei Instanzen desselben Modells im zweistufigen Übergabe-Szenario finden die Autoren, dass beide Agenten in 90,0 Prozent der Fälle gemeinsam scheitern, sobald überhaupt einer von beiden versagt – ein Wechsel des Modells schwächt diese Kopplung ab, ein reiner Anbieterwechsel bei gleichem Modell dagegen nicht. Die Autoren liefern zugleich ein neues, endlich-stichprobentaugliches Zertifikat ohne Unabhängigkeitsannahme, das den garantierten Verlässlichkeits-Mindestwert in ihren Tests von 0,2455 auf 0,4116 anhebt. Das zählt, weil Unternehmen Redundanz durch mehrere Agenten-Instanzen oft als Sicherheitsnetz einsetzen – die Studie zeigt, dass diese Redundanz bei geteiltem Modell strukturell überschätzt wird. Ein früherer Digest-Beitrag hatte bereits gezeigt, dass gängige Agenten-Sicherheitsbenchmarks eine einfache “immer sicher”-Basislinie kaum schlagen – die neue Arbeit ergänzt das Bild um eine weitere brüchige Messgrundlage: rechnerische Verlässlichkeitszertifikate für Agenten-Verbünde.
QuoteBench: Wenn ein einzelnes Sonderzeichen die Erfolgsquote halbiert
Shangao Li, Yao Zhang, Volker Tresp und Yuanyuan Yang zeigen mit QuoteBench, dass identische Modellantworten je nach Ausführungspfad völlig unterschiedliche Erfolgsquoten erzielen können. Ihr Benchmark spielt 56 aus echten Vorfällen abgeleitete Ein-Schritt-Aufgaben über acht Konfigurationen erneut ab und schaltet dabei gezielt einen unzureichend maskierenden Parser dazwischen, der Bash-Befehle vor der Ausführung umschreibt. Allein dieser zusätzliche Verarbeitungsschritt senkt die Erfolgsquote den Autoren zufolge um 55,4 bis 73,2 Prozentpunkte gegenüber dem direkten Ausführungspfad, obwohl das Sprachmodell exakt dieselbe Antwort liefert; wird der Bruch offengelegt, erholt sich die Quote in sechs von acht Konfigurationen um 30,4 bis 60,7 Punkte. Das zählt, weil verbreitete Bewertungsmethoden für Coding-Agenten meist nur die abgeglichene Erfolgsquote berichten und damit Fehler der Ausführungsumgebung unsichtbar mit der Modellleistung vermischen. Ein früherer Digest-Beitrag hatte bereits gezeigt, dass der Agenten-Harness Coding-Benchmarks stärker verzerrt als das zugrunde liegende Modell – QuoteBench liefert dazu einen präzisen Mechanismus: schon ein einzelner unmaskierter Parserschritt in der Befehlskette.
Intern-S2-Preview: Ein 397-Milliarden-Modell für wissenschaftliche Agentenaufgaben
Ein großes Team um Lei Bai stellt mit Intern-S2-Preview ein neues wissenschaftliches KI-Agentenmodell vor, das mit multimodalen Fachdokumenten, Bild-Text-Daten und diversen wissenschaftlichen Korpora vortrainiert und anschließend mit überwachtem Feintuning, mehrstufigem Reinforcement Learning und agentenspezifischem Training weiter verfeinert wird. Das Kernmodell Intern-S2-Preview-397B erweitert dabei die Zeitreihen-Verarbeitung von reiner Langsequenz-Analyse hin zu numerischer Vorhersage, während ein separates Memory-Decoder-Modul als eigenständiger Erweiterungspfad für schnelle Fachspezialisierung dient, ohne das eingefrorene 397-Milliarden-Parameter-Basismodell zu verändern. In Tests über wissenschaftliche, multimodale und allgemeine Benchmarks erreiche das Modell den Autoren zufolge konkurrenzfähige bis führende Ergebnisse; die separate Memory-Erweiterung Intern-MemDec-4B verbessere den Biology-Instructions-Durchschnittswert von 56,92 auf 60,32 Punkte. Das zählt, weil es zeigt, wie sich Fachwissen nachträglich in ein großes Basismodell einspeisen lässt, ohne dessen aufwendiges Training zu wiederholen – ein praktikabler Weg für schnell wechselnde wissenschaftliche Spezialgebiete.
CABS+: Fünf Modelle verschmelzen, ohne sich gegenseitig zu schwächen
Yuchen Liu, Zongzhen Yang, Binhang Qi, Hailong Sun und Xiang Gao stellen mit CABS+ ein Verfahren vor, das mehrere feingetunte Modelle zu einem einzigen Mehrzweck-Modell verschmilzt, ohne dass sich deren Fähigkeiten gegenseitig stören. Kernidee ist eine konflikt-bewusste Sparsifizierung der Gewichtsänderungen kombiniert mit einer neuen Relative-Synergy-Score-Metrik, die abschätzt, wie gut sich zwei Modelle überhaupt vertragen, bevor sie zusammengeführt werden. In Tests über 27 Datensätze und fünf Modelle hinweg übertrifft CABS+ zwei Vergleichsverfahren den Autoren zufolge um 16,97 beziehungsweise 12,93 Prozent, bei gleichzeitig deutlich geringerem Rechenaufwand und kürzerer Laufzeit. Das zählt, weil Modell-Fusion verspricht, mehrere spezialisierte Modelle ohne erneutes, teures Training zu einem einzigen zu vereinen – frühere Verfahren büßten dafür aber oft Genauigkeit ein. Ein früherer Digest-Beitrag hatte bereits gezeigt, dass sich Sprachmodelle unterschiedlicher Größe zwar verschmelzen lassen, jedoch mit einem Wippe-Effekt zwischen den übernommenen Fähigkeiten – CABS+ zielt mit gezielterer Konfliktbehandlung genau auf dieses Kompromiss-Problem.
Alle vier Arbeiten sind nicht unabhängig begutachtete Preprints – die berichteten Zahlen stammen aus den Experimenten der jeweiligen Autorenteams und wurden bislang nicht extern repliziert. Das gilt besonders für Intern-S2-Preview, dessen Modellkarte ausdrücklich als Vorschau-Version gekennzeichnet ist und dessen vollständige technische Dokumentation noch aussteht, sowie für das Zertifizierungsverfahren aus Agent Behavioral Contracts II, das bislang nur an einem einzigen Zwei-Agenten-Szenario mit gleichem Basismodell geprüft wurde. Ob sich die Befunde an weiteren Modellen, Agenten-Architekturen und in unabhängigen Nachbauten bestätigen, muss sich erst noch zeigen.
