Die heutige Auswahl aus den arXiv-Neueinreichungen der vergangenen 24 bis 48 Stunden ist bewusst breit gestreut: Statt eines gemeinsamen Nenners stehen vier Arbeiten nebeneinander, die jeweils eine andere Schwachstelle heutiger KI-Systeme vermessen – räumliches Verständnis verkörperter Agenten, die Verteilung von Rechenbudget beim Schlussfolgern, die mehrsprachige Zuverlässigkeit von Agenten-Benchmarks und die Sicherheitskosten von Steuerungs-Vektoren. Kuratiert wurde nach Substanz und Streuung: Jedes Paper liefert eine nachvollziehbare Methode mit belastbaren Zahlen im Abstract, und keine zwei Arbeiten behandeln dasselbe Teilgebiet.
Raumverständnis: KI-Agenten weit hinter menschlichem Niveau
Ein Team um Gengyang Xu, Dongwei Xiao, Yiteng Peng und Shuai Wang stellt mit MetaSpace ein Testverfahren vor, das prüft, ob verkörperte KI-Agenten (Systeme, die über einen physischen oder simulierten Körper mit ihrer Umgebung interagieren) tatsächlich über ein robustes Verständnis von Raum verfügen, statt Aufgaben nur oberflächlich zu lösen. Angelehnt an das Prinzip des metamorphen Testens aus der Softwaretechnik generiert MetaSpace automatisch Testfälle aus realen Ausführungs-Trajektorien und kodiert physikalische sowie logische Regeln als ausführbare Prolog-Regeln; Verstöße gegen diese Regeln zeigen Fehler im Raumverständnis an. In drei verkörperten Szenarien entdeckt das Verfahren laut den Autoren 90.422 solcher Raumkognitions-Fehler bei aktuellen multimodalen Spitzenmodellen, die im neu eingeführten Spatial-Cognition-Score im Schnitt nur 0,44 bis 0,52 von 1,0 möglichen Punkten erreichen – gegenüber 0,96 beim menschlichen Vergleichswert. Das zählt, weil bisherige Bewertungen meist nur den Aufgabenerfolg messen und dadurch genau solche verdeckten Schwächen übersehen, die in der realen Welt zu Sicherheitsproblemen führen könnten.
Denkbudget: Reasoning-Modelle verteilen Rechenzeit nicht strategisch
Chenrui Fan, Yize Cheng, Ming Li, Yongyuan Liang, Tianyi Zhou und Soheil Feizi zeigen in Thinking Hard, Not Smart, dass Reasoning-Modelle (Sprachmodelle, die vor der eigentlichen Antwort einen längeren internen Denkprozess durchlaufen) mit einem gemeinsamen Rechenbudget über mehrere Aufgaben hinweg schlecht umgehen. Die Autoren konstruieren ein prüfungsartiges Bewertungsformat, bei dem ein Modell ein festes Token-Budget selbst auf mehrere unterschiedlich schwere und unterschiedlich stark gewichtete Fragen verteilen muss, um die Gesamtpunktzahl zu maximieren. Über mehrere offene und Spitzenmodelle hinweg verhielten sich die Modelle laut den Autoren wie gierige, sequenzielle Löser: Sie priorisierten Fragen nach ihrer Reihenfolge in der Präsentation, investierten überproportional viel Aufwand in frühe Fragen und blieben gegenüber Punktwert und Schwierigkeit weitgehend unempfindlich – ein Muster, das sich mit wachsender Fragenzahl noch verstärkte und sich von mathematischen auf Programmier-Aufgaben übertrug. Für den Praxiseinsatz zählt das, weil reale Anwendungen selten nur eine isolierte Anfrage stellen, sondern Modelle unter einem gemeinsamen Zeit- oder Kostenlimit mehrere Probleme gleichzeitig bearbeiten müssen.
Sprachlücke: Agenten-Fähigkeit bricht außerhalb des Englischen ein
Ein Team um Andrea Caciolai und Kolleginnen und Kollegen erweitert mit OmnilingualGAIA2 den bekannten Agenten-Benchmark GAIA2 maschinell übersetzt (mit teilweiser menschlicher Prüfung) auf zehn Zielsprachen aus fünf Schriftsystemen, ergänzt um einen lokalisierten, menschlich kalibrierten Prüfmechanismus. An sieben Spitzenmodellen und offenen Agenten gemessen, finden die Autoren eine durchgängige sprachübergreifende Lücke von 8,8 bis 18,4 Pass@3-Prozentpunkten, die je nach Agent unterschiedlich stark ausfällt, sich vor allem bei der Werkzeug-Orchestrierung statt beim quantitativen Schlussfolgern zeigt und sich auch mit wachsender Modellgröße nicht schließt. Eine Fehleranalyse führt die Lücke laut den Autoren zu 55 Prozent auf das Modell selbst zurück, während Übersetzungsartefakte nur bei rund 6,4 Prozent der Sprach-Szenario-Paare eine Rolle spielten; menschliche Sprachexpertinnen und -experten identifizieren verlorene morphologische Hinweise und verstärkte Mehrdeutigkeit als Hauptfehlerquellen in nicht-lateinischen Schriftsystemen. Das zählt, weil weltweit eingesetzte Agenten-Systeme bislang fast ausschließlich auf Englisch getestet werden, obwohl ihre Nutzerbasis global und mehrsprachig ist.
Sicherheit: Steuerungs-Vektoren lassen sich von ihren Nebenwirkungen trennen
Yuxiao Li und Gjergji Kasneci zeigen in Safety Cost of Steering Vectors Is Separable and Reducible, dass sogenannte Steering-Vektoren – ein leichtgewichtiges Werkzeug, das Modellverhalten durch gezielte Eingriffe in interne Aktivierungen steuert, ohne das Modell neu zu trainieren – unbeabsichtigt die eingebauten Sicherheitsmechanismen von Sprachmodellen schwächen und die Bereitschaft zu schädlichen Antworten erhöhen können. Die Autoren zeigen, dass diese Sicherheitsverschlechterung auf eine abtrennbare Komponente innerhalb des Steuerungs-Vektors zurückgehe, die kaum zum eigentlichen Steuerungsziel beitrage, und formulieren die Entfernung dieser Komponente als eingeschränktes Optimierungsproblem mit primal-dualen Updates. Über mehrere Modelle, Steuerungsverhalten und Angriffs-Sammlungen hinweg – einschließlich bislang ungesehener Angriffstypen – reduziere das Verfahren laut den Autoren die durch Steuerung verursachte Sicherheitsverschlechterung deutlich, bei minimalen Einbußen durch falsche Verweigerungen und ohne den eigentlichen Steuerungseffekt zu verlieren. Das zählt, weil Steering-Vektoren als günstige Alternative zu aufwendigem Nachtraining an Popularität gewinnen, ihre Sicherheitsrisiken bislang aber kaum systematisch adressiert wurden.
Alle vier Arbeiten sind nicht begutachtete Preprints – die berichteten Zahlen stammen jeweils aus den Experimenten der eigenen Autorenteams und wurden noch nicht unabhängig repliziert. Die Studie zum Denkbudget testet bislang nur auf mathematischen und Programmier-Aufgaben, und die Steering-Vektor-Korrektur wurde nur an den in der Arbeit selbst gewählten Angriffs-Sammlungen geprüft. Ob die Effekte an weiteren Modellen, Sprachen und in unabhängigen Nachbauten Bestand haben, muss sich erst noch zeigen.
