Die Redaktion wählt vier Paper aus den arXiv-Neueinreichungen der vergangenen 24 bis 48 Stunden, die zeigen, wie brüchig die Grundlagen aktueller KI-Systeme in Messung, Werkzeugnutzung, Sicherheit und gesellschaftlicher Wirkung noch sind – von blinden Flecken in Sicherheitsbenchmarks über einen Vergleich von Werkzeugaufruf-Strategien bis zu hardwaregestütztem Schlüsselschutz für Agenten und einem Feldexperiment gegen Verschwörungsglauben. Kuratiert wurde nach Substanz: Jedes Paper liefert eine nachvollziehbare Methode und ein konkretes Zahlenergebnis im Abstract, keine bloße Themenüberschrift. Die Auswahl deckt bewusst vier unterschiedliche Teilgebiete ab – Evaluationsmethodik, Agenten-Werkzeugnutzung, Infrastruktursicherheit und Mensch-KI-Interaktion.
KI-Sicherheitsbenchmarks messen weniger, als sie vorgeben
Ein Team um Ro Encarnación und Kolleginnen und Kollegen prüft in What Current AI Benchmarks Leave Unmeasured: Modality, Search, Citations, and Implications (for Safety Evaluations), wie stark gängige Sicherheits- und Fairness-Benchmarks von Annahmen abhängen, die im echten Einsatz oft nicht zutreffen. Für ein weitverbreitetes Sprachmodell vergleichen die Autoren die Chat-Oberfläche mit dem API-Zugang, jeweils mit und ohne aktivierte Websuche, anhand von 401 Prompts aus den Benchmarks BBQ und SafetyBench und insgesamt 4.812 gesammelten Antworten über drei Wiederholungen je Prompt. Die Chat-Oberfläche schneide bei deaktivierter Suche auf beiden Benchmarks schlechter ab als der API-Zugang; aktivierte Websuche senke die Genauigkeit um bis zu 8 Prozentpunkte und kehre die Rangfolge zwischen den Zugriffsarten bei einem der Benchmarks sogar um. Wiederholte Anfragen mit identischem Prompt lieferten laut den Autoren in bis zu 21 Prozent der Fälle unterschiedliche Antworten, zudem unterschieden sich die herangezogenen Zitate und das Verweigerungsverhalten zwischen den Zugriffsarten deutlich. Das zählt, weil Sicherheitsfreigaben und Modellvergleiche meist auf genau den einfachen Einzel-Durchlauf-Kennzahlen beruhen, die diese Studie als unvollständig entlarvt – ein Anschluss an die zuvor besprochene Beobachtung, dass gängige Agenten-Sicherheitsbenchmarks eine simple „immer sicher”-Basislinie kaum schlagen, hier jedoch auf Ebene der Zugriffsbedingungen statt der Testfälle selbst.
KI-Gespräche dämpfen Verschwörungsglauben in Echtzeit
Ein Team um Thomas H. Costello, Gordon Pennycook und David Rand testet in Reducing belief in conspiracy theories as they unfold using large language models, ob mehrstufige Dialoge mit einem Sprachmodell den Glauben an sich gerade erst entwickelnde Verschwörungstheorien senken können. In zwei Feldexperimenten in den Tagen nach dem Attentatsversuch auf Donald Trump im Juli 2024 (472 Teilnehmende) und der Tötung von Charlie Kirk im September 2025 (1.035 Teilnehmende) führten US-Erwachsene mit entsprechenden Verschwörungsüberzeugungen ein mehrstufiges Gespräch mit einem eigens instruierten Sprachmodell. Verglichen mit Kontrollgruppen, die stattdessen ein irrelevantes Thema besprachen oder ein statisches Faktenblatt lasen, habe die KI-Gesprächsgruppe in beiden Experimenten laut den Autoren signifikant geringeren Verschwörungsglauben gezeigt; der Effekt sei zudem ein bis zwei Monate später bei nachfolgenden, unabhängigen Krisenereignissen noch als geringerer Verschwörungsglaube nachweisbar gewesen. Das zählt, weil es zeigt, dass ein skalierbares KI-Werkzeug ausgerechnet in den ersten, meinungsprägenden Stunden nach einem Krisenereignis wirken könnte, wenn menschliche Aufklärung kaum hinterherkommt.
Werkzeugaufrufe per Code statt JSON: „the bitter lesson”
Ein Team um Ishan Patel und Kolleginnen und Kollegen vergleicht in The Bitter Lesson of Tool Calling systematisch programmatisches Tool-Calling (PTC) mit dem etablierten JSON-basierten Werkzeugaufruf über 14 Sprachmodelle hinweg auf dem Benchmark BFCL v4. Bei PTC erhält ein Modell Werkzeuge als typisierte Python-Funktionsrümpfe und ruft sie über selbst geschriebenen Code auf, der mehrere Aufrufe verketten und parallelisieren kann, statt starre JSON-Strukturen auszufüllen. PTC erreiche oder übertreffe laut den Autoren die JSON-Basislinie bei 11 von 14 Modellen, mit einer Verbesserung von 10,6 Prozent für die GPT-5.6-Modellfamilie; bei parallelen Aufgabenbündeln liege PTC bei 13 von 14 Modellen mindestens gleichauf, und unter „Context Rot” (Leistungsverlust durch zunehmend unübersichtlichen Gesprächskontext) bleibe PTC stabil, während die JSON-Basislinie im Schnitt um 2,3 Prozent einbreche. Das zählt, weil es eine seit Längerem diskutierte Umstellung praktischer Agenten-Architekturen mit einer breiten Modellvergleichsstudie untermauert – ein Anschluss an die zuvor besprochene Lokalisierung typischer Werkzeug-Fehler auf einzelne Neuronen, hier jedoch mit einem strukturellen statt gezielt trainierten Fix für einen Teil dieser Fehlerquelle.
Hardware-Schlüsseltresore schützen Signierschlüssel von KI-Agenten
Ein Team um Leo Sambrook und Sampo Sovio stellt in Hardware Keystores for AI Agent Signing Workflows: A Zero-Trust MCP Enforcement Architecture eine Architektur vor, die private Schlüssel von KI-Agenten aus dem Software-Zugriff heraushält. Bislang liegen solche Schlüssel für Aufgaben wie das Signieren von Git-Commits oder das Authentifizieren von API-Aufrufen häufig als Klartext-Dateien, Umgebungsvariablen oder Container-Arbeitsspeicher vor – ein Vorfall in der Praxis zeigte laut den Autoren, wie sich Schlüssel binnen weniger als fünf Minuten per E-Mail-Injection abgreifen ließen. Die vorgestellte Architektur führt kryptografische Operationen stattdessen in einem Hardware-Schlüsseltresor (etwa einem HSM, TPM oder einer Smartcard) über eine herstellerneutrale PKCS#11-Schnittstelle aus, sodass der Host-Rechner nur das Ergebnis über einen undurchsichtigen Verweis erhält, umgeben von einer fünfschichtigen Zero-Trust-Kontrollkette. Getestet an zwölf Angriffsszenarien und vier Sprachmodellen senke die Architektur laut den Autoren die Erfolgsquote von Prompt-Injection-Angriffen auf die Schlüssel von 19,3 auf 0 Prozent, bei einer oberen 95-Prozent-Konfidenzgrenze von 2,0 Prozent und ohne Fehlalarme in vier gutartigen Testaufgaben. Das zählt, weil es zeigt, dass sich ein zunehmend produktionsrelevantes Risiko – KI-Agenten mit eigenen kryptografischen Berechtigungen – mit etablierter Hardware-Sicherheitstechnik entschärfen lässt, ähnlich wie zuvor bereits eine ungeschützte Steuerungsschnittstelle bei einer Multi-Agenten-Plattform Zugangsschlüssel für Sprachmodelle offenlegte.
Einordnung zum Schluss: Alle vier Arbeiten sind bislang unbegutachtete Preprints, ihre Zahlen stammen aus den eigenen Experimenten der jeweiligen Autorenteams. Die Benchmark-Studie deckt nur ein einzelnes Modell und zwei Benchmarks ab, die Verschwörungsglauben-Studie beruht auf zwei spezifischen US-Krisenereignissen und lässt offen, ob sich der Effekt auf andere Kulturen und Themen überträgt, der Tool-Calling-Vergleich stützt sich auf einen einzelnen Benchmark, und die Hardware-Schlüsseltresor-Architektur wurde bislang an vier Modellen und zwölf Angriffsszenarien getestet. Ob sich die berichteten Effekte an weiteren Modellen, Aufgaben und in unabhängigen Nachbauten bestätigen, muss sich erst noch zeigen.
