Forschung

Vier neue KI-Paper: Jailbreak, Agenten-Autonomie, Fußball

4 Min. Lesezeit
Vier abstrakte Forschungssymbole nebeneinander: ein aufbrechendes Schild vor einem Bildgenerator-Raster, ein Radar-Diagramm mit sieben leuchtenden Achsen, ein Fußballfeld überlagert von einem Vorhersage-Graphen und zwei neuronale Netzwerke unterschiedlicher Größe, die ineinander verschmelzen Generiertes Bild mit GPT Image 2
Vier abstrakte Forschungssymbole nebeneinander: ein aufbrechendes Schild vor einem Bildgenerator-Raster, ein Radar-Diagramm mit sieben leuchtenden Achsen, ein Fußballfeld überlagert von einem Vorhersage-Graphen und zwei neuronale Netzwerke unterschiedlicher Größe, die ineinander verschmelzen

TL;DR Too Long; Didn’t read

Vier neue arXiv-Preprints der letzten Tage zeigen, wie unterschiedlich weit Kontrolle über KI-Systeme heute reicht: Am deutlichsten fällt auf, dass ein Angriffs-Framework Bildgeneratoren mit bis zu 95,62 Prozent Erfolgsquote an Sicherheitsfiltern vorbeiführt. Eine zweite Arbeit schlägt erstmals eine Messskala für die Eigenständigkeit von KI-Agenten vor und findet nur ein System, dessen Aktivität auch ganz ohne äußere Anstöße weiterläuft. Zwei weitere Paper ordnen ein, wo KI-Systeme in der Praxis tatsächlich etwas taugen: Ein Fußball-Vorhersage-Test zeigt nur kleine Vorteile gegenüber Wettmärkten, während eine Merging-Studie zeigt, dass sich Sprachmodelle unterschiedlicher Größe zwar verschmelzen lassen, aber mit einem Wippe-Effekt zwischen Fähigkeiten.

Das Wichtigste in Kürze

  • Das Angriffs-Framework MIND umgeht Bildgenerator-Sicherheitsfilter mit bis zu 95,62 Prozent Erfolgsquote bei Stable Diffusion v1.5.
  • Die neue Autonomous Agency Scale findet nur ein System, dessen Aktivität auch ohne jeden äußeren Anstoß weiterläuft.
  • Ein Fußball-Vorhersage-Benchmark zeigt: KI-Agenten schlagen Wettmärkte kaum bei exakten Ergebnissen, aber bei Nah-Treffern.
  • Sprachmodelle unterschiedlicher Größe lassen sich ohne Training verschmelzen – mit einem Wippe-Effekt zwischen Fähigkeiten.

Die heutige Auswahl kuratiert vier arXiv-Preprints der letzten ein bis zwei Tage nach Substanz und thematischer Streuung: Alle vier liefern eine nachvollziehbare Methode und belastbare Zahlen im Abstract, decken aber unterschiedliche Bereiche ab – Sicherheit von Bildgeneratoren, die Messung von Agenten-Eigenständigkeit, die Praxistauglichkeit von Vorhersage-Agenten und das technische Verschmelzen von Sprachmodellen. Kriterium der Auswahl war, dass jedes Paper eine Kontrollfrage über heutige KI-Systeme empirisch beantwortet, statt nur eine neue Anwendung vorzuführen.

Bildgeneratoren: Jailbreak-Framework MIND umgeht Sicherheitsfilter fast vollständig

Dongdong Yang, Deyue Zhang, Zhao Liu und ein sechsköpfiges Team untersuchen in „Dynamic Defense Profiling Enables Cognitive Jailbreak of Text-to-Image Models”, wie robust die Sicherheitsfilter aktueller Bildgeneratoren gegen gezielte Angriffe wirklich sind. Ihr Framework MIND behandelt die Suche nach einem funktionierenden Angriffs-Prompt als Problem der Zustandsschätzung (ein Verfahren, das aus einzelnen Beobachtungen auf einen verborgenen inneren Zustand schließt) über die nicht direkt sichtbaren Verteidigungsmechanismen eines Modells: Ein „Multi-modal Judge” zerlegt die Modellantwort in feinkörniges Feedback statt eines reinen Erfolg-Misserfolg-Signals, ein „Defense Profiler” aktualisiert daraus laufend eine Vermutung über die aktive Filterstrategie, und ein „Meta-Memory”-Modul greift auf historisch wirksame Angriffsmuster zurück. Gegen Stable Diffusion v1.5 erreichte MIND unter sechs gängigen Verteidigungseinstellungen eine Erfolgsquote von 95,62 Prozent, bei vier getesteten kommerziellen Systemen lag die höchste Quote bei 91,58 Prozent gegen Wan-2.5. Das zählt, weil es zeigt, dass Sicherheitsfilter, die einzelne Anfragen isoliert bewerten, gegen ein lernendes, sich anpassendes Angriffsverfahren kaum Bestand haben – ein Muster, das sich in den letzten Digest-Ausgaben bereits bei Text-Modellen zeigte und sich hier auf Bildgeneratoren überträgt.

Wie eigenständig handeln KI-Agenten wirklich? Eine neue Messskala

Samuel Presgraves schlägt in „The Autonomous Agency Scale: A Behavioral Framework for Measuring Self-Directed Behavior in AI Systems” vor, ein bislang unscharfes Konzept messbar zu machen: Bisherige Rahmenwerke erfassen laut dem Autor kognitive Fähigkeit, Aufgaben-Automatisierung oder katastrophales Risiko, aber keine Eigenständigkeit im engeren Sinn. Die Autonomous Agency Scale (AAS) bewertet Systeme über sieben Dimensionen – von kognitiver Autonomie über zeitliche Beständigkeit bis zu Zielbildung – getrennt für aktive Nutzungsphasen und für Leerlaufphasen ohne Nutzerinteraktion. Kernstück ist der „Idle-Gap Test”: Dabei werden alle externen Auslöser entfernt, um zu prüfen, ob ein System auch dann noch aus sich selbst heraus aktiv bleibt. Bei sechs untersuchten Systemen erreichten Aufgaben-Agenten wie Claude Code, Manus und Hermes aktive Kompositwerte von 2,3 bis 2,4 und Leerlaufwerte von 0,6 bis 1,9 – deren Leerlaufaktivität ließ sich jedoch vollständig auf nutzerkonfigurierte Zeitpläne zurückführen. Einzig die Companion-Architektur Airi behielt laut Presgraves auch nach Entfernung aller Auslöser einen Teil ihrer Aktivität bei. Das ist relevant, weil es zwischen tatsächlicher Selbststeuerung und bloß gut getarnter Automatisierung unterscheidet – eine Unterscheidung, die für die Einschätzung von KI-Autonomie in der Praxis zunehmend Gewicht bekommt.

Fußball-Vorhersage als Praxistest für Deep-Research-Agenten

Zhaokai Wang, Tianlin Gui, Jiayuan Rao und Kollegen stellen mit „WorldCupArena: Fine-Grained Evaluation of Language Models and Deep-Research Agents on Football Forecasting” einen Praxistest vor, der Sprachmodelle und Recherche-Agenten vor dem Anpfiff eines Spiels statt im Nachhinein bewertet. Modelle erhalten wahlweise ein gemeinsames Informationspaket oder recherchieren selbst und sagen Ergebnis, exaktes Endergebnis, wahrscheinliche Spieler:innen sowie Spielstatistiken voraus; die Vorhersagen werden anschließend mit dem tatsächlichen Spielverlauf abgeglichen. Über 104 Spiele und 13 Systeme hinweg zeigte sich laut den Autoren, dass Modelle mit ähnlicher Trefferquote beim reinen Ergebnis sich bei Detailvorhersagen deutlich unterscheiden; verglichen mit Wettmarkt- und menschlichen Fan-Baselines erzielte das beste System nur kleine Gewinne bei Ergebnis- und Exakt-Score-Genauigkeit, aber einen klareren Vorsprung beim abgestuften „Scoreline”-Maß, das auch knapp verfehlte Ergebnisse teilweise belohnt. Das zählt, weil es eine ehrliche Einordnung liefert, wo Deep-Research-Agenten in einer praxisnahen, sich laufend erneuernden Aufgabe tatsächlich einen Vorteil bringen – und wo nicht.

Sprachmodelle unterschiedlicher Größe verschmelzen – mit Wippe-Effekt

Jiahe Fan, Yinghao Hou, Si Chen und Kollegen fragen in „Rethinking Heterogeneous LLM Merging: A Weighted Model Averaging Perspective”, ob sich Sprachmodelle mit deutlich unterschiedlichen Parameterräumen allein durch gewichtete Mittelwertbildung verschmelzen lassen – ohne weiteres Training oder semantischen Abgleich. Die Autoren testen an Modellpaaren der Qwen-Familie zwei Strategien: „Union-Merging” erweitert das kleinere Modell in den Parameterraum des größeren, „Intersection-Merging” kürzt das größere Modell auf den Raum des kleineren, jeweils gefolgt von trainingsfreier Dimensionsanpassung und kontrolliertem Interpolationsverhältnis. Kleine Interpolationsanteile verbesserten starke Ausgangsmodelle messbar, während annähernd ausgeglichene Mischverhältnisse laut den Autoren häufig kollabierten; über mehrere Fähigkeitsbereiche hinweg – von mathematischem Schließen bis Befolgen von Anweisungen – zeigte sich durchgängig ein Wippe-Effekt, bei dem Gewinne in einer Fähigkeit mit Rückgängen in einer anderen einhergingen. Das ist relevant, weil es zeigt, dass einfaches gewichtetes Mitteln entgegen mancher Erwartung eine überraschend starke Ausgangsbasis für heterogenes Modell-Merging bleibt, ohne den Wippe-Effekt jedoch aufzulösen.

Alle vier Arbeiten sind unbegutachtete arXiv-Preprints; ihre Zahlen stammen aus den Experimenten der jeweiligen Autorenteams selbst. Ob sich die Jailbreak-Erfolgsquoten von MIND gegen aktualisierte Sicherheitsfilter halten, ob die Autonomous Agency Scale auch bei zukünftigen Agentengenerationen trennscharf bleibt und ob sich der Wippe-Effekt beim Modell-Merging durch andere Interpolationsverfahren abschwächen lässt, müssen erst unabhängige Replikationen zeigen.

Häufige Fragen

Sind die vier Paper von Fachleuten begutachtet worden?

Nein, alle vier sind unbegutachtete arXiv-Preprints. Ihre Ergebnisse stammen aus eigenen Experimenten der jeweiligen Autorenteams und wurden noch nicht unabhängig repliziert.

Sind Code oder Daten der Studien öffentlich verfügbar?

Auf den arXiv-Abstract-Seiten selbst ist dazu nichts vermerkt. Ob Code-Repositories oder Datensätze in den Volltexten oder auf begleitenden Projektseiten existieren, lässt sich von dort nicht ableiten.

Ist das MIND-Jailbreak-Verfahren eine Anleitung zum Nachbauen?

Nein. Der Beitrag beschreibt die Methodik und die gemessenen Erfolgsquoten auf Abstract-Ebene, wie sie die Autoren berichten, liefert aber keine Schritt-für-Schritt-Anleitung. Ziel der Veröffentlichung ist laut den Autoren, Anbietern die Schwächen ihrer Sicherheitsfilter aufzuzeigen.

Wie unterscheidet sich die Autonomous Agency Scale von bekannten KI-Risiko-Messungen?

Bisherige Rahmenwerke messen laut den Autoren kognitive Fähigkeit, Aufgaben-Automatisierung oder katastrophales Risiko. Die neue Skala misst stattdessen sieben Dimensionen von Eigenständigkeit getrennt für aktive und inaktive Zeitfenster – mit einem eigenen Test, der externe Auslöser gezielt entfernt.


← Zurück zum Blog