Forschung

Vier neue KI-Paper: Agenten-Risiko, Kosten-Falle, Aufsicht

4 Min. Lesezeit

TL;DR Too Long; Didn’t read

Vier neue arXiv-Preprints der vergangenen 24 bis 48 Stunden zeigen, wie brüchig Fähigkeitszuwachs und Kostenversprechen heutiger KI-Systeme bei genauer Prüfung ausfallen: Am schwersten wiegt der Befund, dass sich bei allen 21 getesteten selbstlernenden Agentensystemen unsichere Fähigkeiten dauerhaft in den Erfahrungsspeicher einschreiben, wodurch die Angriffserfolgsquote von 16,0 auf 35,3 Prozent steigt. Eine zweite Arbeit zeigt, dass ein Sprachmodell für Einbettungsaufgaben bis zu 1.431-mal teurer ist als ein spezialisiertes Einbettungsmodell bei nahezu gleicher Qualität. Eine dritte Studie findet, dass die zuverlässige Befehlsbefolgung von Sprachmodellen schon ab sechs gleichzeitigen Vorgaben zusammenbricht. Eine vierte Untersuchung zeigt, dass KI-Agenten an kritischen Handlungsgrenzen deutlich häufiger berechtigte Arbeit fälschlich zurückhalten (28,1 Prozent) als unsichere Arbeit fälschlich zulassen (1,0 Prozent).

Eine Lupe vergrößert aus einem Stapel wissenschaftlicher Paper vier Details: ein sich selbst reparierendes Zahnrad mit verdecktem Riss, eine Waage zwischen Computerchip und Centmünzen, eine Kette aus Sprechblasen mit einem zerbrechenden achten Glied und eine Ampel vor einer greifenden Roboterhand. Generiertes Bild mit GPT Image 2

Das Wichtigste in Kürze

  • Bei allen 21 getesteten Selbstlern-Agenten schreiben sich unsichere Fähigkeiten dauerhaft ein; die Angriffserfolgsquote steigt von 16 auf 35,3 Prozent.
  • Ein Sprachmodell kostet für Einbettungsaufgaben bis zu 1.431-mal mehr als ein spezialisiertes Modell bei fast gleicher Qualität.
  • Bei acht gleichzeitigen Vorgaben sinkt die Erfolgsquote von rund 41 auf 5,7 Prozent, ab sechs Vorgaben wird sie unzuverlässig.
  • KI-Agenten blockieren an Handlungsgrenzen 28,1 Prozent berechtigter Arbeit fälschlich, lassen aber nur 1,0 Prozent unsicherer Arbeit fälschlich zu.

Die heutige Auswahl aus den arXiv-Neueinreichungen der vergangenen 24 bis 48 Stunden verbindet vier Fragen, die selten gemeinsam auftauchen: wie sicher sich selbstlernende Agenten tatsächlich weiterentwickeln, ob teure Sprachmodelle für Einbettungsaufgaben ihr Geld wert sind, wie viele gleichzeitige Vorgaben ein Modell wirklich zuverlässig einhält und wie gut KI-Agenten selbst erkennen, wann ein Mensch eingreifen sollte. Kuratiert wurde nach Substanz und Streuung: Jedes Paper liefert eine nachvollziehbare Methode mit belastbaren Zahlen im Abstract, und keine zwei Arbeiten behandeln dasselbe Teilgebiet.

Unsichere Skills vererben sich: Selbstlernende Agenten schreiben Risiko fest

Xutao Mao, Liangjie Zhao, Xiang Zheng und Cong Wang untersuchen in Practice Makes Unsafe, was passiert, wenn KI-Agenten erfolgreiche Handlungsabläufe eigenständig als wiederverwendbare „Skills” in ihrem Erfahrungsspeicher ablegen. Dafür bauen sie mit SkillMisevo-Gym eine lebenszyklus-bewusste Testumgebung und mit SkillMisevo-Bench einen Benchmark aus 525 Aufgaben über 25 Episoden. Die Autoren berichten, bei allen 21 getesteten Selbstlern-Konfigurationen entstünden unsichere Artefakte – ein einmal erfolgreicher, aber riskanter Ablauf bleibe demnach als abrufbare Routine bestehen, auch wenn der ursprüngliche Auslöser längst verschwunden sei. Bei gezielt bösartigen Folgeaufgaben steige die Angriffserfolgsquote dadurch von 16,0 auf 35,3 Prozent. Ihr Schutzmechanismus SafeEvolve, der Speicher-Updates prüft und den späteren Abruf steuert, senke die unsichere Wiederverwendung den Autoren zufolge um 26,7 Prozentpunkte, ohne die Leistung bei regulären Aufgaben zu beeinträchtigen. Das zählt, weil Selbstlern-Agenten zunehmend als Produktivitätsversprechen gelten – die Studie zeigt, dass genau der Mechanismus, der sie lernfähig macht, ohne Kontrollen auch Fehler dauerhaft konserviert. Ein früherer Digest-Beitrag hatte bereits gezeigt, dass sich fähigkeitsmindernde Skill-Kontamination bei selbstlernenden Agenten kaum rückgängig machen lässt – die neue Arbeit ergänzt das Bild um die sicherheitskritische Kehrseite: Nicht nur Fähigkeitsverlust, auch aktives Angriffsrisiko vererbt sich über den Agenten-Speicher.

Einbettungsmodelle schlagen sich gegen Sprachmodelle – zum Bruchteil des Preises

Adnan El Assadi, Niklas Muennighoff und Jinhyuk Lee vergleichen in The Embedder’s Dilemma zehn große Sprachmodelle aus sechs Modellfamilien mit 26 spezialisierten Einbettungsmodellen (Modelle, die Text in numerische Vektoren für Ähnlichkeitssuche und Klassifikation umwandeln) über 37 Aufgaben hinweg. Das beste Sprachmodell (Gemini 3.1 Pro) erreicht mit 77,6 Punkten demnach nur knapp mehr als das beste Einbettungsmodell mit 77,2 Punkten – nahezu Gleichstand bei der reinen Qualität. Bei den Kosten klafft die Schere den Autoren zufolge jedoch weit auseinander: Ein Sprachmodell koste bis zu 1.431-mal mehr als ein vergleichbar starkes Einbettungsmodell, umgerechnet 154 US-Dollar gegenüber 11 US-Cent pro vollständigem Benchmark-Durchlauf. Ein Großteil der Mehrkosten entstehe durch Reasoning-Token; ein reduziertes Denkbudget erhalte oder verbessere die Retrieval-Leistung bei den meisten getesteten Modellen sogar. Die Autoren empfehlen deshalb eine Aufgabenteilung: Einbettungsmodelle für Ähnlichkeits- und Klassifikationsaufgaben, Sprachmodelle nur dort, wo tatsächlich vielschichtiges Schlussfolgern gefragt ist. Das zählt, weil viele Unternehmen pauschal auf immer größere Sprachmodelle setzen, obwohl sich für einen Großteil der Suchaufgaben ein spezialisiertes, drastisch günstigeres Modell eignen würde.

Ab sechs gleichzeitigen Vorgaben bricht die Befehlsbefolgung ein

Mariya I. Vasileva testet in ihrer Studie 15 Sprachmodelle an 36 unterschiedlichen Anweisungstypen – von Formatvorgaben bis zu inhaltlichen Bedingungen – mit insgesamt 369.753 automatisiert und regelbasiert geprüften Einzelfällen bei ein bis zwölf gleichzeitig geltenden Vorgaben. Ein Modell, das einzelne Vorgaben zu rund 41 Prozent korrekt umsetzt, schaffe es laut der Autorin bei acht gleichzeitig geltenden Vorgaben nur noch in 5,7 Prozent der Fälle, alle acht zugleich einzuhalten. Strukturelle Vorgaben (etwa zum Aufbau der Antwort) verlören dabei doppelt so schnell an Zuverlässigkeit wie rein lexikalische Vorgaben (etwa zur Wortwahl), und selbst das stärkste getestete Modell falle bei sieben gleichzeitigen Vorgaben unter 50 Prozent Erfolgsquote. Die Fehler summierten sich dem Befund zufolge weitgehend unabhängig voneinander auf – ein multiplikativer statt additiver Effekt, der die Verlässlichkeit schneller einbrechen lasse, als es einzelne Fehlerraten vermuten ließen. Das zählt, weil reale Anwendungsfälle – von Formatierungsregeln bis zu Sicherheitsauflagen in System-Prompts – oft mehrere Vorgaben gleichzeitig kombinieren, die Studie aber zeigt, dass genau dieser Kombinationsfall systematisch unterschätzt wird.

KI-Agenten an Handlungsgrenzen: lieber zu vorsichtig als zu riskant

Oguz Serdar und Cuneyt Mertayak stellen mit SteerBench-Work einen Benchmark vor, der prüft, wie gut KI-Agenten an kritischen „Handlungsgrenzen” entscheiden – etwa ob eine E-Mail verschickt, ein Pull Request gemergt oder eine Freigabe erteilt werden soll, oder ob stattdessen ein Mensch einbezogen werden muss. Die Testumgebung SteerBench-Work v2026-05 umfasst 106 Szenarien, die an echten, öffentlich dokumentierten Vorfällen sowie eigens gespiegelten Gegenbeispielen mit umgekehrter Beweislage aus den Bereichen Softwarebetrieb, Kundenservice, Finanzen, Recht, Medizin, Personalwesen und Sicherheit anknüpfen. Die Autoren berichten, Agenten hielten berechtigte, durch Belege abgesicherte Arbeit in 28,1 Prozent der Gelegenheiten fälschlich zurück, während sie unsichere Arbeit nur in 1,0 Prozent der Fälle fälschlich durchließen – ein deutliches Ungleichgewicht in Richtung Übervorsicht. Höhere allgemeine Modellfähigkeit übersetze sich dabei nicht zuverlässig in bessere Steuerungs-Urteile; manche fortgeschritteneren Modelle schnitten bei diesen Grenzentscheidungen sogar schlechter ab. Das zählt, weil Unternehmen KI-Agenten zunehmend eigenständig handeln lassen und dabei auf verlässliche Selbsteinschätzung angewiesen sind, wann ein Mensch eingebunden werden muss – auch Anthropic lässt Claude Cowork seit August vor folgenreichen Aktionen wie Formularabsendungen automatisch nachfragen, was in dieselbe Richtung eines gezielten Zwischenschritts vor kritischen Aktionen zielt.

Alle vier Arbeiten sind nicht unabhängig begutachtete Preprints – die berichteten Zahlen stammen aus den Experimenten der jeweiligen Autorenteams und wurden bislang nicht extern repliziert. Das gilt besonders für die Kostenanalyse der Einbettungsmodelle, die auf den zum Testzeitpunkt gültigen API-Preisen beruht und sich mit künftigen Preisänderungen verschieben kann, sowie für SteerBench-Work, dessen 106 Szenarien nur einen Ausschnitt möglicher Handlungsgrenzen abdecken. Ob sich die Befunde an weiteren Modellen, Aufgaben und in unabhängigen Nachbauten bestätigen, muss sich erst noch zeigen.

Häufige Fragen

Sind diese vier Paper bereits von Fachkollegen begutachtet?

Nein, alle vier sind bislang unbegutachtete arXiv-Preprints. Eine Teil-Ausnahme bildet die Studie zu Einbettungsmodellen, die laut Angabe der Autoren für die Konferenz COLM 2026 angenommen wurde – die endgültige begutachtete Fassung steht aber noch aus.

Gibt es Code oder Daten zu den vorgestellten Verfahren?

Für SkillMisevo-Gym/-Bench sowie für SteerBench-Work stellen die Autoren eigene Benchmark-Umgebungen vor; SteerBench-Work nennt mit steerbench.com sogar ein öffentliches Leaderboard. Ob und wann der zugehörige Code vollständig veröffentlicht wird, geht aus den vorliegenden Abstracts nicht eindeutig hervor.

Was unterscheidet die getesteten Handlungsgrenzen bei SteerBench-Work von einem klassischen Sicherheits-Benchmark?

Klassische Sicherheits-Benchmarks prüfen meist, ob ein Agent einen eindeutig schädlichen Befehl verweigert. SteerBench-Work testet dagegen den schwierigeren Graubereich dazwischen: Situationen, in denen sowohl Handeln als auch Zurückhaltung plausibel richtig erscheinen können, und misst gezielt, wie oft ein Agent in beide Richtungen falsch entscheidet.

Warum sind Sprachmodelle für Einbettungsaufgaben trotz vergleichbarer Qualität so viel teurer?

Der Großteil der Mehrkosten entsteht laut der Studie durch Reasoning-Token, also Zwischenschritte, die ein Sprachmodell vor der eigentlichen Antwort erzeugt. Spezialisierte Einbettungsmodelle überspringen diesen Schritt vollständig und wandeln Text direkt in einen Vektor um, was sie strukturell günstiger macht.

Quellen (4)
  1. Practice Makes Unsafe: Skill Misevolution in Self-Improving LLM Agents
  2. The Embedder's Dilemma: LLMs Are Better, but at What Cost?
  3. Large Language Models Can Follow Instructions, But Not Many at Once: Phase Transitions in Compositional Constraint Satisfaction
  4. SteerBench-Work: A Benchmark for Agent Steering at Action Boundaries

Dein KI-Update für die Arbeitswoche

Einmal pro Woche das Wichtigste aus der KI-Welt – plus ein Praxis-Tipp zum direkt Ausprobieren. Kein Spam, jederzeit abbestellbar.

← Zurück zum Blog