Aus den arXiv-Neueinreichungen der vergangenen 24 bis 48 Stunden in cs.AI und cs.CL wählt dieser Digest fünf Preprints aus, die zeigen, wie unterschiedlich weit Effizienz, Autonomie und Verlässlichkeit heutiger KI-Systeme reichen: ein neues Riesenmodell mit drastisch komprimiertem Speicherbedarf, ein autonomes Forschungssystem, das eigenständig Fachartikel erzeugt, schlanke interne Sicherheits-Sonden, eine Architektur für wochenlang durchgehend arbeitende Agenten und ein Trainingsbefund zum Wissenstransfer zwischen Sprachen. Kuratiert wurde nach nachvollziehbarer Methodik im Abstract, konkreten Kernergebnissen und thematischer Streuung statt fünffacher Wiederholung desselben Teilgebiets.
Modelle und Autonomie
DeepSeek komprimiert den Speicherbedarf eines 552-Milliarden-Parameter-Modells drastisch
Ein großes Autorenteam von DeepSeek-AI stellt mit DeepSeek-V4.1-Flash ein multimodales Mixture-of-Experts-Modell (MoE, ein Modell, das pro Anfrage nur einen Teil seiner Parameter aktiviert) mit 552 Milliarden Backbone-Parametern und Kontexten von bis zu einer Million Token vor. Über eine Causal-Encoder-Decoder-Architektur aktiviere das Modell laut den Autoren nur 16 Milliarden Parameter je Token bei der Textgenerierung und sogar nur 8 Milliarden bei der Eingabeverarbeitung; kombiniert mit schichtübergreifender Wiederverwendung des Zwischenspeichers (KV-Cache) und einer 4-Bit-Quantisierung sinke der ständig im Arbeitsspeicher der Grafikkarte gehaltene Speicherbedarf auf 890 Byte pro Token – etwa ein Viertel des Vorgängermodells DeepSeek-V4-Flash, das im Juli mit einem Effizienz-Update aufgefallen war. Eine zusätzliche Optimierung namens SWA Bounded Replay senke zudem den dauerhaft auf SSD oder im Hauptspeicher liegenden Speicherbedarf auf rund ein Achtel des Vorgängerwerts, bei laut den Autoren deutlich besserer Leistung trotz des kleineren Speicherbedarfs. Das zählt, weil lange Kontexte und große KV-Caches bei agentischen Arbeitslasten zu den größten Kostenblöcken beim Betrieb von Sprachmodellen zählen.
Ein autonomes Multi-Agenten-System erzeugt eigenständig Fachartikel
Jaehyun Nam, Tomas Pfister und fünf weitere Autoren von Google stellen mit ScientistTwo ein vollständig autonomes Multi-Agenten-Framework vor, das von einer vorgegebenen Fragestellung ausgehend selbstständig aktuelle Vergleichsmethoden ermittelt, Hypothesen formuliert, Experimente über verschiedene Datensätze durchführt, Ablationsstudien vornimmt und Ergebnisse über eine simulierte Peer-Review-Rebuttal-Schleife prüft – ganz ohne menschliches Eingreifen während des Zyklus. Getestet an Aufgabenstellungen aus bei ICLR, ICML und NeurIPS angenommenen Fachartikeln erzeuge das System laut den Autoren eigenständig auf Expertenniveau publizierbare Paper samt vollständig lauffähigem Code, deren Lösungen im Schnitt bestehende Fachmethoden übertreffen und die unter automatisierten KI-Begutachtungsagenten im Schnitt bessere Bewertungen erhielten als die menschlich verfassten Originalarbeiten. Das zählt, weil eine frühere, deutlich bescheidenere Untersuchung von KI-Forschungsagenten noch zeigte, dass Spitzenmodelle zwar die Technik unveröffentlichter Forschungsfragen meistern, am eigentlichen wissenschaftlichen Fortschritt aber scheitern – wie belastbar sich dieser Sprung bei ScientistTwo außerhalb des Vergleichs mit bereits veröffentlichten, also dem Modell teils bekannten Arbeiten hält, bleibt eine offene Frage.
Sicherheit und Architektur
Schlanke interne Sonden erkennen schädliche Prompts so gut wie riesige Wächter-Modelle
Alizishaan Khatri, Chiquita Prabhu und Omkar Neogi zeigen in ihrer Arbeit, dass sich schädliche Eingaben oft schon aus den internen Aktivierungen eines Sprachmodells ablesen lassen, statt sie nachträglich über separate, rechenintensive Wächter-Modelle zu prüfen. Die Autoren extrahieren Aktivierungen aus LLaMA-3.1-8B und trainieren darauf schlanke MLP-Klassifikator-Sonden mit nur 12,6 Millionen Parametern; auf den drei Testsammlungen WildJailbreak, BeaverTails und AEGIS 2.0 erreichten diese Sonden laut den Autoren F1-Werte von 99, 83 und 84 Prozent – konkurrenzfähig mit rund 1000-mal größeren externen Guard-Modellen, bei deutlich geringerer Latenz und geringerem Rechenaufwand. Das zählt, weil externe Sicherheits-Schichten in zeitkritischen oder ressourcenbeschränkten Einsätzen oft zu langsam oder zu teuer sind – ein Ansatz, der sich mit Anthropics J-Lens-Forschung zu sichtbar gemachten internen Gedankenprozessen von Claude trifft, wo ebenfalls interne Modellzustände statt nachträglicher Ausgabe-Prüfung im Mittelpunkt stehen.
Eine Architektur für KI-Agenten, die wochenlang durchgehend arbeiten
Erik Nijkamp, Anurag Koul, Egor Pakhomov und Bo Pang schlagen mit ihrer Architektur einen strukturellen Ansatz vor, damit Sprachmodell-Agenten Aufgaben über Tage oder Wochen hinweg durchhalten, ohne bei jedem Kontext-Reset ihren Fortschritt zu verlieren. Die vorgeschlagene Struktur besteht aus drei Teilen: nach Zeitskala gestaffelte Ebenen, die jeweils eine begrenzte Zusammenfassung der darunterliegenden Ebene pflegen, ein getakteter „Tick” als Einheit autonomen Handelns, und eine kaskadierte Intelligenz, bei der Arbeit erst nach einer gescheiterten Prüfung an ein leistungsfähigeres Modell eskaliert wird. In einer zehntägigen Testkampagne reproduzierte ein so aufgebauter Agent laut den Autoren ein veröffentlichtes Reinforcement-Learning-Ergebnis, während ein Mensch nur einmal täglich nach dem Ergebnis sah; früh niedergeschriebenes Arbeitswissen habe dabei späteres Verhalten beeinflusst, ganz ohne Änderungen an den Modellgewichten. Das zählt, weil kontinuierliches Lernen von Agenten laut den Autoren ein Substrat braucht, das jeden einzelnen Kontext und Prozess überdauert – ein Bedarf, der sich bereits in einem früheren Digest-Beitrag zu einem proaktiven Memory-Agenten für Langzeit-Agenten angedeutet hatte.
Warum Sprachmodelle beim Pretraining kaum Wissen zwischen Sprachen teilen
Adam Gaber, Uriel Dolev und vier weitere Autoren gehen in ihrer Studie der Frage nach, warum heutige Sprachmodelle Wissen zwischen Sprachen deutlich schlechter übertragen als mehrsprachige Menschen. In kontrollierten zweisprachigen Experimenten mit identischem Inhalt in getrennten Token-Räumen zeigten die Autoren, dass bereits getrennte Token-Vokabulare allein ausreichen, um Wissen zwischen Sprachen abzukapseln – unabhängig von inhaltlichen Unterschieden. Bildeten die Autoren Sprachen stattdessen über eine wortweise Übersetzungszuordnung auf einen gemeinsamen Token-Raum ab, verbesserte sich die Lerneffizienz in der jeweiligen Zielsprache um bis zu 12,6 Prozentpunkte – nach Angaben der Autoren rund 14-mal so viel wie mit der bisherigen Basismethode. Das zählt, weil Trainingskosten für gute Sprachabdeckung bislang meist durch schiere Datenmenge statt durch Architekturentscheidungen adressiert werden – ein verwandtes Sprachungleichgewicht im Training hatte bereits ein früherer Digest-Beitrag zu Sprachbias bei RL-Training aufgezeigt, dort mit Blick auf ungleiche Bestrafung statt auf reine Wissensteilung.
Alle fünf Arbeiten sind unbegutachtete Preprints, veröffentlicht in den vergangenen ein bis zwei Tagen; die referierten Zahlen stammen aus den Abstracts und Angaben der jeweiligen Autorenteams und sind bislang nicht durch unabhängige Begutachtung oder Replikation bestätigt. Ob sich DeepSeeks Effizienzgewinne in unabhängigen Benchmarks bestätigen, wie belastbar ScientistTwos Ergebnisse außerhalb des Vergleichs mit bereits bekannten Fachartikeln sind und ob sich die schlanken Sicherheits-Sonden auch gegen neuartige, noch unbekannte Angriffsmuster behaupten, werden erst unabhängige Nachbauten und Peer-Review zeigen.
