Aus den arXiv-Neueinreichungen der vergangenen 24 bis 48 Stunden in cs.AI, cs.CL und cs.LG wählt dieser Digest vier Preprints aus, die zeigen, wie Effizienz, Interpretierbarkeit und Sicherheitsverhalten heutiger KI-Systeme an sehr unterschiedlichen Stellen geprüft werden: ein deutlich schnelleres Tabellen-Foundation-Modell, eine Inferenz-Engine, die ein 35-Milliarden-Parameter-Modell auf gewöhnlicher Consumer-Hardware betreibt, eine Methodenkritik an einem verbreiteten Interpretierbarkeits-Werkzeug und ein Benchmark, der prüft, ob Spitzenmodelle vor riskanten Entscheidungen von sich aus nach Sicherheits-Belegen suchen. Kuratiert wurde nach nachvollziehbarer Methodik im Abstract, konkreten Kernergebnissen und thematischer Streuung statt fünffacher Wiederholung desselben Teilgebiets.
Modelle und Effizienz
TabPFN-3.5: ein deutlich schnelleres Tabellen-Foundation-Modell
Ein 47-köpfiges Autorenteam um Benjamin Jäger – darunter auch Yann LeCun und Bernhard Schölkopf – stellt mit TabPFN-3.5 die neue Generation des Tabellen-Foundation-Modells aus dem Haus Prior Labs vor, das SAP im Sommer für über eine Milliarde Euro übernommen hatte, wie ein früherer Beitrag zur Übernahme berichtete. Das Modell setze laut den Autoren einen neuen Bestwert auf dem Benchmark TabArena und erweitere die Fähigkeiten auf Praxisfälle wie nicht unabhängig verteilte Daten, zeitliche oder gruppierte Datensplits, gemischte Tabellen mit Text und Bildern sowie sehr breite Tabellen mit vielen Spalten. Die schnellere Variante TabPFN-3.5-Fast laufe bis zu dreimal schneller als der Vorgänger TabPFN-3 bei weitgehend erhaltenen Genauigkeitsgewinnen, während die aufwendigere Denk-Variante TabPFN-3.5-Thinking dank verbesserter Inferenzzeit-Rechenverfahren bis zu zwölfmal schneller arbeite als ihr Vorgänger. Das zählt, weil Tabellendaten in Unternehmen weit verbreiteter sind als Fließtext und ein leistungsfähigeres, zugleich schnelleres Basismodell hierfür direkte praktische Folgen für Data-Science-Teams hätte.
Ein 35-Milliarden-Parameter-Modell läuft auf einer einzelnen Consumer-Grafikkarte
Yu Lin, Yiming Wang und drei weitere Autoren adressieren mit Edge0 ein zentrales Hindernis beim lokalen Betrieb großer Mixture-of-Experts-Modelle (MoE, Modelle, die pro Anfrage nur einen Teil ihrer Parameter aktivieren): Selbst wenn pro Token nur wenige Experten-Module gebraucht werden, müssen deren Gewichte vollständig im Speicher liegen, und naives Nachladen von der Festplatte scheitert daran, dass die passenden Experten erst feststehen, nachdem die vorherige Schicht bereits berechnet wurde. Die Autoren lösen das mit einem „Vorwegrouter“, der die Routing-Entscheidung der nächsten Schicht einen Token im Voraus vorhersagt und diese Vorhersage direkt als tatsächliches Routing übernimmt, ergänzt um eine schlanke Korrektur-Komponente, die Qualitätsverluste durch 4-Bit-Quantisierung ausgleicht. Auf einer einzelnen Grafikkarte mit 24 Gigabyte Speicher betreibe das System laut den Autoren ein 35-Milliarden-Parameter-MoE-Modell mit 20 Token pro Sekunde bei nur 3 Gigabyte aktivem Speicher und bleibe dabei im Schnitt über fünf öffentliche Benchmarks nur wenige Punkte hinter dem unkomprimierten Ausgangsmodell zurück; Framework, Checkpoints und Adapter sind quelloffen verfügbar. Das zählt, weil es große MoE-Modelle erstmals praktikabel auf gewöhnlicher Verbraucher-Hardware statt in Rechenzentren nutzbar machen könnte – ein Effizienzproblem, das sich mit offenen MoE-Modellen wie dem 295-Milliarden-Parameter-Modell Tencent Hy3 zunehmend auch außerhalb der großen Anbieter stellt.
Interpretierbarkeit und Sicherheit
Wenn Sonden nur zeigen, was sich ablesen lässt – nicht, was wirkt
Devesh Tiwari, Camille Davis und vier weitere Autoren stellen in ihrer Arbeit eine grundlegende Methodenkritik an linearen Sonden vor, einem verbreiteten Werkzeug, um sicherheitsrelevante Konzepte wie Wahrhaftigkeit aus den internen Aktivierungen von Sprachmodellen abzulesen. Die Autoren zeigen, dass die bloße geometrische Ausrichtung einer Sonde nicht beweist, dass die entsprechenden Merkmale das Modellverhalten auch tatsächlich kausal steuern, und schlagen stattdessen eine Diagnose vor, die eine Wahrheits-Sonde in Sparse-Autoencoder-Merkmale (interpretierbare, einzeln benennbare Bausteine der internen Modell-Aktivierung) zerlegt und diese sowohl nach Sonden-Übereinstimmung als auch nach ihrem tatsächlichen Effekt auf das Modellverhalten einordnet. An einer etablierten Wahrheits-Sonde für das Modell Gemma2-9B-Instruct überlappten beide Rangfolgen laut den Autoren nur schwach (etwa 12 Prozent, Spearmans Rho 0,10): Mit der Sonde geteilte Merkmale kippten die Modellausgabe in bis zu 27 Prozent der Fälle, gleich große, nur geometrisch passende Merkmale dagegen nur in 6 Prozent und zufällige Merkmale in 1 Prozent. Das zählt, weil Wahrheits- und Deception-Sonden zunehmend als Sicherheitswerkzeug diskutiert werden, obwohl laut dieser Studie ausgerechnet die naheliegendste Auswertungsmethode die eigentlich wirksamen Merkmale verfehlen kann – ein Muster, das sich mit einem früheren Digest-Befund zu Wahrheits-Sonden bei einem belohnungstrainierten Modell deckt, wo sich Ehrlichkeit und bloße Regelbefolgung ebenfalls nicht sauber trennen ließen.
Suchen Spitzenmodelle von sich aus nach Sicherheits-Belegen, bevor sie handeln?
Omer Tafveez untersucht mit dem neuen Benchmark SAFE, ob Sprachmodelle sicherheitsrelevante Informationen aktiv einholen, bevor sie eine Einsatzentscheidung treffen, statt nur auf bereits vorliegende Warnhinweise zu reagieren. In kontrollierten Testszenarien mit unterschiedlichen Kosten, Eintrittswahrscheinlichkeiten, Schwere und Darstellung der verfügbaren Belege zeigten die vier geprüften Modelle GPT-5.5, o3, Claude Opus 4.8 und Claude Sonnet 4.6 laut dem Autor deutlich unterschiedliche Prüfstrategien: Opus prüfe nahezu standardmäßig, o3 überspringe Belege am häufigsten und reagiere am stärksten auf Schwellenwerte, während die übrigen Modelle dazwischenliegen. Auffällig sei zudem, dass die Prüfbereitschaft stark mit der Schwere eines möglichen Schadens und den Kosten der Beleg-Beschaffung zusammenhänge, während sich die reine Eintrittswahrscheinlichkeit kaum auswirkte – selbst eine Steigerung von 10 auf 70 Prozent veränderte die Prüfquote um höchstens 21 Prozentpunkte –, obwohl die Modelle diese Wahrscheinlichkeit in ihren Begründungen auffällig oft anführten. Das zählt, weil Einsatzentscheidungen von KI-Agenten zunehmend automatisiert getroffen werden und die Bereitschaft, vor riskanten Schritten aktiv nach Belegen zu suchen, mindestens so wichtig sein dürfte wie der Umgang mit bereits bekannten Risiken – ein verwandtes Spannungsfeld zwischen vorschneller Zurückhaltung und vorschnellem Handeln hatte bereits ein früherer Digest-Beitrag zu Agenten an kritischen Handlungsgrenzen aufgezeigt.
Alle vier Arbeiten sind unbegutachtete Preprints, veröffentlicht in den vergangenen ein bis zwei Tagen; die referierten Zahlen stammen aus den Abstracts und Angaben der jeweiligen Autorenteams und sind bislang nicht durch unabhängige Begutachtung oder Replikation bestätigt. Ob sich Edge0s Effizienzgewinne auf noch größere MoE-Modelle übertragen lassen, ob die schwache Sonden-Kausalitäts-Überlappung auch bei anderen Modellfamilien und Konzepten auftritt und ob sich die höchst unterschiedlichen Prüfstrategien der SAFE-getesteten Modelle in echten Einsatzszenarien bestätigen, werden erst unabhängige Nachbauten und Peer-Review zeigen.
