Meta hat mit Brain2Qwerty v2 die zweite Generation seines nicht-invasiven Systems zur Entschlüsselung von Gehirnaktivität in geschriebenen Text vorgestellt. Das Modell liest dabei keine Gedanken im umgangssprachlichen Sinn, sondern rekonstruiert Sätze aus Hirnsignalen, die beim tatsächlichen (mentalen) Tippen auf einer Tastatur entstehen – aufgezeichnet über ein externes Magnetoenzephalografie-Gerät (MEG), ganz ohne chirurgischen Eingriff.
Was Brain2Qwerty ist
Brain2Qwerty ist ein von Meta AI (FAIR) in Zusammenarbeit mit dem spanischen Forschungszentrum BCBL (Basque Center on Cognition, Brain and Language) entwickeltes Deep-Learning-System. Die erste Version wurde in einer in Nature Neuroscience veröffentlichten Studie beschrieben: 35 gesunde Freiwillige tippten dabei kurz zuvor auswendig gelernte Sätze auf einer QWERTY-Tastatur, während ihre Hirnaktivität per EEG oder MEG aufgezeichnet wurde. Mit MEG erreichte Brain2Qwerty v1 laut der Studie im Schnitt eine Zeichenfehlerrate von 29 Prozent, bei den besten Teilnehmenden sank sie auf 18 Prozent; EEG-Aufnahmen schnitten mit einer Fehlerrate von 65 Prozent deutlich schlechter ab.
Eine technische Einschränkung von v1: Das Modell benötigte für die Entschlüsselung den exakten Zeitpunkt jedes einzelnen Tastenanschlags und konnte deshalb nicht in Echtzeit aus einer durchgehenden Aufzeichnung arbeiten.
Was v2 neu macht
Brain2Qwerty v2 hebt genau diese Einschränkung auf: Das System generiert Sätze direkt aus einer kontinuierlichen Aufzeichnung der Hirnaktivität, ohne auf einzelne Tastenanschlag-Zeitpunkte angewiesen zu sein. Laut dem von Meta veröffentlichten Preprint kombiniert die neue Architektur drei hierarchische Module, die gemeinsam Buchstaben-, Wort- und Satzebene entschlüsseln: einen Encoder, der aus den rohen Hirnsignalen eine Folge von Tastenanschlag-Wahrscheinlichkeiten ableitet, ein Modul zur semantischen Ausrichtung zwischen Hirnsignal und Sprache, sowie ein feinjustiertes großes Sprachmodell, das aus den vorangegangenen Repräsentationen den finalen Satz erzeugt.
Zu betonen ist dabei: Anders als die v1-Studie, die ein Peer-Review-Verfahren bei Nature Neuroscience durchlaufen hat, liegt die Beschreibung von Brain2Qwerty v2 bislang nur als von Meta selbst veröffentlichtes Preprint vor und wurde noch nicht unabhängig begutachtet.
Die Zahlen im Detail
Nach Angaben von Metas offiziellem Blogbeitrag wurde Brain2Qwerty v2 mit rund 22.000 Sätzen von neun Freiwilligen trainiert, von denen jeder rund zehn Stunden lang ein MEG-Gerät trug und dabei aktiv tippte – das entspricht laut Meta der zehnfachen Datenmenge pro Teilnehmendem im Vergleich zu v1. Im Ergebnis erreicht das Modell laut Meta eine durchschnittliche Wortgenauigkeit von 61 Prozent; beim Teilnehmenden mit der besten Performance liegt sie bei 78 Prozent, wobei dort mehr als die Hälfte aller Sätze mit höchstens einem Wortfehler entschlüsselt wird. Zum Vergleich zieht Meta eine Wortgenauigkeit von rund 8 Prozent heran, die frühere nicht-invasive Verfahren nach eigenen Angaben erreicht hätten – eine unternehmenseigene Einordnung, die sich nicht auf eine unabhängig geprüfte Quelle stützt.
Meta berichtet zudem eine log-lineare Verbesserung der Entschlüsselungsgenauigkeit mit zunehmender Trainingsdatenmenge, ohne dass bislang ein Sättigungspunkt erkennbar sei. Das Unternehmen wertet dies als Hinweis darauf, dass sich die verbleibende Lücke zu invasiven Neuroprothesen – bei denen Elektroden operativ implantiert werden – durch größere Datensätze weiter verkleinern lassen könnte.
Offene Limitationen, die Meta selbst benennt
Auf der Projektseite zu Brain2Qwerty benennt Meta selbst zwei zentrale Hürden auf dem Weg zu einer klinischen Anwendung. Erstens reiche die Entschlüsselungsgenauigkeit noch nicht für den Alltagseinsatz aus; das Verfahren produziere weiterhin zu viele Wort- und Zeichenfehler, um praxistauglich zu sein. Zweitens sei das in der Studie verwendete MEG-Gerät ein großer Scanner, der für die meisten Patientinnen und Patienten nicht zugänglich sei – wobei Meta auf tragbare MEG-Sensoren verweist, die sich weiterentwickeln und diesen Zugang perspektivisch verbessern könnten.
Offene Quellen: Code und Datensatz
Meta stellt den vollständigen Trainingscode für Brain2Qwerty v1 und v2 auf GitHub öffentlich zur Verfügung. Der Forschungspartner BCBL veröffentlicht zudem den zugrunde liegenden v1-Datensatz; der v2-Datensatz bleibt laut Projektseite bis zur Veröffentlichung des zugehörigen Papers unter Embargo.
Einordnung
Brain2Qwerty v2 markiert einen methodischen Fortschritt gegenüber v1: Die Fähigkeit, Sätze aus einer durchgehenden Aufzeichnung statt aus exakt getakteten Tastenanschlägen zu rekonstruieren, ist eine notwendige Voraussetzung für jede Art von Echtzeitanwendung. Die berichteten Genauigkeitswerte stammen jedoch bislang ausschließlich von Meta selbst und, was v2 betrifft, aus einem noch nicht begutachteten Preprint – anders als bei v1, wo die Kernergebnisse mittlerweile in einem peer-reviewten Fachjournal vorliegen. Für eine klinische Anwendung bleiben nach Metas eigener Einschätzung sowohl die Fehlerrate als auch die Größe und Zugänglichkeit der benötigten MEG-Hardware ungelöste Probleme.
