Baidu hat mit “Unlimited OCR” ein quelloffenes Modell zur Dokumentenerkennung vorgestellt, das ganze Bücher in einem einzigen Durchgang transkribieren kann, ohne dass der Speicherbedarf mit der Dokumentlänge anwächst. Möglich macht das eine neue Aufmerksamkeitsarchitektur, die Baidu “Reference Sliding Window Attention” (R-SWA) nennt.
Das Problem: wachsender Speicherbedarf bei langen Dokumenten
Die meisten heutigen OCR-Modelle, die auf großen Sprachmodellen basieren, verarbeiten Dokumente Seite für Seite. Mit jeder zusätzlichen Seite wächst dabei der sogenannte KV-Cache – ein Zwischenspeicher, der sich frühere Token-Repräsentationen merkt, damit das Modell konsistent weiterschreiben kann. Bei sehr langen Dokumenten wie ganzen Büchern führt dieses Wachstum irgendwann dazu, dass der verfügbare GPU-Speicher nicht mehr ausreicht oder die Verarbeitung deutlich langsamer wird.
Die Lösung: Referenz-Sliding-Window-Attention
Laut dem zugehörigen technischen Paper auf arXiv begegnet Baidu diesem Problem mit R-SWA, einer Architektur, die sich an der Art orientiert, wie Menschen ein Buch abschreiben: Der Blick bleibt auf die Quelle, den unmittelbar zurückliegenden Kontext und die als Nächstes zu schreibenden Wörter gerichtet, während weiter zurückliegende, nicht mehr benötigte Informationen gezielt “vergessen” werden. Dadurch bleibt die Größe des KV-Caches konstant, unabhängig davon, wie viele Seiten bereits verarbeitet wurden. Nach eigenen Angaben von Baidu kann das Modell dadurch mehr als 40 Seiten in einem einzigen Vorwärtsdurchlauf verarbeiten, ohne den Kontext zu verlieren oder spürbar langsamer zu werden.
Aufbau auf DeepSeek OCR
Unlimited OCR ist kein komplett neues Modell, sondern baut laut GitHub-Repository explizit auf der Architektur von DeepSeek OCR auf, deren zugrunde liegendes Prinzip – Textinhalte als komprimierte Bild-Repräsentation zu verarbeiten statt als lange Zeichenketten – bereits im ursprünglichen DeepSeek-OCR-Paper beschrieben wurde. Das Modell selbst ist mit 3 Milliarden Gesamtparametern, von denen zur Laufzeit nur rund 500 Millionen aktiv sind, vergleichsweise kompakt. Baidu veröffentlicht Modellgewichte und Code unter MIT-Lizenz auf GitHub und Hugging Face.
Die Zahlen im Detail
Auf dem Standard-Testverfahren OmniDocBench, das Dokumentenerkennung über Textwiedergabe, Formelerkennung, Tabellenstruktur und Lesereihenfolge hinweg bewertet, erreicht Unlimited OCR laut dem Paper auf der älteren Version v1.5 einen Gesamtwert von 93,23 – ein Zugewinn von rund 6,2 Punkten gegenüber dem als Vergleichsbasis verwendeten DeepSeek-OCR-Modell. Auf der neueren Version v1.6 kommt Unlimited OCR auf 93,92 Punkte. Bei einem eigens erstellten Testsatz mit Büchern von über 40 Seiten Länge blieb die Zeichen-Fehlerdistanz laut Paper unter 0,11, bei einer Wortgenauigkeit (“Distinct-35”) von rund 97 Prozent.
Eine enge Führung in einem dicht umkämpften Feld
Wichtig zur Einordnung: Der Wert von 93,92 auf OmniDocBench v1.6 macht Unlimited OCR zwar zum in Baidus eigener Vergleichstabelle am besten platzierten Modell, der Abstand zum nächstplatzierten System ist dabei aber denkbar knapp – in der Größenordnung von wenigen hundertstel Punkten. Zudem vergleicht Baidu im Paper ausdrücklich nur mit Modellen, die im offiziellen OmniDocBench-Repository gelistet sind; es handelt sich also um einen Ausschnitt eines sich schnell weiterentwickelnden Feldes mit überwiegend selbst berichteten Werten verschiedener Anbieter, nicht um eine unabhängig geprüfte Gesamtrangliste. Der eigentliche Beitrag des Papers liegt entsprechend weniger in einem klaren Genauigkeits-Vorsprung als vielmehr in der Fähigkeit, sehr lange Dokumente überhaupt mit konstantem Speicherbedarf in einem Durchgang zu verarbeiten – ein Bereich, in dem klassische seitenweise arbeitende Modelle strukturell an Grenzen stoßen.
Noch nicht wirklich unbegrenzt
Der Name “Unlimited OCR” beschreibt dabei eher eine Designrichtung als einen absoluten Zustand. Die im Paper dokumentierten Tests decken Bücher bis über 40 Seiten ab; wo die tatsächliche praktische Obergrenze des Verfahrens liegt, wird im Paper nicht abschließend beziffert. Auch bleibt offen, wie robust die Architektur bei sehr unterschiedlichen Dokumenttypen – etwa handschriftlichen Texten, mehrspaltigen Layouts oder stark beschädigten Vorlagen – over deutlich längere Strecken hinweg tatsächlich ist.
Warum das Thema über OCR hinaus interessant ist
Die zugrunde liegende Idee, Textinhalte über eine Bild-Repräsentation zu komprimieren, hat Relevanz weit über die reine Texterkennung hinaus. Wie im DeepSeek-OCR-Paper beschrieben, benötigt die Verarbeitung von Text als komprimiertes Bild deutlich weniger Rechenaufwand als die Verarbeitung derselben Textmenge als klassische Zeichenkette. Forschende diskutieren deshalb, ob sich solche Kompressionsverfahren perspektivisch nutzen lassen, um den effektiv nutzbaren Kontextspeicher von Sprachmodellen zu vergrößern, ohne den Rechenaufwand proportional mitwachsen zu lassen.
Einordnung
Unlimited OCR zeigt einen konkreten technischen Fortschritt bei einem praktischen Problem: der Verarbeitung sehr langer Dokumente ohne wachsenden Speicherbedarf. Die berichteten Genauigkeitswerte sind dabei Teil eines dicht umkämpften, sich schnell verändernden Forschungsfelds mit überwiegend selbst berichteten Vergleichswerten – der eigentliche Beitrag liegt weniger in einem klaren Genauigkeits-Vorsprung als in der architektonischen Lösung des Speicherproblems selbst.
