Reinforcement-Learning-Pionier Richard Sutton hat mit seinem früheren Doktoranden Khurram Javed das Start-up Oak Lab gegründet. Das in Kanada ansässige Unternehmen will KI-Agenten entwickeln, die während des Einsatzes fortlaufend aus Erfahrung lernen statt aus fertigen Datensätzen. Langfristig soll daraus ein Billionen-Parameter-Agent entstehen, der mit nur zwanzig Watt Energie lernt und plant.
Sutton verlässt Carmacks KI-Firma für ein eigenes Projekt
Sutton lehrte als Informatikprofessor an der University of Alberta und leitete zugleich ein Forschungslabor von Google DeepMind in Edmonton, das der Konzern 2023 schloss. Anschließend wechselte er zu Keen Technologies, dem auf allgemeine KI ausgerichteten Start-up des Spieleentwicklers John Carmack in Dallas. Im vergangenen Monat habe er sich gemeinsam mit Javed für „einen etwas anderen Weg” entschieden und Keen Technologies verlassen, sagte Sutton gegenüber dem kanadischen Wirtschaftsmedium The Logic. Javed war einer von Suttons vierzehn Doktoranden an der University of Alberta und forschte selbst zu Echtzeit-Verstärkungslernen in komplexen, offenen Umgebungen. Oak Lab ist in Kanada eingetragen, zu Investoren oder einer Finanzierungsrunde äußerte sich das Unternehmen bislang nicht. Sutton gilt seit den 1980er-Jahren als einer der Begründer des Verstärkungslernens. Bereits 2019 argumentierte er in seinem vielzitierten Essay „The Bitter Lesson”, dass rechenintensive, allgemeine Lernverfahren auf Dauer von Menschen entworfene Speziallösungen übertreffen. Für diese Arbeiten erhielt er 2024 den Turing-Preis, den renommiertesten Informatikpreis.
Oak Lab lässt Agenten direkt aus Erfahrung lernen
Nach eigener Mission will Oak Lab Algorithmen entwickeln, mit denen Agenten Ziele in großen, unübersichtlichen und sich wandelnden Umgebungen erreichen, die das Unternehmen als „big worlds” bezeichnet. Kern ist die sogenannte OaK-Architektur, die zeitliche Abstraktionen direkt aus Erfahrung ableitet und dabei überprüfbar sowie für Handlungsplanung nutzbar bleiben soll. Beim sogenannten Batch-Size-One-Lernen verarbeiten die Systeme einzelne Erfahrungen sofort in Echtzeit, statt sie zu speichern und später in großen Stapeln erneut zu verarbeiten. Kombiniert mit ereignisgesteuerten neuronalen Netzen sinke laut Oak Lab dadurch der Rechenaufwand gegenüber klassischen Trainingsmethoden deutlich. Statt auf von Menschen kuratierte Datensätze setzt das Unternehmen auf verrauschte, reale Datenströme und weist gezielt jenen Parametern Bedeutung zu, die sich als verallgemeinerbar erweisen. Damit unterscheidet sich der Ansatz von heutigen Sprachmodellen, die überwiegend auf riesigen, vorab gesammelten und bereinigten Textmengen trainiert werden. Als Fernziel nennt Oak Lab einen Agenten mit einer Billion Parametern, der in Echtzeit lernt und plant. Dabei soll er nur etwa zwanzig Watt Energie verbrauchen, deutlich weniger als heutige Trainingscluster für große Sprachmodelle – eine Vision, die unabhängig nicht verifiziert ist.
Entscheidend wird, ob sich Suttons Ansatz jenseits von Demonstrationen in kontrollierten Umgebungen auch in komplexeren, realen Anwendungen bewährt. Ein konkreter Zeitplan für erste Produkte oder veröffentlichte Forschungsergebnisse aus dem neuen Labor steht bislang aus.
