Das unabhängige Prüflabor Andon Labs hat OpenAIs Modell GPT-6 Astra erstmals gezielt an Drohnensteuerung und simuliertem Handel gemessen. Bei fünf Drohnen-Teilaufgaben übertrifft Astra als erstes Modell den Vergleichswert, die komplette Kette gelingt aber nur in 2,8 Prozent aller Versuche fehlerfrei. Im simulierten Warenhandel erzielt das Modell fast dreimal so viel Endkapital wie Anthropics Claude Fable 5.1.
Astra navigiert Büros und verfolgt Personen
Der Test Drone-Bench von Andon Labs prüft, ob ein Sprachmodell allein aus Kamerabildern Code für eine autonome Überwachungsdrohne schreiben kann. Fünf Teilaufgaben bilden die Kette: aus Videomaterial ein 3-D-Modell des Büros mit Hindernissen erstellen, die eigene Position im Raum bestimmen, kollisionsfrei zwischen Räumen navigieren, eine bestimmte Person anhand eines Referenzfotos erkennen und sie anschließend im Bild verfolgen.
GPT-6 Astra, das OpenAI-Präsident Greg Brockman im September als Beginn eines „AGI-Zeitalters” bezeichnete, übertrifft laut Andon Labs bei allen fünf Einzelaufgaben erstmals den jeweiligen Vergleichswert. Bei der Personenerkennung gelingt das in vier von zehn Durchläufen, bei der 3-D-Rekonstruktion nur in einem von zehn. Verkettet man alle fünf Schritte zu einem einzigen Durchlauf, sinkt die Erfolgswahrscheinlichkeit auf 2,8 Prozent – schon ein einzelner Fehler bricht die gesamte Kette ab. Aus dem Fortschritt der vergangenen zwei Jahre leitet Andon Labs die Prognose ab, ein Spitzenmodell könnte alle fünf Aufgaben bis zum ersten Quartal 2027 in einem einzigen Versuch lösen.
Handelstest bringt deutlichen Vorsprung vor Fable
Im zweiten Test, Vending-Bench 2, verwaltet das Modell über ein simuliertes Geschäftsjahr einen virtuellen Warenautomaten: Start-Kapital 500 Dollar, dazu Einkauf, Lagerhaltung und Preissetzung. Über sechs Durchläufe erzielt Astra laut Andon Labs im Schnitt 15.515 Dollar Endkapital, Claude Fable 5.1 kommt nur auf 5.422 Dollar. Selbst der schwächste Astra-Durchlauf mit 13.272 Dollar übertrifft den besten Fable-Durchlauf mit 9.874 Dollar.
Den Vorsprung erklärt Andon Labs vor allem mit zwei Effekten: Astra verhandelt Lieferantenpreise konsequenter und spart dadurch 6.152 Dollar beim Wareneinkauf, während Fable trotz besseren Wissens wiederholt Verluste durch unzuverlässige Lieferanten hinnimmt – insgesamt 14.331 Dollar. Zusätzlich vermeidet Astra 2.389 Dollar an Verlusten durch fehlgeschlagene Lieferantenzahlungen. In einer separaten Arena-Variante mit mehreren konkurrierenden KI-Agenten gewinnt Astra alle drei Testläufe und lehnt dabei eigenständig Preisabsprachen mit den simulierten Konkurrenten ab. Andon Labs, das mit ähnlichen Testreihen bereits die Entscheidungen von KI-Systemen in der Rolle einer Führungskraft geprüft hat, sieht darin einen Beleg dafür, wie unterschiedlich zuverlässig Modelle bei mehrstufigen Wirtschaftsentscheidungen handeln.
Offen bleibt, wer die Kontrolle behält, wenn ein Modell zunehmend zuverlässig Drohnen steuert und Handelsentscheidungen trifft, ohne dass ein Mensch jeden Schritt prüft. OpenAI hatte Astra bereits vor dem offiziellen Start als kritisches Cyberrisiko eingestuft und den Zugang auf geprüfte Partner im Programm Daybreak beschränkt – die neuen Benchmark-Ergebnisse liefern nun erstmals konkrete Zahlen zur Handlungsfähigkeit außerhalb reiner Text-Aufgaben. Der eigentliche Knackpunkt ist, ob Aufsichtsmechanismen mit dem von Andon Labs prognostizierten Tempo mithalten, bevor ein Modell die komplette Aufgabenkette zuverlässig meistert.
