Zwei Tage nach dem breiten Rollout von GPT-5.6 hat OpenAI eine eigene Empfehlung zurückgezogen: Der Coding-Benchmark SWE-Bench Pro, den das Unternehmen erst im Februar 2026 als Messlatte für die Programmierfähigkeiten von KI-Modellen vorgeschlagen hatte, gilt intern nun als zu einem erheblichen Teil defekt. Wie OpenAI in einem Blogbeitrag erklärt, stuft ein eigenes Audit rund 30 Prozent der 731 öffentlichen Testaufgaben als fehlerhaft ein.
Was OpenAI herausgefunden hat
Wie das Fachmedium The Stack berichtet, wurde SWE-Bench Pro vom Datenanbieter Scale AI entwickelt und sollte Modelle anhand realer Änderungsverläufe aus Software-Projekten testen – eine Weiterentwicklung des älteren SWE-bench Verified.
Genau dieser Ursprung aus echten, für menschliche Zusammenarbeit gedachten Projekt-Historien ist nach OpenAIs Analyse aber auch die Wurzel des Problems: Aufgabenbeschreibung, Code und automatisierte Tests stimmen häufig nicht sauber überein, weil sie nie für eine standardisierte KI-Bewertung konzipiert wurden.
Das automatisierte Prüfverfahren von OpenAI markierte 200 der 731 Aufgaben (27,4 Prozent) als verdächtig. Eine anschließende Kampagne mit fünf erfahrenen Software-Entwicklerinnen und -Entwicklern, die unabhängig voneinander urteilten und sich in 74 Prozent der Fälle einig waren, stufte sogar 249 Aufgaben (34,1 Prozent) als defekt ein.
OpenAI rundet die Ergebnisse in der eigenen Zusammenfassung auf etwa 30 Prozent fehlerhafte Aufgaben.
Vier Arten von Fehlern
Die Auswertung unterscheidet vier wiederkehrende Fehlerkategorien: zu strenge Tests, die technische Details verlangen, die in der Aufgabenstellung gar nicht genannt werden, und dadurch auch funktional korrekte Lösungen durchfallen lassen; unterspezifizierte Aufgabenstellungen, bei denen versteckte Tests Anforderungen prüfen, die aus der Beschreibung nicht ableitbar sind; zu nachsichtige Tests, die unvollständige Lösungen fälschlich als bestanden werten; sowie irreführende Aufgabenbeschreibungen, die Modelle aktiv in eine falsche Richtung lenken.
Das Leerzeichen-Beispiel
Wie konkret sich solche Fehler auswirken können, zeigt OpenAI an der Aufgabe „OpenLibrary-77c16d5", die die Formatierung eines Inhaltsverzeichnisses betrifft. In der sichtbaren Aufgabenstellung war ein einzelnes führendes Leerzeichen vor den Einträgen vorgegeben, der verborgene Test verlangte jedoch zwei Leerzeichen.
Modelle, die sich exakt an die Vorgabe in der Aufgabenstellung hielten, fielen dadurch allein wegen dieses einen zusätzlichen Zeichens durch den Test – unabhängig davon, ob ihre Lösung inhaltlich richtig war.
Methodik des Audits
Für die Überprüfung kombinierte OpenAI drei Stufen: eine automatisierte Vorprüfung, die Aufgabenstellungen, Modell-Lösungsversuche und Testfälle nach Auffälligkeiten durchsuchte; anschließend von Codex gestützte Agenten, die als „Ermittler" auf die zugehörigen Code-Repositories zugriffen, um echte Unterspezifikation von bloßer Mehrdeutigkeit zu unterscheiden, bevor Forschende die endgültige Einschätzung trafen; und schließlich die bereits erwähnte unabhängige Prüfung durch fünf erfahrene Entwicklerinnen und Entwickler anhand einer festen Fehler-Taxonomie.
Bemerkenswert: Die menschlichen Prüferinnen und Prüfer stuften tendenziell mehr Aufgaben als defekt ein als die KI-gestützten Agenten und vergaben dabei häufig auch mehrere Fehlerkategorien pro Aufgabe.
Vorgeschichte: Von SWE-bench zu SWE-Bench Pro
Der Fall wiederholt ein Muster aus der Vergangenheit. Bereits beim ursprünglichen SWE-bench hatte OpenAI festgestellt, dass rund 68 Prozent der Beispiele Mängel wie zu strenge Tests oder vage Problembeschreibungen aufwiesen, und daraufhin im August 2024 mit SWE-bench Verified eine von 93 professionellen Entwicklerinnen und Entwicklern manuell geprüfte Teilmenge von 500 Aufgaben veröffentlicht.
SWE-Bench Pro von Scale AI trat an, diesen verifizierten Datensatz durch komplexere, realitätsnähere Aufgaben zu ergänzen – nach OpenAIs jetzigem Audit jedoch mit denselben strukturellen Schwächen, die schon den ursprünglichen SWE-bench betrafen.
Bemerkenswert ist zudem, dass die gemessene Erfolgsquote von Frontier-Modellen auf dem Benchmark laut OpenAI innerhalb von acht Monaten von 23,3 auf 80,3 Prozent gestiegen ist – ein Tempo, das die Frage aufwirft, wie viel davon auf echte Fähigkeitszuwächse und wie viel auf das Ausnutzen von Testschwächen zurückgeht.
Einordnung
OpenAI zieht aus den Ergebnissen eine klare Konsequenz und erklärt laut eigenem Blogbeitrag: „We retract our earlier recommendation to adopt SWE-Bench Pro." Auch auf X gab das Unternehmen die Rücknahme öffentlich bekannt und rät Modell-Entwicklerinnen und -Entwicklern, Ergebnisse auf dem Benchmark genau zu prüfen.
Zugleich ruft OpenAI die Forschungsgemeinschaft dazu auf, neue Benchmarks zu entwickeln, die von erfahrenen Software-Ingenieurinnen und -Ingenieuren gezielt für die Bewertung von KI-Modellen konzipiert werden – statt wie bisher aus zweckentfremdeten Projekt-Historien abgeleitet zu sein.
Eine öffentliche Reaktion von Scale AI auf die Kritik lag zum Zeitpunkt der Veröffentlichung noch nicht vor. Für die Branche ist der Fall ein Hinweis darauf, wie fragil viele der aktuell genutzten Coding-Benchmarks sind – und wie schnell scheinbar objektive Fortschrittszahlen bei genauerer Prüfung zerbröckeln können.
