Der Statistiker Edgar Dobriban von der University of Pennsylvania hat mit dem Sprachmodell GPT-5.6 Sol Pro eine seit zwanzig Jahren als gesichert geltende Annahme über das Benjamini-Hochberg-Verfahren widerlegt. Das Modell fand in etwa neunzig Minuten ein mathematisches Gegenbeispiel, für das der Vorgänger GPT-5.5 zuvor mehr als zwanzig Stunden ohne Ergebnis rechnete.
Verfahren kontrolliert Fehlerraten in Zehntausenden Studien
Das Benjamini-Hochberg-Verfahren stammt aus einer 1995 veröffentlichten Arbeit der Statistiker Yoav Benjamini und Yosef Hochberg und legt fest, wie viele von vielen gleichzeitig getesteten Hypothesen fälschlich als signifikant gelten dürfen. Die sogenannte Falscherkennungsrate begrenzt diesen Anteil auf ein vorher festgelegtes Niveau, in der Forschung meist fünf oder zehn Prozent. Seit der Veröffentlichung zählt das Verfahren zu den Standardwerkzeugen in Genomik, Astronomie, Ökonomie und Hirnforschung, überall dort, wo Forschende Tausende Tests gleichzeitig auswerten. Der Stanford-Statistiker Emmanuel Candès bezeichne die Methode als eine der beiden wichtigsten Entwicklungen der Statistik nach 1950.
Offen blieb seit der Einführung, ob die Garantie auch für zweiseitige Tests mit korrelierten Messwerten gilt – ein Fall, der in der Praxis häufig auftritt, etwa wenn benachbarte Gene oder Messstationen ähnliche Werte liefern. Fachleute gingen rund zwanzig Jahre lang davon aus, dass die Fehlerrate auch unter Korrelation eingehalten wird, obwohl ein vollständiger mathematischer Beweis dafür fehlte. Diese Lücke zwischen Praxis und Beweis blieb lange unbeachtet, weil das Verfahren in Simulationen zuverlässig funktionierte.
KI-Modell findet Gegenbeispiel in neunzig Minuten
Dobriban stellte GPT-5.6 Sol Pro die mathematische Definition des Verfahrens und die offene Frage, ob die Garantie für korrelierte, zweiseitige Gauß-Tests gilt. Das Modell konstruierte laut dem zugehörigen Preprint ein Faktor-Modell, bei dem die Falscherkennungsrate das vorgegebene Signifikanzniveau von 0,01 übersteigt und asymptotisch über 0,0104 liegt. Zur Absicherung erzeugte das System ein numerisches Zertifikat mit Intervallarithmetik, das die Bibliotheken Arb und python-flint nutzt und sich unabhängig nachrechnen lässt.
Der Vorgänger GPT-5.5 bearbeitete dieselbe Aufgabe eigenen Angaben zufolge über zwanzig Stunden lang mit mehreren parallelen Ansätzen, kam aber zu keinem verwertbaren Ergebnis. Dobriban prüfte den von GPT-5.6 Sol Pro gelieferten Beweis anschließend von Hand nach, bevor er ihn als Preprint veröffentlichte. Auf der Plattform X schrieb er, KI habe geholfen, eine wichtige offene Frage der Statistik zu klären, und verwies auf einen ausführlichen Thread mit weiteren Erläuterungen. Code, Gegenbeispiel und Prüfzertifikat liegen zusätzlich offen auf GitHub.
Serie von KI-gestützten Mathematikbeweisen wächst diesen Sommer
Der Fall reiht sich in eine Serie ähnlicher Meldungen der vergangenen Wochen ein. Bereits am 11. Juli hatte OpenAI mitgeteilt, dass die leistungsstärkere Modellvariante GPT-5.6 Sol Ultra mit 64 parallel arbeitenden Unteragenten einen Beweis für die seit 1973 offene Cycle-Double-Cover-Vermutung der Graphentheorie vorgelegt habe. Der Mathematiker Thomas Bloom von der University of Manchester bewertete diesen Beweis als kurz und elementar, kritisierte jedoch, dass Ideen aus der Fachliteratur ohne saubere Zitation übernommen worden seien.
Im aktuellen Fall schätzt Dobriban die praktische Tragweite selbst als begrenzt ein: Die nachgewiesene Abweichung von rund 0,04 Prozentpunkten betreffe vor allem die Theorie, bestehende Auswertungen mit dem Verfahren müssten deshalb nicht neu berechnet werden. Für Statistik und Informatik bleibt dennoch bemerkenswert, dass ein Sprachmodell hier einen vollständigen, überprüfbaren Beweis liefert und nicht nur ein plausibles Ergebnis vorschlägt.
Entscheidend wird, ob Fachgesellschaften künftig klarstellen, unter welchen Bedingungen die ursprüngliche Garantie des Verfahrens weiterhin gilt, oder ob eine angepasste Fassung folgt. Der Vorgang zeigt zugleich, dass Sprachmodelle inzwischen als Werkzeug für offene mathematische Fragen ernst genommen werden, sofern ihre Ergebnisse wie hier durch unabhängig nachrechenbare Zertifikate und menschliche Prüfung abgesichert sind. Eine förmliche Begutachtung des Gegenbeispiels durch eine Fachzeitschrift steht bislang aus.
