OpenAI hat mit GPT-Red ein internes KI-System vorgestellt, das eigene Sprachmodelle gezielt angreift, um Sicherheitslücken vor echten Angreifern zu finden. Bei GPT-5.6 Sol scheitern direkte Prompt-Injection-Angriffe laut Hersteller inzwischen nur noch in 0,05 Prozent der Fälle, sechsmal seltener als noch bei GPT-5.1. Veröffentlicht wird das System selbst nicht.
Selbstspiel-Training verschärft die Angriffe schrittweise
GPT-Red entsteht durch bestärkendes Lernen im Selbstspiel: Ein Angreifer-Modell und mehrere Verteidiger-Modelle trainieren parallel gegeneinander, wie OpenAI im eigenen Blog erklärt. Das Angreifer-Modell erhält eine Belohnung, wenn es eine echte Schwachstelle auslöst, etwa eine erfolgreiche Prompt-Injection. Die Verteidiger-Modelle werden dafür belohnt, den Angriff abzuwehren und ihre eigentliche Aufgabe trotzdem zu erledigen.
Verbessern sich die Verteidiger, muss GPT-Red neue, raffiniertere Angriffswege finden. Getestet wird in nachgebildeten Alltagsszenarien mit Dateien, Webseiten, E-Mails und Werkzeug-Ausgaben. Jedes Szenario besitzt ein festgelegtes Bedrohungsmodell: Es legt fest, welche Kontrolle GPT-Red über die simulierte Umgebung erhält. Frühe Vorstufen des Systems flossen OpenAI zufolge bereits seit GPT-5.3 ins Training ein. Der Trainingsprozess läuft nach Unternehmensangaben seit mehr als einem Jahr und verbrauchte erhebliche Rechenkapazität.
Bei Tests fand GPT-Red konkrete Sicherheitslücken, die über einfache Textmanipulation hinausgehen. Dazu zählen das Auslesen interner Verzeichnisse, das Abgreifen von AWS-Zugangsdaten und das Unterschieben betrügerischer Zahlungsanweisungen. In einem Szenario übernahm das System die Kontrolle über einen autonomen Verkaufsautomaten-Agenten und änderte eigenständig Preise oder stornierte Bestellungen. Auch Codex-CLI-Agenten, die Code direkt in Kommandozeilen bearbeiten, gerieten ins Visier der simulierten Angriffe.
Eine besonders wirksame Methode nennt OpenAI „Fake Chain-of-Thought”: Dabei schleust ein Angreifer gefälschte Zwischenschritte in die sichtbare Modell-Argumentation ein, um das System zur Preisgabe geschützter Informationen zu bewegen. Gegen GPT-5.1 sei dieser Trick nach Unternehmensangaben noch in mehr als 95 Prozent der Fälle geglückt, bei GPT-5.6 Sol sinke die Erfolgsquote auf unter zehn Prozent. Die aufgedeckten Muster fließen unmittelbar in neue Schutzmechanismen der jeweils aktuellen Modellgeneration ein.
Zahlen zeigen deutlichen Fortschritt gegenüber älteren Modellen
Auf neuartige, indirekte Prompt-Injection-Szenarien kommt GPT-Red nach eigenen Angaben auf eine Erfolgsquote von 84 Prozent. Menschliche Testerinnen und Tester lösen dieselben Aufgaben nur zu 13 Prozent – unabhängig nicht verifiziert sind diese Vergleichswerte bislang. Getestet wurde routinemäßig gegen sechs Modellgenerationen von GPT-5.1 bis GPT-5.6 Sol sowie gegen reale Agentensysteme.
Der Vorteil des automatisierten Systems liegt vor allem im Tempo: Es kann rund um die Uhr neue Angriffsvarianten durchspielen, während menschliche Teams einzelne Szenarien manuell entwerfen müssen. OpenAI vergleicht die aktuellen Werte laufend mit früheren internen Testreihen, um Fortschritte über mehrere Modellgenerationen hinweg sichtbar zu machen.
Jessica Ji vom Georgetown Center for Security and Emerging Technology bewertet den Ansatz gegenüber dem MIT Technology Review positiv. Die Ergebnisse wirkten vielversprechend, menschliche Fachkenntnis bleibe aber weiterhin wichtig, um Lücken in den Testszenarien selbst zu erkennen. Deutliche Schwächen zeigt GPT-Red laut OpenAI bei mehrstufigen Gesprächsangriffen, die sich über mehrere Dialogrunden aufbauen, sowie bei bildbasierten Prompt-Injection-Techniken. In beiden Bereichen liefern menschliche Angreifer nach wie vor bessere Ergebnisse als das automatisierte System.
GPT-Red selbst bleibt ausschließlich intern im Einsatz und wird getrennt von den ausgelieferten Modellen gehalten, auch um zu verhindern, dass die Angriffsmethoden nach außen dringen. Offen bleibt, ob automatisiertes Red-Teaming mit dem Tempo mithalten kann, in dem agentische KI-Systeme mit Zugriff auf E-Mails, Zahlungen und Browser verbreitet werden. OpenAI selbst hatte Prompt-Injection erst im vergangenen November als andauerndes Forschungsproblem bezeichnet, das sich nicht mit einer einzelnen Lösung erledigen lasse – daran ändert auch GPT-Red nichts Grundsätzliches.
