OpenAI lässt laut einer Recherche von 404 Media Hunderte externe Vertragspartner reale ChatGPT-Gespräche lesen und die Antworten des Chatbots bewerten. Die sogenannten Prompt-Reviewer sähen dabei mitunter persönliche Details aus den Konversationen von mehr als 900 Millionen wöchentlichen Nutzern. Bezahlt würden sie über die Trainingsplattform Mercor mit mehr als 50 Dollar pro Stunde.
Prüfer sollen Schmeichelei und Floskeln aus ChatGPT tilgen
Die externen Vertragspartner arbeiten dabei in drei klar getrennten Schritten. Sie lesen einen anonymisierten Ausschnitt einer echten Konversation und fassen zusammen, was die anfragende Person wollte. Anschließend bewerten sie mehrere von ChatGPT erzeugte Antwortvarianten auf einer Skala von eins bis sieben. Die Reviewer achten dabei auf übertriebene Zustimmung, unnötige Emojis und aufgesetzte „KI-Sprache” – ChatGPT soll zurückhaltender und professioneller klingen.
Ein Beteiligter sagte, Nutzende würden sich „wohl kaum vorstellen, dass irgendwo ein Vertragspartner ihre Gespräche analysiert”. Das zeigt, wie unbekannt das Verfahren bislang ist. Rekrutiert werden die Prüfer über die Vermittlungsplattform Crossing Hurdles, bezahlt über Mercor. OpenAI selbst führt das Vorhaben intern unter dem Codenamen „Lily” und äußerte sich bislang nicht öffentlich dazu.
Das Programm existiert bereits seit mehreren Monaten, intern jedoch weitgehend unter Verschluss. Interne Schulungsunterlagen, die der Redaktion von 404 Media vorlagen, zeigen konkrete Beispielbewertungen. Überschwängliche Ausrufe und reflexhafte Lobsätze gelten dort als unerwünschte Floskeln und sollen aus den Antworten verschwinden.
Datenschutzfilter hat Lücken, Geschäftskonten bleiben außen vor
OpenAI erklärte gegenüber 404 Media, Konversationen durchliefen vor der Prüfung einen automatischen Datenschutzfilter, der Nutzernamen und andere Identifikatoren entfernen solle. Das Unternehmen räumte jedoch ein, dass sensible Details wie Gesundheits- oder Finanzangaben gelegentlich durchrutschen könnten. Nach der Veröffentlichung des Berichts passte OpenAI eine eigene Hilfeseite an, ohne dort menschliche Prüfer ausdrücklich zu erwähnen.
Wer nicht möchte, dass Vertragspartner mitlesen, kann in den Datenkontrollen die Option „Modell für alle verbessern” deaktivieren. Bei den Stufen Free, Plus und Pro ist sie standardmäßig aktiviert. Der Widerspruch wirkt nicht rückwirkend: Bereits geführte Konversationen bleiben zur Auswertung freigegeben, nur neue Chats sind ausgenommen. Für ChatGPT Business, ChatGPT Enterprise und die API trainiert OpenAI laut eigenen Angaben ohnehin standardmäßig nicht mit Kundendaten – Unternehmen müssten dem eigens zustimmen.
OpenAI steht mit menschlicher Chat-Prüfung nicht allein da: Auch Anthropic bestätigte gegenüber 404 Media, unter bestimmten Kontoeinstellungen ähnliche Reviews einzusetzen, ebenso Google bei Gemini. Erst im August hatten Forschende gezeigt, dass sich verschlüsselte Denkprotokolle von OpenAI, Anthropic und Google über Umwege auslesen lassen. Das zeigt, wie viele Angriffsflächen KI-Gesprächsdaten mittlerweile bieten.
Entscheidend wird, ob OpenAI nach der Veröffentlichung des Berichts transparenter kommuniziert, dass Menschen mitlesen können. Bislang hat das Unternehmen lediglich eine Hilfeseite nachträglich angepasst, ohne dort menschliche Prüfer ausdrücklich zu nennen. Eine direkte Antwort auf die Frage, wo genau Nutzende darüber informiert werden, blieb aus. Für alle, die ChatGPT beruflich nutzen, lohnt sich in der Zwischenzeit ein Blick in die eigenen Datenkontrollen.
