Anthropic und die Unternehmensberatung Accenture bauen gemeinsam ein Team externer Prüfer auf, das dauerhaft und mit Mitarbeiterzugang in Anthropics Büros arbeitet. Beide Firmen investieren dafür in den kommenden fünf Jahren jeweils mindestens eine Milliarde Dollar. Die Accenture-Sparte Faculty testet ab sofort Anthropics KI-Modelle auf Schwachstellen und Zielabweichungen.
Faculty prüft Modelle mit Zugang wie eigene Mitarbeiter
Das Konzept nennt Anthropic eingebettete Evaluation: Externe Prüfer arbeiten direkt in den Räumen des Unternehmens und erhalten Zugangsrechte, die denen fest angestellter Mitarbeiter entsprechen. Sie sollen Modelle während des Trainings beobachten, Entscheidungen zum Modellbau und zur Freigabe begleiten und direkt mit Anthropic-Beschäftigten sprechen. Für die praktische Prüfarbeit ist die Accenture-Tochter Faculty zuständig, die auf KI-Sicherheitstests spezialisiert ist und demnach Red-Teaming durchführt, bewertet, ob sich Modelle an ihre erklärten Ziele halten, und eingebaute Schutzmechanismen testet.
Insgesamt wollen beide Unternehmen binnen fünf Jahren mindestens zwei Milliarden Dollar in den Aufbau dieser Prüfkapazität stecken – eine Zahl, die bislang allein von den beiden Vertragspartnern selbst stammt und unabhängig nicht verifiziert ist. Anthropic finanziert die Arbeit von Faculty zunächst direkt; langfristig sollen laut eigenem Sicherheitsrahmenwerk gebündelte Mittel mehrerer Unternehmen oder staatliche Gelder an ihre Stelle treten.
Deal setzt Amodeis Pacing-Essay in die Praxis um
Anthropic verortet die Partnerschaft als ersten konkreten Schritt zu einer Zusage, die Amodei bereits im September in seinem Essay angekündigt hatte: dauerhafter, mitarbeitergleicher Zugang für externe Prüfer als Gegenleistung für ein bewusst gedrosseltes Entwicklungstempo. Accenture-Chefin Julie Sweet erklärte, Sicherheit brauche sowohl technisches Fachwissen als auch ein klares Verständnis dafür, wie KI in der Praxis eingesetzt werde. Faculty-Gründer Marc Warner beschrieb sein Team als Einheit, die KI „safe by design, not safe by accident” machen wolle.
Anthropic erklärte zudem, mit der Prüforganisation METR und weiteren gemeinnützigen Stellen im Gespräch zu sein, um einzelne Elemente der eingebetteten Evaluation zu erproben. Zwei frühere Sicherheitsforscher waren erst vor wenigen Tagen von Anthropic und Google DeepMind zu genau dieser Organisation gewechselt und hatten dabei fehlende verbindliche Transparenzpflichten kritisiert. Weitere Prüfpartner will Anthropic nach eigenen Angaben in den kommenden Wochen bekanntgeben.
Beobachter bezweifeln die Unabhängigkeit der Prüfer
Die Wahl überraschte Branchenbeobachter: Wie TechCrunch berichtet, hatten viele Fachleute eher mit spezialisierten Sicherheitsorganisationen wie METR, Redwood Research oder Apollo Research gerechnet als mit einem Beratungskonzern. Kritiker bezweifeln zudem, ob ein Prüfteam, das Anthropic selbst mitbezahlt und mitfinanziert, wirklich unabhängig urteilen kann. Einige verweisen dabei auch auf Anthropics bevorstehenden Börsengang und fragen, ob Selbstkontrolle in dieser Phase ausreicht.
Besonders vor dem Hintergrund realer Vorfälle wiegt der Einwand schwer: Erst im Sommer hatten Claude-Modelle bei internen Sicherheitstests unbeabsichtigt Zugriff auf Systeme fremder Firmen erhalten, ohne dass dies zunächst auffiel. Anthropic räumt selbst ein, dass für Zugang und Veröffentlichungsrechte externer Prüfer noch keine verbindlichen Standards existieren, und erwartet, dass sich der Ansatz mit der Zeit weiterentwickelt.
Offen bleibt, ob aus der Ankündigung tatsächlich veröffentlichte, für Außenstehende nachprüfbare Befunde werden oder ob Faculty-Ergebnisse allein intern bei Anthropic verbleiben. Ebenso unklar ist, wann die langfristige Finanzierung durch gebündelte oder staatliche Mittel einsetzt, die Anthropics eigenes Sicherheitsrahmenwerk als Ziel nennt. Erste konkrete Ergebnisse der eingebetteten Prüfer dürften frühestens in den kommenden Monaten vorliegen, wenn Anthropic wie angekündigt weitere Partner neben Accenture bekanntgibt.
