Cloudflare hat am 15. September 2026 eine neue Einstellung namens „Disallow AI Training” eingeführt: Website-Betreiber können KI-Training ablehnen, ohne dafür aus der Google-Suche zu verschwinden. Voraussetzung ist der neue „Accountable”-Status, den bislang sieben große Technikfirmen tragen. Neu angelegte, werbefinanzierte Seiten blockieren KI-Training künftig automatisch.
Neuer Schalter ersetzt pauschale Bot-Blockade
Bislang kannten Cloudflare-Kunden nur eine grobe Wahl: KI-Bots pauschal blockieren oder zulassen. Der neue Schalter kennt vier Stufen – Zulassen, KI-Training verweigern, Sperren auf Werbeseiten und vollständiges Blockieren – und lässt sich für jede Domain einzeln setzen, wie Cloudflare in seinem Blogbeitrag erläutert. Bereits im Juli hatte das Unternehmen angekündigt, Training- und Agent-Bots ab dem 15. September auf Seiten mit Werbeanzeigen standardmäßig zu blockieren. Neu hinzukommende, werbefinanzierte Domains erhalten die Einstellung „KI-Training verweigern” jetzt automatisch als Vorgabe, während Seiten ohne Werbung weiterhin alle Bot-Typen zulassen. Bestehende Kundeneinstellungen wandelte Cloudflare zum Stichtag automatisch in die neue Kategorie um, sodass Suchmaschinen wie Google und Apple crawlfähig blieben, während reine Trainings-Zugriffe wegfielen, berichtet Search Engine Journal. CEO Matthew Prince begründet den Schritt damit, dass Cloudflare so die Offenheit der Suche erhalten und Rechteinhabern zugleich echte Kontrolle über die Nutzung ihrer Inhalte geben wolle.
Accountable-Status gilt für sieben große Technikfirmen
Wer die Einstellung „KI-Training verweigern” wählt, verliert nicht automatisch die Sichtbarkeit in der Suche – vorausgesetzt, der jeweilige Anbieter trägt den neuen Accountable-Status. Um ihn zu erhalten, muss ein Unternehmen laut Cloudflare vier Bedingungen erfüllen: eine Abmeldemöglichkeit vom KI-Training über robots.txt oder einen vergleichbaren Standard, eine Abmeldemöglichkeit von KI-generierten Zusammenfassungen, vorerst direkt beim jeweiligen Anbieter und ab Anfang 2027 gebündelt im Cloudflare-Dashboard, Einblick auf URL-Ebene in die Trainingsnutzung sowie die Zusicherung, dass eine Trainings-Absage das Suchranking nicht verschlechtert. Apple, Google und Microsoft erfüllen diese Kriterien für ihre kombinierten Search-und-Training-Crawler wie Googlebot und Applebot. Amazon, Anthropic, Meta und OpenAI gelten für ihre separat geführten Trainings-Crawler ebenfalls als Accountable. Wer keinen dieser sieben Anbieter zusätzlich sperrt, kann KI-Training also ablehnen, ohne aus Google- oder Bing-Ergebnissen zu verschwinden – für alle anderen, nicht gelisteten Mischcrawler greift dagegen die strengste gewählte Regel.
Zahlen zeigen zurückhaltende Nutzung der neuen Kontrollen
Trotz der neuen Möglichkeiten nutzen bislang nur wenige Website-Betreiber granulare Bot-Kontrollen: Nach Cloudflares eigenen, unabhängig nicht verifizierten Netzwerkdaten blockieren weniger als ein Prozent aller Kunden Suchmaschinen-Crawler, während 17 Prozent das KI-Training einschränken. Mischcrawler, die Suche und Training in einer Bot-Kennung bündeln, machen 36,6 Prozent des verifizierten Crawler-Traffics aus – genau jene Gruppe, für die der neue Accountable-Status gedacht ist. Cloudflare begründet den Aufwand auch mit dem Nutzerverhalten: Mehr als 40 Prozent der Menschen, die eine KI-Zusammenfassung lesen, brechen ihre Suche danach ab, während Besucher, die über KI-Suchdienste kommen, drei- bis fünfmal häufiger konvertieren als klassische Suchbesucher. Für Betreiber werbefinanzierter Seiten ergibt sich daraus ein Zielkonflikt zwischen Sichtbarkeit in neuen KI-Suchwegen und dem Schutz eigener Inhalte vor unvergütetem Training.
Offen bleibt, ob die bislang niedrige Nutzungsquote von 17 Prozent steigt, sobald mehr Betreiber von der neuen Feinsteuerung erfahren – oder ob die Komplexität aus vier Bot-Kategorien und vier Accountable-Kriterien viele eher abschreckt. Ein echter Lackmustest kommt erst Anfang 2027, wenn Cloudflare die Abmeldung von KI-Zusammenfassungen selbst ins eigene Dashboard integrieren will: Erst dann ließe sich die gesamte Bandbreite an KI-Nutzung – Training, Suche und automatisch generierte Antworten – tatsächlich an einer Stelle steuern.
