Cloudflare gibt allen Kunden neue Werkzeuge an die Hand, um den Zugriff von KI-Bots auf ihre Websites präziser zu steuern. Statt wie bisher nur pauschal zwischen “alle KI-Crawler blockieren” oder “erlauben” zu wählen, können Seitenbetreiber künftig nach dem Zweck eines Bots unterscheiden.
Drei Kategorien statt Alles-oder-Nichts
Laut dem offiziellen Blogbeitrag von Cloudflare unterscheidet das neue System zwischen drei Kategorien: “Search” für Bots, die Inhalte indexieren, um später darauf basierende Suchanfragen zu beantworten; “Agent” für automatisierte Systeme, die in Echtzeit im Auftrag einer Person handeln, etwa Chat-Fetch-Bots wie ChatGPT-User oder Browser-Agenten wie Gemini oder Claude; und “Training”, also Crawler, die Inhalte zum Training oder Fine-Tuning von KI-Modellen sammeln. Mehrzweck-Crawler, die mehrere dieser Funktionen zugleich erfüllen, sollen nach Darstellung von Cloudflare künftig in allen zutreffenden Kategorien gleichzeitig erfasst werden, statt nur in einer. Die neuen Einstellungsmöglichkeiten stehen laut Cloudflare auch Kunden des kostenlosen Tarifs zur Verfügung.
Neue Standardeinstellungen ab 15. September
Ab dem 15. September 2026 gelten für alle neu zu Cloudflare hinzukommenden Domains neue Standardregeln: Auf Seiten mit Werbeanzeigen werden Training- und Agent-Bots automatisch blockiert, während Search-Crawler weiterhin standardmäßig erlaubt bleiben. Cloudflare begründet das damit, dass Werbung ein Signal dafür sei, dass Seitenbetreiber menschliche Aufmerksamkeit als Geschäftsgrundlage ansehen – ein Ziel, das Training- und Agent-Bots potenziell untergraben, während Search-Traffic in der Regel Besucher zurück auf die Seite bringe. Mehrzweck-Crawler wie Googlebot, Applebot oder Bingbot werden dabei nach der jeweils strengsten zutreffenden Regel behandelt: Wer Training-Bots blockiert, blockiert damit automatisch auch Crawler, die Training mit anderen Funktionen kombinieren. Seitenbetreiber können diese neuen Standardeinstellungen laut Cloudflare jederzeit vor dem Stichtag in ihren Sicherheitseinstellungen deaktivieren.
Content Use: Wie Bots Inhalte nutzen dürfen
Ergänzend zur Zweck-Kategorie führt Cloudflare eine zweite Steuerungsebene ein, die regelt, was ein Bot mit gecrawlten Inhalten anschließend tun darf. Drei Abstufungen stehen zur Wahl: “immediate” erlaubt Interaktion, aber kein Speichern oder Wiederverwenden; “reference” – die Standardeinstellung – erlaubt Indexierung, Auszüge und Rückverweise; “full” erlaubt Zusammenfassung und vollständige Wiedergabe. Diese Werte lassen sich mit den Bot-Kategorien kombinieren, etwa um Search-, SEO- und Werbeprüf-Bots zuzulassen, aber nur bis zur Nutzungsstufe “reference”. Cloudflare erweitert dafür den bestehenden robots.txt-Standard “Content Signals” um ein zusätzliches, optionales Feld namens “use”.
BotBase und neue Regeln für “Verified”-Bots
Für Enterprise-Kunden führt Cloudflare zudem BotBase ein, eine durchsuchbare Datenbank aller bekannten Bots direkt im Dashboard, die Klassifizierung und Content-Nutzung jedes einzelnen Bots offenlegt. Gleichzeitig ändert Cloudflare die Bedeutung des “Verified”-Status: Bislang wurden alle verifizierten Bots automatisch zugelassen, künftig entscheidet stattdessen die jeweilige Kategorie eines Bots, ob und wofür er Zugang erhält. Ein Bot, der Inhalte vollständig reproduziert statt nur darauf zu verweisen, kann laut Cloudflare den “Verified”-Status grundsätzlich nicht mehr erhalten.
Kontext: Bots überholen erstmals menschlichen Traffic
Cloudflares Vorstoß fällt in eine Zeit, in der sich das Verhältnis zwischen menschlichem und automatisiertem Web-Traffic grundlegend verschoben hat. Cloudflare-CEO Matthew Prince erklärte laut einem Bericht von Tom’s Hardware Anfang Juni 2026, automatisierte Systeme seien erstmals in der Geschichte des Internets für einen größeren Anteil der HTTP-Anfragen verantwortlich als Menschen – konkret 57,5 zu 42,5 Prozent nach Cloudflare-eigenen Radar-Daten. Diesen Wendepunkt hatte Prince zuvor erst für Ende 2027 erwartet; er räumte gegenüber Reportern ein, die zugrunde liegende Klassifizierung sei “etwas unsauber”, der grundsätzliche Trend aber eindeutig.
Einordnung
Cloudflares neues, dreistufiges Kategoriensystem reagiert auf ein Problem, das Website-Betreiber seit dem Aufkommen generativer KI zunehmend beschäftigt: Ein pauschales Blockieren aller KI-Bots kostet häufig auch Sichtbarkeit in Suchmaschinen, während ein pauschales Erlauben unkontrollierten Zugriff auf eigene Inhalte für das KI-Training bedeutet. Ob sich die neuen Standardeinstellungen zum 15. September tatsächlich als praktikabler Mittelweg erweisen, dürfte sich erst zeigen, wenn Cloudflares mehr als 20 Prozent Marktanteil unter den Website-Betreibern beginnen, davon in größerem Umfang Gebrauch zu machen.
