CLOUDFLARE BLOCKIERT KI-BOTS STANDARDMÄßIG FÜR NEUE DOMAINS: DAS MUSST DU DAZU WISSEN

Cloudflare, einer der weltweit größten CDN- und Sicherheitsanbieter, sperrt seit Juli 2025 bei neuen Cloudflare-Domains automatisch den Zugriff von KI-Bots. Wir erklären dir, warum du diese Standard-Blockade unbedingt aufheben solltest und wie du sinnvolle Crawl-Limits setzt.   

DAS WICHTIGSTE IN KÜRZE:

• Cloudflare blockiert KI-Bots auf neuen Domains nun standardmäßig – darunter ChatGPT, Gemini, Claude und Perplexity 
• Diese Crawler analysieren öffentlich zugängliche Inhalte, zitieren Websites oder nutzen Daten fürs KI-Training – das ist nun nur noch mit aktiver Freigabe möglich 
• Website-Betreiber entscheiden selbst, ob und wie ihre Inhalte von KI-Systemen genutzt werden dürfen – das stärkt die Kontrolle über Sichtbarkeit und Datennutzung 
• Ohne Freigabe bist du für KI-Suchsysteme unsichtbar – dadurch können Reichweite und potenzielle Kunden verloren gehen
• Unsere Empfehlung: Zugriff erlauben, aber per Crawl-Limit kontrollieren, um Serverlast und Kosten gering zu halten 

Viele Webseitenbetreiber nutzen Cloudflare, da es ihre Website sicherer, schneller und zuverlässiger macht. So können sie ihre Besucher besser bedienen und ihre Seite gleichzeitig vor Bedrohungen und Angriffen schützen.

Seit Juli 2025 unterbindet Cloudflare standardmäßig den Zugriff von KI-Crawlern auf neu registrierte Domains. Betroffen sind Bots von Anbietern wie OpenAI (ChatGPT), Google, Anthropic, Perplexity, Claude und anderen KI-Unternehmen. Diese Crawler durchforsten öffentlich zugängliche Webseiten, um Inhalte zu analysieren, zu zitieren oder als Trainingsdaten für KI-Modelle zu verwenden.

Mit der neuen Voreinstellung dürfen solche Bots nur dann auf Inhalte zugreifen, wenn du als der Website-Betreiber dem ausdrücklich zustimmst. Dadurch verlagert sich die Kontrolle über die Verwendung eigener Webinhalte zurück an dich: Du entscheidest, ob, wie und unter welchen Bedingungen deine Inhalte von KI-Systemen genutzt werden dürfen.

Diese Maßnahme stärkt die digitale Souveränität und schafft mehr Transparenz bei der Datennutzung durch KI. 

WER IST BETROFFEN?

• Websites, deren Cloudflare Projekte nach dem 01.07.2025 neu aufgesetzt wurden
• Bei älteren Cloudflare Installationen bleibt alles beim Alten: Hier konntest du bereits zuvor manuell festlegen, ob KI-Bots zugelassen werden sollen oder nicht 

Standardmäßig ist der Zugriff dieser Bots bei neuen Cloudflare Domains nun gesperrt – sofern du als Seitenbetreiber dies nicht bewusst erlaubst.

WARUM IST DAS WICHTIG?

Die  „KI-Suchmaschinen” verändern die Art und Weise, wie Menschen Informationen finden: Anstatt klassischer Suchmaschinen wie Google, nutzen immer mehr Menschen KI-gestützte Antwortsysteme wie ChatGPT, Perplexity oder Google Gemini. Diese Systeme:

• beantworten Fragen direkt 
• verlinken oder zitieren Websites, aus denen sie ihre Informationen beziehen 
• empfehlen Produkte, Dienstleistungen und Anbieter – oft mit konkreten Verlinkungen 

Wenn deine Website von diesen Systemen nicht erkannt, gelesen (gecrawlt) oder indexiert werden kann, bist du in dieser neuen „Suchwelt” unsichtbar. Du erscheinst dann nicht in KI-Antworten, bekommst keinen Traffic aus diesen Quellen und verpasst/verlierst potenzielle Kunden und Reichweite.

UNSERE HANDLUNGSEMPFEHLUNG: KI-BOTS NICHT BLOCKIEREN!

Wer KI-Bots blockiert, verschenkt eine wachsende Quelle von Online-Präsenz und Reichweite.

Die Expertenmeinung von Hanseranking ist also klar: KI-Bots unbedingt freischalten – sonst verbaust du dir die Sichtbarkeit in der neuen Informationswelt.

TECHNISCHER TIPP

Um zu verhindern, dass KI-Bots deine Server übermäßig belasten oder hohe Kosten verursachen:

• Solltest du Crawl-Limits setzen, z. B. auf 15 bis 30 Anfragen pro Minute – das reicht in der Regel völlig aus
• Cloudflare erlaubt diese Einschränkungen über sogenannte Rate-Limiting-Regeln oder Bot- Management-Einstellungen

Wie das konkret geht, haben wir weiter unten für dich zusammengefasst.

DER SACHVERHALT IM ÜBERBLICK

PARADIGMENWECHSEL IM ONLINE-MARKETING

Gut aufgestellte Unternehmen gewinnen bereits heute Kunden über ChatGPT & Co., denn die Nutzung von KI-Systemen als Recherche- und Einkaufshilfe nimmt rasant zu. Wer nicht in diesen Systemen vertreten ist, verliert Marktanteile an Wettbewerber mit mehr Sichtbarkeit.

Das Verhalten der Internetnutzer und -anbieter verändert sich:

1. Von klassischen Google Suchen hin zu KI-Systemen
2. Von SEO hin zu AIO (Artificial Intelligence Optimization)

Du solltest deine Website also nicht nur für Google, sondern auch für KI-Systeme optimieren. Der erste Schritt ist der Zugang, der zweite sind Inhalte, die „verwertbar” oder zitierfähig sind.

Um diesen Paradigmenwechsel aktiv mitzugestalten und deine Präsenz in der neuen KI-Suche zu sichern, sind konkrete technische Schritte unerlässlich. Nur so bleibst du sichtbar. Lies zu diesem wichtigen Thema auch gerne unseren Blogbeitrag „KI-Chatbots verändern das Nutzerverhalten”.

WIE DU IN DER NEUEN KI-SUCHWELT SICHTBAR BLEIBST

… und gleichzeitig deine Serverlast unter Kontrolle hältst.

KI-BOTS BEI CLOUDFLARE FREISCHALTEN

Um die Standard-Blockade in Cloudflare aufzuheben, gehe wie folgt vor:

• Melde dich in deinem Cloudflare Dashboard an
• Wähle dein Website-Projekt aus. Navigiere zum Bereich „Bots” oder „Bot-Management”
• Suche nach einer Einstellung wie „KI-Bot-Protection” oder nach einer Liste blockierter Bots
• Hier solltest du die Möglichkeit finden, KI-Bots wie ChatGPT, OpenAI oder andere spezifizierte Bots zuzulassen oder von der Blockierung auszunehmen
• Bestätige die Änderungen und speichere sie

Falls keine explizite KI-Bot-Einstellung sichtbar ist, kannst du auch Folgendes tun:

• Unter „Firewall-Regeln” eine Regel aufheben oder anpassen, die AI-Bots ausschließt 
• Manuelle Ausnahmen für die User-Agents oder IP-Ranges bekannter KI-Bots hinzufügen 

CRAWL-LIMITS EINSTELLEN (RATE-LIMITING)

Um deine Server vor Überlastung zu schützen, solltest du Crawl-Limits für KI-Bots festlegen. Damit vermeidest du Probleme mit längeren Ladezeiten und gegebenenfalls höhere Kosten. So geht’s:

• Im Cloudflare Dashboard findest du den Bereich „Firewall” > „Tools” oder „Rate Limiting”
• Erstelle eine neue Rate-Limiting-Regel mit folgenden Einstellungen:
  • Ziel: deine Domain oder ausgewählte Pfade (z.B. „/”) 
  • Regel: Beschränke Anfragen von bekannten KI-Bot-IP-Adressen oder User-Agents 
  • Limit: 15 bis 30 Anfragen pro Minute (laut Experten die empfohlene Einstellung) 
  • Reaktion: Blockiere oder verzögere bei Überschreitung der Rate-Anfrage
• Speichere die Regel

EMPFOHLENE CRAWL-FREQUENZEN FÜR KI-BOTS

Die optimale Anzahl von Anfragen pro Minute, die du KI-Bots erlauben solltest, hängt stark von deiner Serverkapazität, deinem Hosting-Modell und der Art deiner Inhalte ab. Es gibt keine universelle Empfehlung, aber die folgenden Richtwerte und Überlegungen können dir bei der Entscheidung helfen:

• Kleine bis mittelgroße Websites: Begrenze die Anfragen auf 10 bis 30 pro Minute. Dies schützt deine Serverressourcen und verhindert unnötige Belastungen
• Große Websites mit hoher Kapazität: Je nach Infrastruktur kannst du 50 bis 100 Anfragen pro Minute zulassen. Überwache jedoch, die Auswirkungen auf die Serverleistung 
• Bei begrenzten Ressourcen oder sensiblen Inhalten: Ziehe in Betracht, KI-Bots vollständig zu blockieren oder die Anfragen auf ein bis fünf pro Minute zu beschränken

TECHNISCHE UMSETZUNG DER BEGRENZUNG

• Webserver-Konfiguration:
  • Apache: Nutze Module wie mod_evasive oder mod_security, um Anfragen zu überwachen und zu begrenzen 
  • Nginx: Verwende das limit_req-Modul, um die Rate von Anfragen zu kontrollieren 
• robots.txt: Obwohl nicht alle KI-Bots die robots.txt-Datei respektieren, kannst du dort Crawl-Delay-Anweisungen hinzufügen, um die Crawl-Frequenz zu steuern

WEITERE TIPPS

• Prüfe regelmäßig deine Webserver-Logs auf Bot-Aktivität und passe die Rate bei Bedarf nach oben oder unten an
• Achte darauf, dass du die legitimen KI-Bots wirklich auch zulässt, sonst verlierst du Reichweite
• Identifiziere, welche Bots auf deine Website zugreifen, und bewerte, ob deren Aktivitäten für dich von Nutzen sind
• Ergänze deine Website mit klaren, gut strukturierten Inhalten (z. B. mit Schema-Markup), damit KI-Systeme deine Informationen leicht verstehen und zitieren können

Hintergrund: Was hinter der KI-Bots-Sperre steckt

Auslöser für diese Maßnahme von Cloudflare ist der wachsende Widerstand von Website-Betreibern und Verlagen gegen die Nutzung ihrer Inhalte durch KI-Anbieter – oft ohne deren Zustimmung und ohne Vergütung. Viele Betreiber befürchten, dass ihre redaktionellen, kreativen oder geschäftlichen Inhalte von KI-Systemen ausgelesen, verarbeitet und wirtschaftlich genutzt werden – ohne dass ihnen ein direkter Nutzen daraus entsteht. Auch rechtliche Fragen rund um Urheberrecht, Datenhoheit und Monetarisierung spielen dabei eine zentrale Rolle.

Mit dieser Voreinstellung reagiert Cloudflare auf den Wunsch vieler Kunden, mehr Kontrolle über den Datenzugriff durch KI-Systeme zu erhalten. Während es für bestehende Domains keine automatische Sperrung gibt, bedeutet die neue Standardeinstellung bei neuen Domains einen Paradigmenwechsel: Website-Betreiber müssen sich nun aktiv dafür entscheiden, den Zugriff durch KI-Bots zu erlauben – bislang war es meist umgekehrt.

Es geht dabei jedoch nicht nur um Urheberrechtsschutz, denn KI-Crawler werden immer häufiger zum Server-Problem. Im Januar legten KI-Bots vermutlich sogar eine Linux-News-Seite lahm. 

ÜBER CLOUDFLARE

Cloudflare ist ein wichtiger Akteur im Bereich der Web-Sicherheit und -Performance. Neben fortschrittlichen Firewalls bietet Cloudflare auch eine Vielzahl leistungssteigernder Services für Webseiten, darunter CDN-Caching, Bildoptimierung und intelligentes Traffic-Routing. 

Cloudflare hat einen signifikanten Anteil an der Internet-Infrastruktur in Deutschland. Allerdings existieren keine öffentlich zugänglichen, präzisen Zahlen speziell für den bundesdeutschen Markt. Die aktuellsten globalen Daten zeigen, dass etwa 20  % des weltweiten Internetverkehrs über das Netzwerk von Cloudflare laufen. Und: Rund 80 % aller Webseiten, die ein CDN nutzen, setzen auf Cloudflare.

FAZIT: SICHTBARKEIT IN DER KI-SUCHE SICHERN

Cloudflare blockiert KI-Bots standardmäßig – und das hat weitreichende Folgen: Wer den Zugriff nicht aktiv erlaubt, wird in Zukunft in KI-gestützten Suchsystemen wie ChatGPT, Gemini oder Perplexity kaum noch sichtbar sein. Das bedeutet: weniger Reichweite, weniger Besucher und weniger potenzielle Kunden.

Unternehmen, die weiterhin online sichtbar bleiben wollen, müssen jetzt aktiv werden. Die Lösung: gezielt KI-Crawler zulassen – kombiniert mit klaren Regeln und Limits. So bleibt die Kontrolle erhalten, die Technik stabil – und die Sichtbarkeit in der neuen Welt der KI-Suche gesichert. Jetzt handeln statt verschwinden!