Wer darf deine Inhalte nutzen? KI-Crawler steuern 2026: robots.txt, Cloudflare und Googles neuer KI-Opt-out

Du kannst KI-Training ausschließen und trotzdem in KI-Antworten auftauchen. Dafür musst du aber vier getrennte Entscheidungen treffen statt einen „KI blockieren“-Schalter umzulegen. Stand Oktober 2026 sind das: robots.txt-Regeln pro Bot (Training, Suche und Nutzer-Abrufe laufen über verschiedene Bots), die Bot-Einstellungen deines CDN, Google-Extended für das Gemini-Training und eine neue Einstellung in der Search Console, mit der du deine Website aus den Übersichten mit KI und dem KI-Modus nimmst, ohne die klassischen Rankings zu berühren. Den teuersten Fehler solltest du kennen: Seit dem 15. September 2026 sperrt die Einstellung „Block“ für KI-Training bei Cloudflare auch Googlebot, Bingbot und Applebot. Damit ist auch dein Suchtraffic weg.

Die deutschsprachigen Anleitungen, die ich mir für diesen Artikel angesehen habe, sind meist Listen von User-Agents mit einem robots.txt-Block darunter. Mehrere nennen Bots, die der jeweilige Anbieter selbst nicht dokumentiert, Zahlen ohne Quelle, oder beschreiben Cloudflares Pläne aus dem Juli so, als wären sie unverändert umgesetzt worden. Googles neue Opt-out-Einstellung kommt kaum vor. Ich halte mich hier an das, was die Betreiber selbst dokumentieren, Stand Oktober 2026, mit Links.

Die Kurzfassung: Training darfst du sperren, Suche nie aus Versehen

Für KI-Produkte kommen drei Arten von Bots auf deine Website:

• Trainings-Crawler sammeln Inhalte für künftige Modelle. Wenn du sie sperrst, hat das laut den Anbietern keine Auswirkung darauf, ob du in KI-Antworten auftauchst.
• Such-Crawler bauen den Index, den KI-Assistenten vor einer Antwort durchsuchen. Sperrst du sie, fällst du aus diesen Antworten heraus.
• Nutzer-Abrufe laden eine Seite, weil jemand den Assistenten gerade danach gefragt hat. Einige Anbieter sagen offen, dass diese Abrufe die robots.txt nicht beachten.

Training zu sperren ist eine legitime Geschäftsentscheidung. KI-Such-Crawler zu sperren passiert dagegen meist versehentlich: durch eine CDN-Voreinstellung, eine kopierte robots.txt oder ein Sicherheits-Plugin. Um genau diesen Unterschied geht es im Rest des Artikels.

Welche Bots es gibt und was sie tun

Die Tabelle enthält nur, was die Betreiber auf ihren eigenen Crawler-Seiten dokumentieren.

Betreiber	Token in der robots.txt	Wofür	Was eine Sperre bewirkt
OpenAI	GPTBot	Training	Signalisiert, dass Inhalte nicht für das Training von Foundation Models genutzt werden sollen (OpenAI)
OpenAI	OAI-SearchBot	ChatGPT-Suche	Gesperrte Websites werden laut OpenAI nicht in ChatGPT-Suchantworten gezeigt, können aber als Navigationslinks erscheinen
OpenAI	ChatGPT-User	Abrufe für Nutzeranfragen und GPT Actions	Laut OpenAI gelten robots.txt-Regeln hier möglicherweise nicht, weil die Abrufe von Nutzern ausgelöst werden
Anthropic	ClaudeBot	Training	Künftige Inhalte sollen aus Trainingsdaten ausgeschlossen werden (Anthropic)
Anthropic	Claude-SearchBot	Suchindex	Keine Indexierung für die Suche, weniger Sichtbarkeit in Claudes Suchergebnissen
Anthropic	Claude-User	Abrufe für Nutzerfragen	Kein Abruf deiner Inhalte bei Nutzeranfragen
Perplexity	PerplexityBot	Perplexity-Suche, laut Perplexity nicht für das Training von Foundation Models (Perplexity)	Du fehlst in den Perplexity-Suchergebnissen
Perplexity	Perplexity-User	Abrufe für Nutzerfragen	Laut Perplexity ignoriert dieser Abruf die robots.txt „generally“, also in der Regel
Google	Googlebot	Google Suche, einschließlich Übersichten mit KI und KI-Modus	Du fehlst in der Google Suche
Google	Google-Extended	Training von Gemini sowie Fundierung in Gemini Apps und Vertex AI (Google)	Laut Google kein Einfluss auf die Aufnahme in die Google Suche, kein Ranking-Signal
Apple	Applebot-Extended	Training der Apple-Foundation-Models (Apple)	Inhalte bleiben über Siri, Spotlight und Safari auffindbar

Was davon in der Praxis wichtig ist:

• Anthropic dokumentiert drei Bots. Manche Anleitungen nennen mehr. Die Hilfeseite von Anthropic (Stand 7. April 2026) nennt ClaudeBot, Claude-User und Claude-SearchBot. Alle drei beachten laut Anthropic die robots.txt, unterstützt wird auch das nicht standardisierte Crawl-delay. IP-Sperren statt robots.txt funktionieren laut Anthropic womöglich nicht zuverlässig, weil der Bot dann die robots.txt nicht mehr lesen kann.
• Google-Extended ist nur ein Token. Es gibt keinen eigenen User-Agent; Google crawlt mit den normalen Crawlern und liest das Token als Nutzungsregel. In deinen Logs findest du es deshalb nicht.
• Änderungen wirken nicht sofort. OpenAI nennt etwa 24 Stunden, Perplexity bis zu 24 Stunden. Google cacht die robots.txt in der Regel bis zu 24 Stunden, länger, wenn die Datei nicht abgerufen werden kann.
• Bei OpenAI sind Suche und Training getrennt. Du kannst OAI-SearchBot erlauben und GPTBot sperren. Sind beide erlaubt, nutzt OpenAI laut Dokumentation unter Umständen einen Crawl für beide Zwecke.

Eine robots.txt, die Training ausschließt und die KI-Suche offen lässt:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /

User-agent: *
Disallow: /warenkorb/

Zwei Regeln aus Googles robots.txt-Spezifikation werden hier oft übersehen. Mehrere User-agent-Zeilen dürfen sich eine Gruppe teilen, wie oben. Und ein Crawler folgt nur der spezifischsten Gruppe, die auf seinen Namen passt; alle anderen Gruppen ignoriert er. Hat GPTBot also eine eigene Gruppe, gelten deine Regeln unter User-agent: * für ihn nicht mehr. Soll /warenkorb/ für alle gesperrt bleiben, muss die Zeile in jede Gruppe.

Ein Hinweis für Deutschland: § 44b Abs. 3 UrhG erlaubt Text und Data Mining, solange der Rechteinhaber es sich nicht vorbehalten hat. Bei online zugänglichen Werken ist der Vorbehalt nur wirksam, „wenn er in maschinenlesbarer Form erfolgt“. Ob eine Zeile in der robots.txt dafür im Einzelfall reicht, ist eine Rechtsfrage. Die beantworte ich nicht, dafür brauchst du eine Anwältin oder einen Anwalt. Aus SEO-Sicht ist nur wichtig: Der Vorbehalt gegen Training darf die Such-Bots nicht mitsperren.

Dein CDN entscheidet vielleicht für dich: Cloudflare 2026

Läuft deine Website hinter Cloudflare, entscheiden dessen Bot-Einstellungen, was überhaupt bei deinem Server ankommt, bevor die robots.txt gelesen wird. Die Pläne haben sich 2026 geändert, und Artikel aus dem Juli stimmen inzwischen teilweise nicht mehr.

1. Juli 2026. Cloudflare führt drei KI-Kategorien ein, die auf allen Tarifen getrennt steuerbar sind, auch im Free-Tarif: Search, Agent (Abrufe im Auftrag einer Person, zum Beispiel ChatGPT-User) und Training. Angekündigt war, dass neue Domains ab dem 15. September Training und Agent auf Seiten mit Werbung blockieren und dass Mixed-Use-Crawler wie Googlebot überall dort gesperrt werden, wo Training gesperrt ist.

21. August 2026. Es folgt Bot Preference Sync: Cloudflare schreibt deine KI-Einstellungen in die robots.txt, vor den Inhalt, der schon drinsteht. Für neue Kunden ist das standardmäßig aktiv.

15. September 2026. Umgesetzt wurde etwas anderes als im Juli angekündigt:

• Neue Option für Training: Disallow AI Training. Sie schreibt eine Regel gegen Training in die robots.txt. Crawler, die Cloudflare als „Accountable“ einstuft, darunter Googlebot, Bingbot und Applebot, dürfen weiter für die Suche crawlen. Alle anderen Trainings-Crawler werden blockiert.
• Block und Block on pages with ads gelten jetzt auch für Mixed-Use-Crawler. Laut Cloudflare stoppt „Block“ Applebot, Bingbot und Googlebot komplett, die Suche eingeschlossen.
• Der Ein-Klick-Schalter „Block AI Bots“ und Managed robots.txt sind abgekündigt. Bestehende Einstellungen wurden migriert: Domains mit Training auf „Block“ stehen jetzt auf Disallow AI Training und verlieren Googlebot also nicht plötzlich.
• Neue Domains bekommen eine von zwei Voreinstellungen. Ohne Werbung: alles erlaubt. Mit Werbung: Search erlaubt, Training auf Disallow AI Training, Agent auf Seiten mit Werbung blockiert.

Für SEO heißt das zweierlei. Wer nach dem 15. September Training auf „Block“ stellt, weil es nach der strengeren Option klingt, nimmt seine Website aus Google und Bing. Und Disallow AI Training erreicht Microsoft noch nicht: Laut Cloudflare ist die Unterstützung einer No-Training-Regel in der robots.txt bei Bing für Anfang 2027 geplant. Bis dahin ist das NOARCHIVE-Tag von Bing der Weg, Training dort auszuschließen.

Ein stiller Nebeneffekt: Ist Bot Preference Sync aktiv, ist die robots.txt, die Bots sehen, nicht mehr die Datei aus deinem Repository. Dein Entwicklungsteam bearbeitet unter Umständen eine Datei, der Cloudflare eigene Regeln voranstellt.

Google ist ein Sonderfall: vier Hebel, vier Aufgaben

Google nutzt einen Crawler, Googlebot, für die Suche und für die KI-Funktionen in der Suche. Deshalb ist „Googles KI sperren“ so verwirrend. In Googles Dokumentation zu KI-Funktionen steht, dass robots.txt-Anweisungen für Googlebot das Mittel sind, um das Crawling für die Suche zu steuern, KI eingeschlossen. Was die einzelnen Hebel tun:

Hebel	Wirkt auf	Wirkt nicht auf
Disallow für Googlebot	Die gesamte Google Suche, KI-Funktionen eingeschlossen	–
Google-Extended	Gemini-Training, Fundierung in Gemini Apps und Vertex AI	Aufnahme in die Suche und Ranking
nosnippet, data-nosnippet, max-snippet	Wie viel Google von einer Seite in der Suche als Vorschau zeigt, KI-Funktionen eingeschlossen	Indexierung
Search Console: Einstellungen > Generative KI-Funktionen der Google Suche	Übersichten mit KI, KI-Modus, generative KI-Funktionen in Discover	Klassische Ergebnisse; laut Google kein Ranking- oder Aufnahme-Signal für andere Bereiche der Suche

Die Search-Console-Einstellung ist neu. Google hat sie am 3. Juni 2026 angekündigt, zunächst als Test in Großbritannien; seit dem 31. August 2026 steht sie allen Websites weltweit zur Verfügung. Die Details stehen auf der Hilfeseite:

• Berücksichtigen ist die Standardeinstellung. Ausschließen heißt: Links zu deiner Website und deine Inhalte erscheinen nicht mehr in diesen Funktionen, und deine Inhalte werden dort nicht zur Fundierung von KI-Antworten genutzt. Du bekommst darüber keine Zugriffe und keine Impressionen mehr.
• Der Ausschluss greift laut Google meist innerhalb weniger Tage, wegen Caching teils später.
• Auf das Training hat die Einstellung keinen Einfluss. Dafür verweist Google auf Google-Extended.
• Sie gilt nicht zwingend für die ganze Website. Untergeordnete Properties (eine Subdomain oder eine URL-Präfix-Property wie https://example.de/ratgeber/) übernehmen die Einstellung der übergeordneten Property, können sie aber überschreiben. Du kannst also einen Bereich ausschließen und den Rest drinlassen.

Bevor du etwas ausschließt, schau in den Leistungsbericht zu generativen KI-Funktionen. Seit dem 31. August zeigt er Impressionen in Übersichten mit KI und im KI-Modus nach Seite, Land und Gerät. Er zeigt Impressionen, keine Klicks. Was diese Funktionen dir tatsächlich bringen, siehst du erst zusammen mit deinen Analytics-Daten.

Entscheidungsmatrix: welche Einstellung zu welchem Geschäftsmodell passt

Das ist mein Ausgangspunkt, keine Regel. Er geht davon aus, dass du Besucher willst, keine Lizenzdeals.

Geschäftsmodell	Trainings-Bots	KI-Such-Bots	Nutzer-Abrufe	Google-KI-Funktionen (Search Console)
B2B, Leadgenerierung, Dienstleistung	Erlauben oder sperren, wenig Unterschied	Erlauben	Erlauben	Berücksichtigen
Onlineshop	Erlauben, außer deine Produkttexte sind ein echter Wert	Erlauben	Erlauben	Berücksichtigen
Werbefinanzierter Publisher	Sperren	Erlauben	Deine Entscheidung: diese Abrufe sehen keine Werbung	Erst messen, dann pro Bereich entscheiden
Affiliate	Sperren, wenn die Inhalte eigene Recherche sind	Erlauben	Erlauben	Erst messen

Die Begründung:

• B2B und Dienstleister. Wer einen Assistenten nach einer Shortlist von Anbietern fragt, soll dich finden. Ob dein Text in einem Trainingsdatensatz landet, ist daneben zweitrangig. Training ist eine Haltungsfrage, der Zugang für die Suche nicht.
• Onlineshops. Produktseiten sollen gefunden und in Vergleiche übernommen werden. Training zu sperren schützt hier selten viel, es sei denn, deine Beschreibungen, Ratgeber oder Tests unterscheiden dich vom Wettbewerb.
• Publisher. Training nimmt den Inhalt ohne Besuch, Agents rufen ihn ab, ohne Werbung zu sehen. Das ist die Logik hinter Cloudflares Voreinstellung für werbefinanzierte Websites. Der Ausschluss in der Search Console ist der teure Hebel, weil auch die Links in den Übersichten mit KI wegfallen. Entscheide ihn mit Daten aus dem Leistungsbericht und, wenn sich deine Bereiche unterscheiden, pro Bereich.
• Affiliates. Der Wert liegt im Klick zum Partner. Zitiert eine KI-Antwort deinen Vergleich ohne Besuch, schadet das; verlinkt sie dich, hilft es. Das hängt vom Suchtyp ab, also erst messen, dann ausschließen.

Für Google-Extended und die Search-Console-Einstellung schreibt Google ausdrücklich, dass sie kein Ranking-Signal für die klassischen Ergebnisse sind.

So prüfst du, was wirklich passiert

Die robots.txt ist eine Absichtserklärung. Was Bots tatsächlich bekommen, entscheiden Server, CDN und Sicherheits-Plugins. In einem Audit prüfe ich beides, in dieser Reihenfolge:

1. Die live ausgelieferte robots.txt abrufen, nicht die aus dem Repository: curl -s https://example.de/robots.txt. Achte auf einen BEGIN Cloudflare-Block oder andere Regeln, die du nicht geschrieben hast.
2. Gruppen und Vorrang prüfen. Wiederholt jede KI-Bot-Gruppe die Regeln, die für alle gelten sollen (wie /warenkorb/ oben)? Passt versehentlich etwas auf Googlebot oder OAI-SearchBot? Für einzelne URLs kannst du die robots.txt testen.
3. Die Seite als jeder Bot abrufen. Mein kostenloser KI-Crawler-Check prüft 13 KI-Bots gegen deine robots.txt und ruft die Seite mit dem User-Agent jedes Bots ab. Bekommt ein Browser 200 und ein Bot 403 oder 429, blockiert eine Firewall-Regel, egal was in der robots.txt steht. Eine Grenze hat so ein Test: Er sendet den User-Agent von einer normalen IP. Regeln, die die IP-Adresse des Bots prüfen, siehst du nur in deinen Logs.
4. Server- oder CDN-Logs lesen. Nach User-Agent und Statuscode filtern. Prüfe, ob eine Anfrage wirklich vom Betreiber kommt: Google beschreibt einen Reverse-DNS-Check, OpenAI, Anthropic und Perplexity veröffentlichen IP-Listen, die auf den oben verlinkten Seiten stehen.
5. CDN-Einstellungen prüfen. Bei Cloudflare die Einstellungen für Training, Search und Agent auf Domain-Ebene ansehen und sicherstellen, dass Training nicht auf „Block“ steht, wenn du nicht aus Google verschwinden willst.
6. Search Console prüfen. Der robots.txt-Bericht zeigt, welche robots.txt-Dateien Google gefunden hat, wann sie zuletzt gecrawlt wurden und welche Fehler es gab. Unter Einstellungen > Generative KI-Funktionen der Google Suche siehst du, ob eine Property oder eine übergeordnete Property die KI-Funktionen ausschließt.

Wenn du über den Zugang hinaus wissen willst, was Zitierungen beeinflusst: Meine KI-Checkliste geht Crawler-Zugriff, Rendering, zitierbare Inhalte, Entitäten und Messung durch. Warum Google für seine KI-Funktionen keine speziellen Dateien oder Markups verlangt, steht in meinem Artikel zu FAQ-Snippets und strukturierten Daten.

Was ich diese Woche tun würde

Schreib pro Bot-Kategorie einen Satz auf: Training ja oder nein, KI-Suche ja, Nutzer-Abrufe ja oder nein, Google-KI-Funktionen berücksichtigen oder ausschließen. Dann sorg dafür, dass robots.txt, CDN und Search Console dasselbe sagen, und prüf das Ergebnis von außen. Der typische Fehler ist keine falsche Entscheidung, sondern eine Einstellung, die niemand bewusst getroffen hat: eine Plugin-Voreinstellung, eine migrierte CDN-Einstellung, eine aus einem Blog kopierte robots.txt-Zeile.

Wenn du das für deine Website einmal sauber aufgestellt haben willst, inklusive der Frage, was KI-Suche dir heute bringt, gehört das zu meiner Arbeit rund um KI-Suche.