Prüf, was deine robots.txt erlaubt, und bau eine bessere.
Gib eine beliebige URL ein. Der Tester lädt die robots.txt der Website, liest sie so wie Google und zeigt für Googlebot, Bingbot und 13 KI-Bots, ob die URL gecrawlt werden darf und welche Regel entscheidet. Der Generator weiter unten schreibt dir eine neue Datei.
robots.txt ist eine Bitte, kein Schloss. Firewalls und Bot-Schutz im CDN können Crawler blockieren, bevor die Datei überhaupt gelesen wird.
- 15
- Crawler und KI-Bots ausgewertet
- 500 KiB
- Googles Größenlimit, geprüft
- 4
- Vorlagen im Generator
Was der Check prüft
Googles Regeln für robots.txt, angewendet auf die Live-Datei. Zu jedem Punkt steht, was gefunden wurde und was Google damit macht.
- 01
HTTP-Status
Was Google mit der Antwort macht: Eine Datei mit 2xx wird gelesen, ein 4xx (außer 429) gilt als keine robots.txt und damit ohne Einschränkungen, bei 429, 5xx oder Netzwerkfehlern pausiert Google das Crawling 12 Stunden und nutzt danach die letzte gültige Version.
- 02
Größe und Format
Dateigröße im Vergleich zu Googles Limit von 500 KiB, Content-Type, UTF-8 und der häufige Fall, dass unter /robots.txt eine HTML-Seite ausgeliefert wird.
- 03
Syntax
Zeilen, die keine gültigen Anweisungen sind, Regeln vor der ersten user-agent-Zeile, unbekannte Felder, Pfade ohne / am Anfang und Leerzeilen, die Gruppen scheinbar trennen, es aber nicht tun.
- 04
Anweisungen, die Google ignoriert
crawl-delay, noindex, nofollow, host und andere Felder, die manche Crawler kennen und Google nicht unterstützt, mit Hinweis, was du stattdessen nutzt.
- 05
Sitemap-Zeilen
Ob jede Sitemap-Zeile eine vollständige URL ist und ob die ersten drei mit 2xx antworten.
- 06
Deine URL, pro Crawler
Für Googlebot, Bingbot und 13 KI-Bots: Darf diese URL gecrawlt werden, und welche Regel in welcher Zeile entscheidet. Der Abgleich folgt Googles Regeln: die spezifischste Gruppe, die längste passende Regel, bei Gleichstand gewinnt allow.
- 07
Steuer-Tokens
Google-Extended und Applebot-Extended werden mit ausgewertet und als das gekennzeichnet, was sie sind: Tokens für die KI-Nutzung von Inhalten, keine Crawler.
robots.txt erstellen
Wähl eine Vorlage, trag die Pfade ein, die Crawler nicht abrufen sollen, und deine Sitemap, dann kopier die Datei. Alles läuft in deinem Browser, nichts davon wird übertragen.
Deine robots.txt
Was die Gruppen bewirken
Häufige Fragen
Hatte Google nicht einen eigenen robots.txt-Tester?
Ja. Google hat den robots.txt-Tester in der Search Console Ende 2023 eingestellt und durch den robots.txt-Bericht ersetzt. Der zeigt, welche robots.txt-Dateien Google für die 20 wichtigsten Hosts deiner Website gefunden hat, wann sie zuletzt abgerufen wurden und welche Zeilen Google nicht lesen konnte. Ob eine bestimmte URL gesperrt ist, prüfst du laut Google mit dem URL-Prüftool oder Googles Open-Source-Parser für robots.txt. Dieser Tester wendet dieselben Regeln auf jede Website an, auch auf solche ohne deinen Search-Console-Zugang.
Hält Disallow eine Seite aus Google heraus?
Nein. Disallow verhindert das Crawling, nicht die Indexierung. Wenn andere Seiten auf eine gesperrte URL verlinken, kann Google sie trotzdem indexieren, nur ohne Inhalt. Um eine Seite aus den Suchergebnissen herauszuhalten, lass Google sie crawlen und setz ein robots-Meta-Tag oder einen X-Robots-Tag-Header mit noindex. noindex in der robots.txt unterstützt Google seit 2019 nicht mehr.
Soll ich KI-Bots sperren?
Trenn Training von Suche. Trainings-Bots wie GPTBot, ClaudeBot und CCBot sammeln Inhalte für künftige Modelle, sie zu sperren ist eine geschäftliche Entscheidung. Such-Bots wie OAI-SearchBot, Claude-SearchBot und PerplexityBot entscheiden, ob Assistenten dich finden und zitieren können. Laut OpenAI erscheinen Websites, die OAI-SearchBot sperren, nicht in den Suchantworten von ChatGPT. Google-Extended steuert nur Gemini-Training und Grounding und hat keinen Einfluss auf die Google-Suche. Der KI-Crawler-Check prüft zusätzlich, ob dein Server oder CDN diese Bots blockiert, bevor robots.txt überhaupt gelesen wird. Mehr dazu: KI-Crawler mit robots.txt steuern.
Warum ignoriert ein Bot meine Regeln für User-agent: *?
Ein Crawler folgt nur der spezifischsten Gruppe, die ihn nennt. Sobald es eine Gruppe für GPTBot gibt, ignoriert GPTBot die *-Gruppe komplett. Pfade, die für alle Crawler gesperrt sein sollen, musst du in dieser Gruppe wiederholen. Mehrere Gruppen für denselben Crawler werden zusammengeführt, und Leerzeilen beenden keine Gruppe.
Wie schnell wirken Änderungen an der robots.txt?
Google cacht die robots.txt in der Regel bis zu 24 Stunden. Im robots.txt-Bericht der Search Console kannst du einen schnelleren Abruf anfordern. OpenAI gibt für seine Suche etwa 24 Stunden an. Andere Crawler nennen keinen Zeitraum.
Crawler können dich lesen. Zitieren dich KI-Assistenten auch?
Das KI-Sichtbarkeits-Audit testet die Fragen, die deine Kunden in ChatGPT, Perplexity, Gemini und Googles Übersichten mit KI stellen, misst, wie oft du im Vergleich zu deinen Wettbewerbern genannt und zitiert wirst, und zeigt, was du ändern musst.