ENTermin buchen

Können KI-Suchmaschinen deine Website lesen?

Füg eine URL ein. Der Check testet 13 KI-Crawler von OpenAI, Anthropic, Perplexity, Google, Apple, Meta und anderen gegen deine robots.txt und deinen Server und prüft dann, was sie tatsächlich lesen können. Keine E-Mail, keine Anmeldung.

13
KI-Bots getestet
~15 s
bis zum Befund
0 €
kostenlos, ohne E-Mail-Pflicht

Was der KI-Crawler-Check prüft

KI-Suche kann nur Seiten zitieren, die ihre Crawler abrufen und lesen können. Diese Prüfungen decken den technischen Teil ab und laufen serverseitig gegen die Live-URL.

  1. robots.txt, pro KI-Bot

    Jeder Bot wird gegen seine eigene Gruppe in der robots.txt geprüft (oder die *-Gruppe), mit Longest-Match-Regeln, für diese URL und für die Startseite.

  2. Sperren durch Server und CDN

    Wir rufen die Seite als normaler Browser und als jeder KI-Crawler ab. Bekommt der Browser 200 und ein Bot 403 oder 429, blockiert eine Firewall- oder Bot-Schutz-Regel, egal was in der robots.txt steht.

  3. Such-Bots vs. Trainings-Bots

    Such-Bots und nutzerausgelöste Bots entscheiden, ob KI-Assistenten dich lesen und zitieren können. Trainings-Bots entscheiden nur, ob deine Inhalte künftige Modelle trainieren.

  4. Inhalt im rohen HTML

    Die meisten KI-Crawler führen kein JavaScript aus. Erscheint der Text erst, nachdem Skripte laufen, sehen sie eine leere Seite.

  5. Strukturierte Daten

    JSON-LD sagt Maschinen, wer du bist, wer was geschrieben hat und um welche Entität es auf einer Seite geht.

  6. llms.txt und Anweisungen

    Ob /llms.txt existiert und ob die Seite noindex, noai oder noimageai sendet.

Fragen zu KI-Crawlern

Was ist der Unterschied zwischen Trainings-Bots und Such-Bots?

Trainings-Bots (GPTBot, ClaudeBot, CCBot, Google-Extended und andere) sammeln Inhalte, um künftige Modelle zu trainieren. Such- und Nutzer-Bots (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User) rufen Seiten ab, um Fragen sofort zu beantworten, oft mit Link zur Quelle. Trainings-Bots zu sperren ist eine legitime geschäftliche Entscheidung. Such-Bots zu sperren heißt, dass KI-Assistenten dich weder lesen noch zitieren können.

Wenn ich GPTBot sperre, verschwinde ich dann aus der ChatGPT-Suche?

Nein. OpenAI nutzt getrennte Crawler: GPTBot für das Training und OAI-SearchBot für die ChatGPT-Suche. Laut OpenAI-Dokumentation werden Websites, die OAI-SearchBot aussperren, nicht in den Suchantworten von ChatGPT angezeigt, während GPTBot nur die Nutzung fürs Training steuert (OpenAI-Doku zu den Crawlern).

Spielt llms.txt eine Rolle?

Sie ist ein optionaler Vorschlag: eine reine Textdatei, die KI-Tools auf deine wichtigsten Inhalte hinweist. Manche Tools lesen sie; Google hat gesagt, dass es sie für die Suche nicht nutzt. Auf dokumentationslastigen Websites lohnt sie ein paar Minuten, aber sie repariert keine Website, die KI-Crawler gar nicht erreichen.

Wie kann ein CDN KI-Bots sperren, ohne dass ich es weiß?

Viele CDNs und Hoster liefern einen Bot-Schutz mit, der KI-Crawler standardmäßig oder per Schalter blockiert und oft allem, was sich als KI-Bot ausweist, ein 403 liefert. Das passiert, bevor die robots.txt überhaupt gelesen wird. Deshalb ruft dieser Check die Seite zusätzlich mit dem User-Agent jedes Bots ab.

Alles ist grün. Tauche ich jetzt in ChatGPT und Perplexity auf?

Nicht automatisch. Zugang ist die Voraussetzung, nicht das Ergebnis. Ob Assistenten dich tatsächlich erwähnen und zitieren, hängt von deinen Inhalten ab, von deiner Autorität zum Thema und davon, wie oft du anderswo genannt wirst. Genau das misst das KI-Sichtbarkeits-Audit.

Sie können dich lesen. Empfehlen sie dich auch?

Das KI-Sichtbarkeits-Audit testet die Fragen, die deine Kunden tatsächlich in ChatGPT, Perplexity, Gemini und Googles Übersichten mit KI stellen, misst, wie oft du im Vergleich zu deinen Wettbewerbern erwähnt und zitiert wirst, und zeigt, was du ändern solltest.

15-Minuten-Termin buchenKI-Sichtbarkeits-Audit

Du sprichst mit der Person, die das Audit macht. Antwort innerhalb von 24 Stunden.