KI-Crawler prüfen: Darf ChatGPT Ihre Website lesen?
Ihre Angaben
Ihr Ergebnis
Das Ergebnis erscheint hier, sobald Sie „KI-Crawler prüfen“ wählen.
Erster Entwurf geschenkt, live ab 14,99 € netto/Monat im Jahresvertrag
Gefunden werden mit einer neuen Website – erst ansehen, dann entscheiden
Beschreiben Sie Ihr Unternehmen in wenigen Sätzen oder nennen Sie Ihre bisherige Website. Den ersten Entwurf Ihrer kompletten Website erstellen wir kostenlos, fertig in unter 24 Stunden. Der KI-SEO-Assistent gibt jeder Seite einen eigenen Titel, eine Beschreibung und eine sprechende Adresse und pflegt Sitemap und strukturierte Daten automatisch.
- Erster Entwurf geschenkt
- In wenigen Minuten ausgefüllt
- Pflicht: Worum es geht, zwei, drei Sätze zu Ihrem Unternehmen, Name und E-Mail
- Ohne Anmeldung
Nach dem Absenden: Sie erhalten gleich eine E-Mail mit Bestätigungslink. Erst nach Ihrer Bestätigung legen wir los – wir lesen Ihre Angaben, die KI-Agentur baut Ihre Website, und Sie bekommen den Link zu Ihrem Entwurf per E-Mail, in unter 24 Stunden und ohne Anruf.
Jede spätere Änderung beauftragen Sie mit einem Satz. Gebucht wird erst zum Überarbeiten und Live-Stellen, ab 14,99 € netto im Monat im Jahresvertrag (Monatsvertrag 17,99 €) – alle Preise ansehen.
Angebot ausschließlich für Unternehmer (§ 14 BGB), juristische Personen des öffentlichen Rechts und öffentlich-rechtliche Sondervermögen. Alle Preise netto zzgl. gesetzlicher Umsatzsteuer.
Echte Websites aus dem Builder: cortexion.ai deutsche-tanktechnik.de lichtmast-mieten.de und diese Website selbst
Training oder Suche?
Training-Crawler sammeln Texte, mit denen ein Anbieter seine KI-Modelle trainiert. Such-Crawler erfassen Seiten für die Suche eines Dienstes, damit er sie in Antworten finden und verlinken kann. Sperren Sie nur die Training-Crawler, dürfen die Such-Crawler Ihre Seiten weiter lesen.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /Ob Sie das wollen, ist eine geschäftliche Entscheidung.
So prüfen wir
Das Werkzeug prüft, ob KI-Dienste Ihre Startseite lesen dürfen und können: was Ihre robots.txt ihren Crawlern erlaubt und was im HTML ohne JavaScript steht. Eine Zusage, dass ein Dienst Ihre Website nutzt oder nennt, ist das nicht.
Der Weg zum Ergebnis
- Aus Ihrer Eingabe wird der reine Domainname. Wir prüfen nur Websites, die öffentlich im Internet stehen; zeigt die Domain oder eine Weiterleitung auf eine interne Adresse, brechen wir ab.
- Unser Server ruft die Startseite auf und folgt höchstens 3 Weiterleitungen. Danach liest er die robots.txt der Domain, bei der er angekommen ist.
- robots.txt: Wir werten die Datei für die Startseite nach dem Standard RFC 9309 aus, genau wie das Werkzeug „Indexierung prüfen“. Für jeden Crawler gilt seine eigene Gruppe, sonst die Gruppe „User-agent: *“. Groß- und Kleinschreibung zählt beim Namen nicht. Die längste passende Regel entscheidet, bei Gleichstand „Allow“; „*“ und „$“ wirken als Platzhalter.
- Ein Fehler ist nur die Sperre für alle: Die Gruppe „User-agent: *“ sperrt die Startseite, etwa mit „Disallow: /“. Jeden einzelnen Crawler zeigen wir als Information mit „erlaubt“ oder „gesperrt“ und der Regel, die greift. Training sperren und Suche erlauben ist eine zulässige Entscheidung, kein Fehler.
- Die geprüften Crawler, nach Zweck: Training: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended, Applebot-Extended, Meta-ExternalAgent, Amazonbot. Offenes Webarchiv: CCBot (Common Crawl). Suche: OAI-SearchBot (OpenAI), Claude-SearchBot (Anthropic), PerplexityBot, Googlebot. Abruf auf Wunsch von Nutzern: ChatGPT-User (OpenAI), Claude-User (Anthropic), Perplexity-User. Google-Extended ist ein robots.txt-Token ohne eigenen Crawler. Google-Extended steuert das Training der Gemini-Modelle und die Fundierung von Antworten in der Gemini-App und in Vertex AI; auf die Google-Suche einschließlich der Übersichten mit KI wirkt es nicht. Googlebot ist der Crawler der Google-Suche; die KI-Antworten in der Google-Suche nutzen denselben Suchindex. Angaben von Google zu seinen Crawlern und Google-Extended
- Gibt es keine robots.txt (Status 404 oder ein anderer 4xx-Status), ist allen Crawlern alles erlaubt. Antwortet der Server dort mit einem Serverfehler (5xx), ist das eine Warnung: Crawler, die sich an den Standard halten, behandeln das wie eine Sperre der ganzen Website, solange es anhält.
- Status 429 („zu viele Anfragen“) ist ebenfalls eine Warnung. Nach RFC 9309 zählt 429 als 4xx-Status, also wie eine fehlende robots.txt; so zeigen wir es für die Crawler der anderen Anbieter. Google dagegen wertet 429 als Serverfehler und behandelt ihn wie eine Sperre; Googlebot und Google-Extended stehen dann auf „gesperrt“. Google zum Umgang mit Statuscodes der robots.txt
- Inhalt ohne JavaScript: Wir zählen die Zeichen sichtbaren Texts im HTML der Startseite, ohne Skripte auszuführen. Seitenkopf, Skripte, Stile, template und noscript zählen nicht mit; den Text in noscript sehen Besucher mit JavaScript nicht. Richtwerte: unter 100 Zeichen ist ein Fehler, unter 300 Zeichen eine Warnung.
- Textvorschau: Steht „nosnippet“ oder „max-snippet:0“ in einem robots-Meta-Tag, auch für einzelne Crawler wie „googlebot“, oder im HTTP-Header „X-Robots-Tag“, ist das eine Warnung. Das begrenzt, wie viel Text von Ihrer Seite angezeigt werden darf.
- Strukturierte Daten: derselbe Punkt wie im Website-Check. JSON-LD oder Microdata auf der Startseite ist in Ordnung, fehlt beides, ist das eine Warnung.
- llms.txt: Wir rufen /llms.txt ab und sagen unter dem Ergebnis, ob dort eine Textdatei liegt. Bewertet wird das nicht.
- Über dem Ergebnis steht, wie viele der geprüften Crawler Ihre robots.txt erlaubt. Ließ sich ein Punkt nicht prüfen, steht dort „Nicht geprüft“ mit dem Grund.
- Das Ergebnis einer Domain bewahren wir 10 Minuten auf. Wird sie in dieser Zeit noch einmal geprüft, zeigen wir es mit der Uhrzeit der ursprünglichen Prüfung.
Annahmen und Grenzen
- Das Werkzeug zeigt, ob KI-Crawler Ihre Startseite lesen dürfen und ob sie dort ohne JavaScript Text finden. Ob ChatGPT, Gemini, Claude oder ein anderer Dienst Ihre Firma in Antworten nennt, misst es nicht.
- Die robots.txt ist eine Bitte, kein Schloss. Sie ist eine freiwillige Vereinbarung und erzwingt keinen Zugriffsschutz. Ob sich ein Crawler daran hält, entscheidet sein Anbieter.
- ChatGPT-User ruft Seiten auf Wunsch von Nutzern ab. OpenAI weist darauf hin: Weil Nutzer diese Abrufe auslösen, können robots.txt-Regeln hier womöglich nicht greifen. Angaben von OpenAI zu seinen Crawlern (englisch)
- Nach Angabe von OpenAI kann es etwa 24 Stunden dauern, bis eine Änderung der robots.txt bei der Suche in ChatGPT greift. Angaben von OpenAI zu seinen Crawlern (englisch)
- Unser Server ruft Ihre Website als Prüfwerkzeug auf, nicht als KI-Crawler. Sperrt Ihr Server oder ein vorgeschalteter Dienst bestimmte Crawler, etwa über eine Firewall, sieht die Prüfung das nicht.
- Geprüft wird die Startseite. Unterseiten können andere Regeln haben.
- Die Liste der Crawler ist eine Auswahl der bekannten Dienste, jeweils mit den Angaben ihres Betreibers. Andere Crawler prüft das Werkzeug nicht einzeln. Bytespider von ByteDance fehlt, weil wir dazu keine Angaben des Betreibers gefunden haben, auf die sich Name und Zweck stützen ließen.
- Perplexity-User ruft Seiten auf Wunsch von Nutzern ab und beachtet die robots.txt laut Perplexity im Allgemeinen nicht. Was das Ergebnis für ihn zeigt, ist deshalb nur, was Ihre robots.txt ihm erlaubt. Angaben von Perplexity zu seinen Crawlern (englisch)
- Das Ergebnis speichern wir mit Domain und Prüfzeit 10 Minuten lang, ohne Bezug zu Ihnen. Zum Schutz vor Missbrauch sind je Besucher 20 Prüfungen in der Stunde möglich und je Domain 30 Prüfungen in der Stunde über alle Besucher.
Quellen
Stand: Oktober 2026. Zweck und Hinweise der Crawler geben wir so wieder, wie ihre Betreiber sie beschreiben; die Auswertung der robots.txt folgt RFC 9309.
- Robots Exclusion Protocol, RFC 9309 der IETF. RFC 9309 (englisch)
- OpenAI: GPTBot, OAI-SearchBot, ChatGPT-User. Angaben von OpenAI zu seinen Crawlern (englisch)
- Anthropic: ClaudeBot, Claude-SearchBot, Claude-User. Angaben von Anthropic zu ClaudeBot, Claude-SearchBot und Claude-User (englisch)
- Google: Google-Extended, Googlebot. Angaben von Google zu seinen Crawlern und Google-Extended
- Apple: Applebot-Extended. Angaben von Apple zu Applebot und Applebot-Extended (englisch)
- Meta: Meta-ExternalAgent. Angaben von Meta zu seinen Crawlern (englisch)
- Amazon: Amazonbot. Angaben von Amazon zu Amazonbot (englisch)
- Common Crawl: CCBot. Angaben von Common Crawl zu CCBot (englisch)
- Perplexity: PerplexityBot, Perplexity-User. Angaben von Perplexity zu seinen Crawlern (englisch)
Häufige Fragen
Fragen zu diesem Werkzeug
Etwas offen geblieben? Schreiben Sie uns per E-Mail an hello@cortexion.ai oder unter +49 221 67763990.
GPTBot ist der Crawler von OpenAI, dem Anbieter von ChatGPT. Er sammelt Inhalte öffentlicher Websites, mit denen OpenAI seine KI-Modelle trainiert. In der robots.txt sprechen Sie ihn mit „User-agent: GPTBot“ an. Für die Suche in ChatGPT nutzt OpenAI einen anderen Crawler, OAI-SearchBot; Abrufe, um die ein Nutzer im Chat bittet, laufen als ChatGPT-User. Eine Sperre für GPTBot betrifft deshalb nach Angaben von OpenAI nur das Training.
Das ist eine geschäftliche Entscheidung; eine richtige Antwort für alle gibt es nicht. Für eine Sperre kann sprechen, dass Ihre Texte nicht in das Training von KI-Modellen eingehen sollen, etwa weil Ihre Inhalte selbst Ihr Produkt sind. Dagegen kann sprechen: Darf der Crawler eines Dienstes Ihre Seiten nicht lesen, kann der Dienst sie nicht selbst abrufen, um sie in Antworten zu nennen oder zu verlinken. Ein Mittelweg ist, nur die Training-Crawler zu sperren und die Such-Crawler zu erlauben, wie im Beispiel oben.
Training-Crawler sammeln Texte, mit denen ein Anbieter seine KI-Modelle trainiert. Such-Crawler erfassen Seiten für die Suche eines Dienstes, damit er sie bei passenden Fragen finden und verlinken kann. Dazu kommen Abrufe auf Wunsch von Nutzern: Bittet jemand im Chat, eine bestimmte Seite zu lesen, ruft der Dienst sie in diesem Moment ab. In der robots.txt steuern Sie die drei getrennt, soweit der Anbieter dafür getrennte Crawler nennt.
llms.txt ist ein Vorschlag für eine Textdatei im Hauptverzeichnis einer Website. Sie soll Sprachmodellen in Kurzform sagen, was auf der Website steht und wo. Ein verbindlicher Standard ist sie nicht. Nach Aussagen von Google wertet die Google-Suche llms.txt nicht aus; ob andere Dienste sie lesen, ist nicht belegt. Die Datei ist kein Muss. Unter dem Ergebnis steht, ob wir auf Ihrer Website eine gefunden haben.
Mit diesem Werkzeug nicht: Es zeigt nur, ob KI-Crawler Ihre Website lesen dürfen und dort Text finden. Was ein Dienst antwortet, hängt von der Frage ab und kann sich mit der Zeit ändern. Sie können aber selbst nachfragen: Stellen Sie ChatGPT, Gemini, Claude oder Perplexity die Fragen, die Ihre Kunden stellen würden, etwa nach Ihrer Leistung an Ihrem Ort. Halten Sie Datum, Dienst, Frage und Antwort fest und wiederholen Sie das von Zeit zu Zeit. Eine Zusage, dass ein Dienst Ihre Firma nennt, kann niemand geben.
Erstellt vom Cortexion-Team · Stand: