robots.txt-Check: Sperrt Ihre Website KI‑Crawler aus?
Geben Sie Ihre Domain ein. Sie sehen sofort, ob ChatGPT, Claude, Perplexity und Gemini Ihre Seite lesen dürfen. Kostenlos, ohne Anmeldung.
Was der Check prüft
Der Check ruft die Datei /robots.txt Ihrer Domain ab und wertet sie für die zwölf wichtigsten KI-Crawler aus, von GPTBot und OAI-SearchBot (OpenAI) über ClaudeBot (Anthropic) und PerplexityBot bis Google-Extended. Für jeden Crawler sehen Sie, ob er Ihre Seite lesen darf und woher die Entscheidung kommt: aus einer eigenen Regel, aus der pauschalen Regel für alle Besucher oder aus gar keiner Regel.
Wie die Regeln zusammenwirken
Ein Crawler hält sich an den Block, der ihn namentlich nennt. Gibt es keinen, gilt der Block für User-agent: *. Steht dort Disallow: /, ist er ausgesperrt, auch wenn nie jemand über KI entschieden hat. Genau das ist der häufigste Fall.
# sperrt alle Besucher aus, auch alle KI-Crawler
User-agent: *
Disallow: /
# bewusst entschieden: nur dieser Crawler ist ausgesperrt
User-agent: GPTBot
Disallow: /Was unsere Studie zeigt
66,9 %
der sperrenden Betriebe sperren KI nur über die pauschale Regel
96,7 %
der Betriebe mit robots.txt nennen keinen KI-Crawler beim Namen
14,0 %
der Domains haben gar keine robots.txt
Eigene Erhebung: 14.721 Domains deutscher Betriebe aus Bau und Industrie, davon 9.169 mit robots.txt, erhoben am 30. und 31. August 2026, Lizenz CC BY 4.0. Zur Studie
Eine robots.txt, die KI bewusst hereinlässt
Wer von ChatGPT, Claude oder Perplexity empfohlen werden will, sollte die KI-Crawler ausdrücklich erlauben und Bereiche wie Admin-Oberflächen gezielt ausschließen, statt alles zu sperren. Ein Ausgangspunkt:
User-agent: *
Allow: /
Disallow: /admin/
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Google-Extended
Allow: /
Sitemap: https://ihre-domain.de/sitemap.xmlHäufige Fragen
robots.txt und KI
Eine Textdatei im Hauptverzeichnis Ihrer Website. Sie sagt automatischen Besuchern wie Suchmaschinen und KI-Crawlern, welche Bereiche sie lesen dürfen. Sie erreichen sie unter ihre-domain.de/robots.txt.
Wenn Sie in Antworten von ChatGPT, Claude oder Perplexity vorkommen wollen: ja. Was die Crawler nicht lesen dürfen, können die Modelle nicht zitieren oder empfehlen.
Technisch ist dann alles erlaubt. Bewusst entschieden ist aber nichts, und ändert Ihr Hoster seine Voreinstellung, ändert sich Ihre Sichtbarkeit ohne Ihr Zutun.
Die geprüfte Domain und das Ergebnis gehen per E-Mail an uns. Kontaktdaten fragen wir nicht ab, Ihre IP-Adresse speichern wir nicht. Einzelheiten stehen in der Datenschutzerklärung.
Ja. Schreiben Sie uns mit Ihrer Domain, wir sagen Ihnen, wo die Regel herkommt und wie sie sich sauber ändern lässt.