Autor: Luca Benedetti, Geschäftsführer bei B.I.G. Media Consulting
Datengrundlage: eigene Erhebung „AI-Crawler-Sperren im deutschen Bau- und Industriesektor“, 14.721 Domains, davon 9.169 mit robots.txt, erhoben am 30. und 31. August 2026. Zur Studie →
Betriebe der Gebäudetechnik sperren AI-Crawler mit 12,5 Prozent dreimal so häufig aus wie Industrie und Werke mit 4,2 Prozent. Das ist der größte Unterschied in unserer Auswertung von 14.721 deutschen Betrieben vom 30. und 31. August 2026.
Die Werte im Vergleich
| Branche | Domains | mit robots.txt | sperrt | Anteil |
|---|---|---|---|---|
| Gebäudetechnik | 3.739 | 2.015 | 252 | 12,5 % |
| Baustoff- und Fachhandel | 1.893 | 1.044 | 81 | 7,8 % |
| Entsorgung und Recycling | 872 | 586 | 44 | 7,5 % |
| Bauhandwerk | 3.635 | 2.570 | 120 | 4,7 % |
| Bauunternehmen | 758 | 530 | 24 | 4,5 % |
| Industrie und Werke | 3.824 | 2.424 | 102 | 4,2 % |
Was der Unterschied wahrscheinlich bedeutet
Naheliegend wäre die Deutung, dass Gebäudetechnik-Betriebe KI kritischer gegenüberstehen. Dafür geben die Daten nichts her, im Gegenteil. Über alle Branchen hinweg blockieren 66,9 Prozent der sperrenden Betriebe ausschließlich über eine pauschale Regel, ohne einen AI-Crawler je beim Namen zu nennen. Wo kaum jemand bewusst entscheidet, kann der Branchenunterschied schwerlich auf unterschiedlichen Überzeugungen beruhen.
Plausibler ist der technische Weg: In verschiedenen Branchen sind verschiedene Baukästen, Agenturen und Hosting-Pakete verbreitet, und die bringen ihre eigenen Voreinstellungen mit. Dafür spricht auch, dass wir 21 Gruppen mit jeweils mindestens 15 byte-identischen robots.txt-Dateien gefunden haben, zusammen 1.061 Seiten.
Was das für Ihren Betrieb heißt
Der Branchenwert sagt nichts über Ihre Website. Er sagt nur, wie wahrscheinlich es ist, dass Sie betroffen sind, ohne es zu wissen. Die einzige belastbare Auskunft gibt ein Blick in Ihre eigene robots.txt.
Wie wir gemessen haben
Die Stichprobe umfasst 14.721 eindeutige Domains deutscher Betriebe aus Bau, Bauhandwerk, Gebäudetechnik, Baustoff- und Fachhandel, Entsorgung und Industrie. Die Domains stammen aus OpenStreetMap, abgerufen über die Overpass-API; ausgewertet wurden Objekte mit hinterlegtem Website-Feld. Die OSM-Daten stehen unter der ODbL-Lizenz.
Je Domain haben wir die Datei /robots.txt mit eigener Kennung im User-Agent abgerufen. Nicht erreichbare Domains wurden in einem zweiten Durchlauf erneut geprüft, zusätzlich mit www-Präfix und über HTTP. Dadurch ließen sich 1.393 zunächst gescheiterte Abrufe auflösen.
Als Sperre gilt eine Disallow-Regel auf / für den jeweiligen Crawler, sofern keine engere Allow-Regel sie aufhebt. Greift keine eigene Regel, zählt die Regel für User-agent: *. Genau diese Unterscheidung trennt die bewusste von der unbeabsichtigten Sperre. Erhoben wurde am 30. und 31. August 2026; robots.txt-Dateien ändern sich laufend, die Zahlen sind eine Momentaufnahme.
Was die Zahlen nicht zeigen
- 20,2 Prozent der Domains blieben auch im zweiten Durchlauf nicht erreichbar. Darunter sind aufgegebene Domains, aber auch Server, die automatisierte Abrufe abweisen. Diese Fälle fehlen in der Auswertung.
- OpenStreetMap bildet Betriebe ungleichmäßig ab. Regionen und Branchen sind unterschiedlich vollständig erfasst. Die Stichprobe ist deshalb nicht repräsentativ im statistischen Sinn.
- Gebäudetechnik und Bauhandwerk stellen zusammen die Hälfte der Stichprobe. Alle Werte weisen wir deshalb zusätzlich nach Branche aus, statt nur einen Gesamtwert zu nennen.
- Gemessen wurde ausschließlich die robots.txt. Sperren über Firewall-Regeln, Cloudflare-Einstellungen oder serverseitige Filter sind darin nicht sichtbar und kommen zusätzlich hinzu.
Quellen
- B.I.G. Media Consulting: AI-Crawler-Sperren im deutschen Bau- und Industriesektor, 31. August 2026. 14.721 Domains, Erhebung am 30. und 31. August 2026, Lizenz CC BY 4.0
