Was ist crazywebcrawler?
indexiert und analysiert Inhalte von Webseiten.
Der Webrobot crazywebcrawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 104.131.103.136 und unter Verwendung des User Agent CRAZYWEBCRAWLER 0.9.10, http://www.crazywebcrawler.com. Mit 0.0018% Marktanteil ist crazywebcrawler auf Platz 117 der aktivsten Webrobots im Internet.
„Thank you for contacting us! We will perform an analysis on your website and exclude from crawling as soon as possible."
— Offizielle Beschreibung des Betreibers
robots.txt – crazywebcrawler blockieren
Füge diese Zeilen in deine robots.txt ein, um crazywebcrawler den Zugriff auf deine Website zu verwehren:
User-agent: crazywebcrawler
Disallow: /Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
User-agent: crazywebcrawler
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /IP-Adressen 97 bekannte IPs
Diese IP-Adressen wurden bisher von crazywebcrawler verwendet:
104.131.103.136
104.131.103.184
104.131.128.72
104.131.137.98
104.131.158.145
104.131.192.24
104.131.199.240
104.131.219.100
104.131.224.71
104.131.238.82
104.131.27.95
104.131.30.6
104.131.32.58
104.131.32.72
104.131.32.86
104.131.32.88
104.131.33.12
104.131.4.233
104.131.43.141
104.131.85.180
104.131.85.201
104.131.85.208
104.131.85.64
104.131.85.71
104.236.109.64
107.170.148.29
107.170.155.41
107.170.171.80
107.170.187.89
107.170.236.110
107.170.92.69
128.199.143.250
128.199.178.198
128.199.32.141
128.199.32.147
128.199.32.149
128.199.32.151
162.243.112.125
162.243.15.136
162.243.164.216
162.243.168.156
162.243.20.40
162.243.206.109
162.243.25.221
162.243.28.88
162.243.38.201
162.243.57.252
162.243.63.140
162.243.83.137
162.243.83.15
178.62.162.230
178.62.172.227
178.62.187.191
178.62.187.193
178.62.193.231
178.62.204.65
178.62.207.234
178.62.208.67
178.62.208.68
178.62.208.69
178.62.213.41
178.62.214.157
178.62.214.203
178.62.22.93
178.62.248.65
178.62.45.16
178.62.6.147
178.62.7.242
178.62.76.245
178.62.76.250
178.62.76.251
178.62.76.252
178.62.77.5
188.226.186.26
192.241.129.50
192.241.132.199
192.241.136.221
192.241.136.87
192.241.143.83
192.241.150.242
192.241.155.7
192.241.156.47
192.241.156.76
192.241.183.75
192.241.190.17
192.81.208.149
192.81.213.122
198.199.64.160
198.199.78.209
198.199.88.108
198.199.88.169
198.211.107.222
198.211.110.194
198.211.117.110
198.211.117.86
208.68.38.162
45.55.159.161
User Agents
Mit diesen User-Agent-Strings identifiziert sich crazywebcrawler:
CRAZYWEBCRAWLER 0.9.10, http://www.crazywebcrawler.comCRAZYWEBCRAWLER 0.9.2, http://www.crazywebcrawler.comCRAZYWEBCRAWLER 0.9.1, http://www.crazywebcrawler.comCRAZYWEBCRAWLER 0.9.0, http://www.crazywebcrawler.com