webcrawler

Der Webrobot webcrawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 148.251.234.171 und unter Verwendung des User Agent Mozilla/5.0 (compatible; VelenPublicWebCrawler/1.0; https://velen.io). Mit 0.0173% Marktanteil ist webcrawler auf Platz 55 der aktivsten Webrobots im Internet.

1.866Zugriffe
0,017%Marktanteil
Nov. 2014Erstmals gesehen
17.05.2019Zuletzt aktiv

Was ist webcrawler?

indexiert und analysiert Inhalte von Webseiten.

Der Webrobot webcrawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 148.251.234.171 und unter Verwendung des User Agent Mozilla/5.0 (compatible; VelenPublicWebCrawler/1.0; https://velen.io). Mit 0.0173% Marktanteil ist webcrawler auf Platz 55 der aktivsten Webrobots im Internet.

Betreiber & Risiko

? Risiko unbekannt

robots.txt – webcrawler blockieren

Füge diese Zeilen in deine robots.txt ein, um webcrawler den Zugriff auf deine Website zu verwehren:

robots.txt 
User-agent: webcrawler
Disallow: /

Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:

robots.txt (selektiv) 
User-agent: webcrawler
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /

IP-Adressen 62 bekannte IPs

Diese IP-Adressen wurden bisher von webcrawler verwendet:

DE 148.251.234.171
159.203.67.240
US 174.138.63.96
US 184.73.41.118
DE 188.40.120.19
FR 51.68.79.181
FR 51.75.13.156
FR 51.75.14.187
FR 51.75.5.39
US 54.145.71.183
US 54.160.202.146
US 54.161.165.128
US 54.162.241.8
US 54.163.166.146
US 54.174.52.24
US 54.174.53.146
US 54.174.53.146
US 54.174.53.230
US 54.174.53.45
US 54.174.53.5
US 54.174.53.5
US 54.174.53.9
US 54.174.54.0
US 54.174.54.156
US 54.174.54.215
US 54.174.54.74
US 54.174.55.116
US 54.174.55.136
US 54.174.55.154
US 54.174.55.46
US 54.174.56.168
US 54.174.56.222
US 54.174.56.23
US 54.174.56.238
US 54.174.56.62
US 54.174.57.136
US 54.174.57.241
US 54.174.57.241
US 54.174.57.7
US 54.174.57.70
US 54.174.57.93
US 54.174.58.211
US 54.174.58.92
US 54.174.59.201
US 54.174.59.99
US 54.174.60.148
US 54.174.60.155
US 54.174.60.178
US 54.174.60.193
US 54.174.61.122
US 54.174.61.191
US 54.174.61.68
US 54.174.62.169
US 54.174.62.175
US 54.174.62.193
US 54.174.62.253
US 54.234.142.40
FR 54.38.252.149
FR 54.38.253.233
54.38.255.116
US 54.80.211.94
US 54.90.248.109

User Agents

Mit diesen User-Agent-Strings identifiziert sich webcrawler:

  • Mozilla/5.0 (compatible; VelenPublicWebCrawler/1.0; https://velen.io)
  • VelenPublicWebCrawler (velen.io)
  • Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36 HubSpot Webcrawler
  • Mozilla/5.0 (Windows; U; Windows NT 5.0; en-US; rv:1.7.10) Gecko/20050716 Thunderbird/1.0.6 – WebCrawler http://cognitiveseo.com/bot.html