Was ist twittercrawler?
indexiert und analysiert Inhalte von Webseiten.
Der Webrobot twittercrawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 144.76.103.139 und unter Verwendung des User Agent Mozilla/5.0 (compatible; TwitterCrawler). Mit 0.0321% Marktanteil ist twittercrawler auf Platz 49 der aktivsten Webrobots im Internet.
Betreiber & Risiko
- Keine öffentlichen Betreiber-Infos bekannt
robots.txt – twittercrawler blockieren
Füge diese Zeilen in deine robots.txt ein, um twittercrawler den Zugriff auf deine Website zu verwehren:
User-agent: twittercrawler
Disallow: /
Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
User-agent: twittercrawler
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /
IP-Adressen 34 bekannte IPs
Diese IP-Adressen wurden bisher von twittercrawler verwendet:
144.76.103.139
144.76.104.4
144.76.104.5
144.76.166.12
144.76.183.244
144.76.183.245
144.76.186.100
144.76.186.101
144.76.186.103
144.76.186.104
144.76.186.232
144.76.186.98
144.76.186.99
148.251.81.73
148.251.86.49
176.9.101.99
5.9.154.109
5.9.38.157
5.9.41.71
5.9.41.72
5.9.41.73
5.9.41.74
5.9.54.16
5.9.73.169
5.9.73.211
5.9.73.212
5.9.73.213
78.46.21.158
88.198.16.122
88.198.25.213
88.198.26.46
88.198.26.67
88.198.26.84
88.198.38.242
User Agents
Mit diesen User-Agent-Strings identifiziert sich twittercrawler:
Mozilla/5.0 (compatible; TwitterCrawler)