Was ist backlinkcrawler?
indexiert Inhalte von Websites.
Der Webrobot backlinkcrawler indexiert Inhalte von Websites. Er zeigt sich meistens mit der IP Adresse 136.243.134.31 und unter Verwendung des User Agent BacklinkCrawler (http://www.backlinktest.com/crawler.html). Mit 0.332% Marktanteil ist backlinkcrawler auf Platz 18 der aktivsten Webrobots im Internet.
„Sie brauchen keine Angst zu haben, dass es sich um einen SPAM Bot handelt. Der Bot kommt von unseren Crawler, der Webseiten nach externen und internen Links untersucht. Diese Daten werden dazu verwendet, unseren Backlinkchecker unter http://www.backl…"
— Offizielle Beschreibung des Betreibers
robots.txt – backlinkcrawler blockieren
Füge diese Zeilen in deine robots.txt ein, um backlinkcrawler den Zugriff auf deine Website zu verwehren:
User-agent: backlinkcrawler
Disallow: /
Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
User-agent: backlinkcrawler
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /
IP-Adressen 7 bekannte IPs
Diese IP-Adressen wurden bisher von backlinkcrawler verwendet:
136.243.134.31
138.201.137.134
144.76.92.113
176.9.16.253
46.4.100.231
5.9.65.19
95.216.33.45
User Agents
Mit diesen User-Agent-Strings identifiziert sich backlinkcrawler:
BacklinkCrawler (http://www.backlinktest.com/crawler.html)