magpie-crawler

Der Webrobot magpie-crawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 185.25.33.72 und unter Verwendung des User Agent magpie-crawler/1.1 (U; Linux amd64; en-GB; http://www.brandwatch.net). Mit 0.0064% Marktanteil ist magpie-crawler auf Platz 81 der aktivsten Webrobots im Internet.

687Zugriffe
0,006%Marktanteil
Okt. 2014Erstmals gesehen
28.05.2015Zuletzt aktiv

Was ist magpie-crawler?

indexiert und analysiert Inhalte von Webseiten.

Der Webrobot magpie-crawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 185.25.33.72 und unter Verwendung des User Agent magpie-crawler/1.1 (U; Linux amd64; en-GB; http://www.brandwatch.net). Mit 0.0064% Marktanteil ist magpie-crawler auf Platz 81 der aktivsten Webrobots im Internet.

„Continue"

— Offizielle Beschreibung des Betreibers

Betreiber & Risiko

? Risiko unbekannt

robots.txt – magpie-crawler blockieren

Füge diese Zeilen in deine robots.txt ein, um magpie-crawler den Zugriff auf deine Website zu verwehren:

robots.txt 
User-agent: magpie-crawler
Disallow: /

Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:

robots.txt (selektiv) 
User-agent: magpie-crawler
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /

IP-Adressen 7 bekannte IPs

Diese IP-Adressen wurden bisher von magpie-crawler verwendet:

GB 185.25.33.72
GB 5.102.174.132
GB 94.228.34.203
GB 94.228.34.238
GB 94.228.34.249
GB 94.228.34.250
GB 94.228.34.251

User Agents

Mit diesen User-Agent-Strings identifiziert sich magpie-crawler:

  • magpie-crawler/1.1 (U; Linux amd64; en-GB; http://www.brandwatch.net)