Tag Archives: magpie-crawler
Magpie-crawler

Der Webrobot Magpie-crawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich am häufigsten mit der IP Adresse 185.25.33.72 und unter Verwendung des User Agent magpie-crawler/1.1 (U; Linux amd64; en-GB; http://www.brandwatch.net). Mit 0.0099% Marktanteil ist Magpie-crawler auf Platz 72 der aktivsten Webrobot im Internet.