Was ist metajobbot?
indexiert und analysiert Inhalte von Webseiten.
Der Webrobot metajobbot indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 136.243.83.16 und unter Verwendung des User Agent Mozilla/5.0 (compatible; MetaJobBot; http://www.metajob.de/crawler). Mit 0.0044% Marktanteil ist metajobbot auf Platz 87 der aktivsten Webrobots im Internet.
„Offenlegung zum Verhalten des METAJob Crawlers"
— Offizielle Beschreibung des Betreibers
robots.txt – metajobbot blockieren
Füge diese Zeilen in deine robots.txt ein, um metajobbot den Zugriff auf deine Website zu verwehren:
User-agent: metajobbot
Disallow: /
Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
User-agent: metajobbot
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /
IP-Adressen 2 bekannte IPs
Diese IP-Adressen wurden bisher von metajobbot verwendet:
136.243.83.16
136.243.83.54
User Agents
Mit diesen User-Agent-Strings identifiziert sich metajobbot:
Mozilla/5.0 (compatible; MetaJobBot; http://www.metajob.de/crawler)