sky nutch crawler

Der Webrobot sky nutch crawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 188.166.83.249 und unter Verwendung des User Agent sky nutch crawler/Nutch-1.9. Mit 0.0001% Marktanteil ist sky nutch crawler auf Platz 227 der aktivsten Webrobots im Internet.

6Zugriffe
0,000%Marktanteil
Mai 2015Erstmals gesehen
14.05.2015Zuletzt aktiv

Was ist sky nutch crawler?

indexiert und analysiert Inhalte von Webseiten.

Der Webrobot sky nutch crawler indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 188.166.83.249 und unter Verwendung des User Agent sky nutch crawler/Nutch-1.9. Mit 0.0001% Marktanteil ist sky nutch crawler auf Platz 227 der aktivsten Webrobots im Internet.

Betreiber & Risiko

? Risiko unbekannt
  • ℹ Keine öffentlichen Betreiber-Infos bekannt

robots.txt – sky nutch crawler blockieren

Füge diese Zeilen in deine robots.txt ein, um sky nutch crawler den Zugriff auf deine Website zu verwehren:

robots.txt 
User-agent: sky nutch crawler
Disallow: /

Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:

robots.txt (selektiv) 
User-agent: sky nutch crawler
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /

IP-Adressen 5 bekannte IPs

Diese IP-Adressen wurden bisher von sky nutch crawler verwendet:

NL 188.166.83.249
NL 188.166.83.250
NL 188.166.83.251
NL 188.166.84.7
NL 188.166.84.72

User Agents

Mit diesen User-Agent-Strings identifiziert sich sky nutch crawler:

  • sky nutch crawler/Nutch-1.9