Was ist deadweb-prober?
Der Webrobot deadweb-prober indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 104.130.246.183 und unter Verwendung des User Agent Mozilla/5.0 (compatible; deadweb-prober/1.0; +https://github.com/Crawlora-org/dead-web-commoncrawl). Mit 0% Marktanteil ist deadweb-prober auf Platz 539 der aktivsten Webrobots im Internet.
„Open longitudinal host-reachability / dead-web panel from Common Crawl robotstxt (2018-2026), calibrated – Crawlora-org/dead-web-commoncrawl"
— Offizielle Beschreibung des Betreibers
Technische Einordnung von deadweb-prober
deadweb-prober wurde in Webserver-Logs als Bot oder Crawler erkannt. Die wichtigsten technischen Hinweise findest du auf dieser Seite: bekannte User-Agents, beobachtete IP-Adressen, Aktivitätsdaten und passende robots.txt-Regeln.
Für eine konkrete Entscheidung solltest du zusätzlich prüfen, welche URLs deadweb-prober abruft, wie häufig die Zugriffe sind und ob der Bot deine robots.txt-Regeln respektiert.
Gefahreneinschätzung und Bewertung
Sollte man deadweb-prober blockieren?
Dieser Bot kann Inhalte für externe Daten-, Such- oder KI-Systeme abrufen. Blockiere ihn, wenn du keine weitere Nutzung deiner Inhalte erlauben möchtest oder wenn der Crawl unnötige Serverlast erzeugt.
robots.txt – deadweb-prober blockieren
Füge diese Zeilen in deine robots.txt ein, um deadweb-prober den Zugriff auf deine Website zu verwehren:
User-agent: deadweb-prober
Disallow: /Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
User-agent: deadweb-prober
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /Häufige Fragen zu deadweb-prober
Ist deadweb-prober gut oder schlecht?
Das hängt vom Einsatzzweck ab. deadweb-prober ist als AI-/Daten-Crawler eingeordnet. Entscheidend sind Nutzen, Serverlast, Crawl-Verhalten und ob der Bot deine robots.txt-Regeln respektiert.
Wie erkenne ich deadweb-prober in Server-Logs?
Suche nach dem User-Agent-Namen deadweb-prober. Ein beobachteter User-Agent ist Mozilla/5.0 (compatible; deadweb-prober/1.0; +https://github.com/Crawlora-org/dead-web-commoncrawl). Vergleiche ausserdem IP-Adressen, Zugriffsmuster und aufgerufene URLs.
Reicht robots.txt zum Blockieren?
robots.txt ist ein Hinweis für regelkonforme Crawler. Unerwünschte oder aggressive Bots können diese Regeln ignorieren. In solchen Fällen helfen zusätzlich Firewall-Regeln, WAF-Regeln oder Blockierungen im Hosting/CDN.
Kann ein Bot seinen User-Agent fälschen?
Ja. Ein User-Agent ist leicht zu fälschen. Für wichtige Entscheidungen solltest du zusätzlich IP-Adresse, Reverse-DNS, Zugriffsmuster, Häufigkeit und aufgerufene URLs prüfen.
IP-Adressen 3 bekannte IPs
Diese IP-Adressen wurden bisher von deadweb-prober verwendet:
104.130.246.183
146.20.65.96
162.209.125.110
User Agents
Mit diesen User-Agent-Strings identifiziert sich deadweb-prober:
Mozilla/5.0 (compatible; deadweb-prober/1.0; +https://github.com/Crawlora-org/dead-web-commoncrawl)