Was ist archive.org_bot?
indexiert und analysiert Inhalte von Webseiten.
Der Webrobot archive.org_bot indexiert und analysiert Inhalte von Webseiten. Er zeigt sich meistens mit der IP Adresse 207.241.225.246 und unter Verwendung des User Agent Mozilla/5.0 (compatible; archive.org_bot http://www.archive.org/details/archive.org_bot). Mit 0.0018% Marktanteil ist archive.org_bot auf Platz 151 der aktivsten Webrobots im Internet.
„The Internet Archive is a nonprofit digital library that preserves web data and makes it available for research purposes through the Wayback Machine. We began archiving the web in 1996, and currently have preserved over 150 billion web documents. The Internet Archive partners with universities,…"
— Offizielle Beschreibung des Betreibers
Technische Einordnung von archive.org_bot
archive.org_bot wurde in Webserver-Logs als Bot oder Crawler erkannt. Die wichtigsten technischen Hinweise findest du auf dieser Seite: bekannte User-Agents, beobachtete IP-Adressen, Aktivitätsdaten und passende robots.txt-Regeln.
Für eine konkrete Entscheidung solltest du zusätzlich prüfen, welche URLs archive.org_bot abruft, wie häufig die Zugriffe sind und ob der Bot deine robots.txt-Regeln respektiert.
Gefahreneinschätzung und Bewertung
Sollte man archive.org_bot blockieren?
Prüfe zuerst Zugriffshäufigkeit, aufgerufene URLs und User-Agent. Danach kannst du entscheiden, ob eine Blockierung sinnvoll ist.
robots.txt – archive.org_bot blockieren
Füge diese Zeilen in deine robots.txt ein, um archive.org_bot den Zugriff auf deine Website zu verwehren:
User-agent: archive.org_bot
Disallow: /Du kannst den Zugriff auch gezielt einschränken, statt ihn komplett zu blockieren:
User-agent: archive.org_bot
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /Häufige Fragen zu archive.org_bot
Ist archive.org_bot gut oder schlecht?
Das hängt vom Einsatzzweck ab. archive.org_bot ist als Web-Crawler eingeordnet. Entscheidend sind Nutzen, Serverlast, Crawl-Verhalten und ob der Bot deine robots.txt-Regeln respektiert.
Wie erkenne ich archive.org_bot in Server-Logs?
Suche nach dem User-Agent-Namen archive.org_bot. Ein beobachteter User-Agent ist Mozilla/5.0 (compatible; archive.org_bot http://www.archive.org/details/archive.org_bot). Vergleiche ausserdem IP-Adressen, Zugriffsmuster und aufgerufene URLs.
Reicht robots.txt zum Blockieren?
robots.txt ist ein Hinweis für regelkonforme Crawler. Unerwünschte oder aggressive Bots können diese Regeln ignorieren. In solchen Fällen helfen zusätzlich Firewall-Regeln, WAF-Regeln oder Blockierungen im Hosting/CDN.
Kann ein Bot seinen User-Agent fälschen?
Ja. Ein User-Agent ist leicht zu fälschen. Für wichtige Entscheidungen solltest du zusätzlich IP-Adresse, Reverse-DNS, Zugriffsmuster, Häufigkeit und aufgerufene URLs prüfen.
IP-Adressen 53 bekannte IPs
Diese IP-Adressen wurden bisher von archive.org_bot verwendet:
207.241.225.246
207.241.226.215
207.241.226.216
207.241.229.147
207.241.229.148
207.241.229.149
207.241.229.150
207.241.229.151
207.241.229.198
207.241.229.212
207.241.229.213
207.241.229.214
207.241.229.215
207.241.229.222
207.241.229.223
207.241.229.225
207.241.229.235
207.241.229.236
207.241.229.237
207.241.229.243
207.241.229.32
207.241.229.51
207.241.231.143
207.241.231.147
207.241.231.151
207.241.231.170
207.241.231.33
207.241.232.39
207.241.232.40
207.241.232.41
207.241.232.45
207.241.232.46
207.241.232.47
207.241.232.48
207.241.232.49
207.241.237.101
207.241.237.102
207.241.237.103
207.241.237.104
207.241.237.105
207.241.237.108
207.241.237.205
207.241.237.206
207.241.237.208
207.241.237.209
207.241.237.221
207.241.237.222
207.241.237.223
207.241.237.225
207.241.237.226
207.241.237.227
207.241.237.228
207.241.237.229
User Agents
Mit diesen User-Agent-Strings identifiziert sich archive.org_bot:
Mozilla/5.0 (compatible; archive.org_bot http://www.archive.org/details/archive.org_bot)Mozilla/5.0 (compatible; special_archiver/3.1.1 http://www.archive.org/details/archive.org_bot)Mozilla/5.0 (compatible; archive.org_bot http://archive.org/details/archive.org_bot)Mozilla/5.0 (compatible; archive.org_bot; Wayback Machine Live Record; http://archive.org/details/archive.org_bot)