Webrobots Liste
Pos Name Land Marktanteil Erfasst
1 mj12bot 27.5% 07.10.2014
2 bingbot 17.26% 07.10.2014
3 semrushbot 13.66% 15.10.2014
4 ahrefsbot 11.71% 08.10.2014
5 domaincrawler 6.88% 15.11.2017
6 googlebot 5.94% 08.10.2014
7 yandex 4.2% 07.10.2014
8 dotbot 1.9% 07.10.2014
9 mediapartners-google 1.15% 07.10.2014
10 spbot 1.06% 09.10.2014
11 trendictionbot 1.02% 07.10.2014
12 yahoo 0.64% 10.10.2014
13 proximic 0.53% 07.10.2014
14 alphabot 0.5% 05.11.2017
15 mediatoolkitbot 0.48% 04.11.2017
16 grapeshotcrawler 0.46% 07.10.2014
17 seekport crawler 0.37% 27.08.2018
18 backlinkcrawler 0.35% 08.10.2014
19 plista datafication 0.3% 12.03.2015
20 qwantify 0.29% 12.03.2015
21 exabot 0.26% 07.10.2014
22 kraken 0.25% 08.10.2014
23 360spider 0.22% 07.10.2014
24 xovibot 0.17% 09.10.2014
25 twitterbot 0.17% 08.10.2014
26 seznambot 0.16% 08.10.2014
27 applebot 0.16% 02.03.2015
28 baiduspider 0.16% 07.10.2014
29 seoscanners.net 0.14% 04.11.2017
30 007ac9 crawler 0.13% 17.10.2014
31 msnbot 0.12% 07.10.2014
32 vebidoobot 0.11% 05.11.2017
33 ru_bot 0.1% 11.10.2014
34 megaindex.ru 0.1% 21.04.2015
35 ccbot 0.09% 20.10.2014
36 spinn3r 0.09% 07.10.2014
37 cliqzbot 0.09% 08.10.2014
38 publiclibraryarchive.org 0.08% 08.10.2014
39 linkpadbot 0.07% 01.11.2014
40 smtbot 0.07% 12.10.2014
41 nbot 0.07% 11.10.2014
42 metricsbot 0.07% 08.10.2014
43 obot 0.06% 13.10.2014
44 netestate ne crawler 0.05% 20.11.2014
45 memorybot 0.05% 08.10.2014
46 sistrix crawler 0.04% 08.10.2014
47 deusu 0.04% 06.12.2017
48 twittercrawler 0.03% 10.10.2014
49 wotbox 0.03% 14.10.2014
50 sogou web spider 0.03% 07.10.2014
51 dnyzbot 0.03% 05.11.2017
52 bidswitchbot 0.03% 01.12.2017
53 easouspider 0.03% 08.10.2014
54 python-urllib 0.02% 19.10.2014
55 webcrawler 0.02% 10.11.2014
56 msn 0.02% 08.10.2014
57 crystalsemanticsbot 0.02% 07.10.2014
58 wbsearchbot 0.02% 30.11.2014
59 pinterestbot 0.01% 04.11.2017
60 mojeekbot 0.01% 17.10.2014
61 ia_archiver 0.01% 11.10.2014
62 bubing 0.01% 11.11.2017
63 seedingup 0.01% 08.10.2014
64 betabot 0.01% 16.10.2014
65 afd-verbotsverfahren 0.01% 04.11.2017
66 linkdexbot 0.01% 08.10.2014
67 wordpress 0.01% 10.10.2014
68 siteexplorer 0.01% 05.11.2017
69 umbot- 0.01% 07.10.2014
70 pubmatic crawler bot 0.008% 11.04.2018
71 admantx 0.008% 07.04.2015
72 genieo 0.008% 07.10.2014
73 yak 0.008% 04.11.2017
74 tracemyfile 0.007% 17.05.2018
75 magpie-crawler 0.007% 08.10.2014
76 adstxtcrawler 0.007% 19.02.2018
77 contextad bot 0.007% 07.10.2014
78 statsbot 0.006% 25.11.2017
79 blexbot 0.006% 09.10.2014
80 extlinksbot 0.006% 08.11.2017
81 adsbot-google 0.006% 10.10.2014
82 seokicks 0.005% 03.07.2018
83 duckduckgo-favicons-bot 0.005% 22.12.2014
84 stq_bot 0.005% 21.10.2014
85 contxbot 0.005% 22.02.2018
86 pinterest 0.005% 05.11.2017
87 metajobbot 0.004% 04.11.2017
88 heritrix 0.004% 08.10.2014
89 it2media-domain-crawler 0.004% 01.11.2014
90 mbcrawler 0.004% 10.11.2017
91 addthis.com 0.004% 10.04.2015
92 r6_commentreader 0.004% 05.11.2017
93 ucrawler 0.004% 05.11.2017
94 meanpathbot 0.004% 08.10.2014
95 seodiver 0.004% 24.11.2014
96 wesee:ads 0.003% 08.10.2014
97 ias crawler 0.003% 05.11.2017
98 mindupbot 0.003% 10.05.2015
99 compatible crawler 0.003% 24.10.2014
100 seokicks-robot 0.003% 05.11.2014
101 getintent crawler 0.003% 04.11.2017
102 surdotlybot 0.003% 07.11.2017
103 200pleasebot 0.003% 12.10.2014
104 yisouspider 0.003% 15.10.2014
105 findxbot 0.003% 17.02.2015
106 metauri api 0.003% 12.10.2014
107 uptimebot 0.003% 04.11.2017
108 uptimebot.org 0.003% 15.12.2018
109 netseer 0.002% 09.10.2014
110 telegrambot 0.002% 22.01.2018
111 gigablastopensource 0.002% 08.04.2015
112 archive.org_bot 0.002% 09.12.2014
113 surveybot 0.002% 08.10.2014
114 crazywebcrawler 0.002% 08.10.2014
115 safednsbot 0.002% 08.11.2017
116 ssearch crawler 0.002% 10.10.2014
117 yacybot 0.002% 16.11.2014
118 pulsepoint-ads.txt-crawler 0.002% 06.11.2017
119 nerdybot 0.002% 08.10.2014
120 linkscrawler 0.1beta 0.002% 29.10.2014
121 mixrankbot 0.002% 10.10.2014
122 mauibot 0.002% 30.03.2018
123 hyscore 0.002% 11.12.2017
124 checkmarknetwork 0.002% 25.12.2018
125 fetchbot 0.002% 25.02.2015
126 domainsigmacrawler 0.002% 30.10.2014
127 urlfilterdb-crawler 0.001% 14.11.2014
128 duckduckbot 0.001% 25.05.2018
129 gluten free crawler 0.001% 06.03.2015
130 tweetmemebot 0.001% 12.10.2014
131 paperlibot 0.001% 12.10.2014
132 moatbot 0.001% 09.11.2017
133 msiecrawler 0.001% 27.10.2014
134 outclicksbot 0.001% 21.02.2018
135 cms crawler 0.001% 10.12.2014
136 radian6 0.001% 30.11.2017
137 rpm-bot 0.001% 14.11.2018
138 nutch- 0.0008% 27.02.2018
139 wevikabot 0.0008% 09.11.2014
140 james bot 0.0008% 13.10.2014
141 socialrankiobot 0.0008% 05.11.2017
142 finbot 0.0007% 04.11.2014
143 komodiabot 0.0007% 14.10.2014
144 uipbot 0.0007% 15.04.2015
145 orangebot 0.0006% 06.12.2014
146 idbot 0.0006% 04.11.2017
147 odp link checker 0.0006% 12.10.2014
148 datagnionbot 0.0006% 08.10.2014
149 implisensebot 0.0006% 22.01.2018
150 webtarantula.com crawler 0.0006% 08.10.2014
151 robotschecker 0.0006% 05.11.2017
152 garlikcrawler 0.0006% 27.06.2018
153 whatsapp 0.0006% 14.11.2018
154 facebot 0.0006% 07.10.2014
155 adstxtlab.com crawler 0.0006% 23.11.2017
156 rogerbot 0.0005% 08.10.2014
157 cipacrawler 0.0005% 02.01.2018
158 euripbot 0.0005% 23.10.2014
159 lb-spider 0.0005% 20.11.2014
160 compatible dataprovider 0.0005% 27.12.2017
161 silk 0.0005% 14.03.2015
162 hrcrawler 0.0004% 05.05.2015
163 affiliatewindow.com 0.0004% 20.04.2015
164 pagesinventory 0.0004% 15.10.2014
165 coccocbot-web 0.0004% 06.11.2017
166 mnogosearch 0.0004% 07.04.2015
167 psbot-page 0.0004% 07.10.2014
168 lightspeedsystemscrawler 0.0004% 07.12.2017
169 hypercrawl 0.0004% 10.03.2015
170 safesearch microdata crawler 0.0004% 17.01.2015
171 jobboersebot 0.0004% 24.12.2017
172 indeedbot 0.0004% 02.02.2018
173 livelapbot 0.0003% 23.10.2014
174 contentdetection 0.0003% 02.12.2017
175 screaming frog seo spider 0.0003% 23.01.2015
176 virusdie crawler 0.0003% 05.12.2017
177 linkisbot 0.0003% 23.11.2017
178 centro ads.txt crawler 0.0003% 21.09.2018
179 megaindex.com 0.0003% 23.11.2017
180 jugendschutzprogramm-crawler 0.0003% 18.11.2017
181 lssrocketcrawler 0.0003% 17.10.2014
182 toplistbot 0.0002% 22.11.2014
183 affectv robot 0.0002% 09.10.2014
184 domnutch-botnutch- 0.0002% 10.12.2014
185 linqiacrawlerbot 0.0002% 21.11.2017
186 piplbot 0.0002% 08.11.2017
187 ibusiness shopcrawler 0.0002% 26.04.2018
188 istellabot 0.0002% 19.12.2014
189 maluuba-crawler 0.0002% 23.05.2015
190 voilabot 0.0002% 20.10.2014
191 newsharecounts.com 0.0002% 06.12.2017
192 wsb-bot 0.0002% 26.12.2017
193 claritybot 0.0002% 28.03.2015
194 bulk-retrieval bot 0.0001% 21.01.2015
195 thumbshotsbot 0.0001% 08.12.2014
196 izsearch.com 0.0001% 09.04.2015
197 psbot 0.0001% 17.10.2014
198 crawler4j 0.0001% 12.12.2014
199 icjobs 0.0001% 20.12.2014
200 thumbshots-de-bot 0.0001% 26.02.2015
201 buzzbot 0.0001% 22.09.2018
202 spiderbot 0.0001% 06.02.2015
203 showyoubot 0.0001% 30.10.2014
204 anonymous coward 0.0001% 02.02.2015
205 gimme60bot 0.0001% 14.10.2014
206 loadtimebot 0.0001% 07.10.2014
207 toscrawler 0.0001% 27.03.2015
208 tagvisit 0.0001% 11.03.2019
209 advbot 0.0001% 23.01.2015
210 maxpointcrawler 0.0001% 27.02.2015
211 epicbot 0.0001% 15.11.2017
212 wasalive-bot 0.0001% 27.10.2014
213 laserlikebot 0.0001% 20.11.2017
214 leikibot 0.0001% 04.02.2015
215 fr-crawler 0.0001% 04.11.2014
216 optimizationcrawler 0.0001% 11.11.2014
217 meta_bot 0.0001% 04.05.2018
218 streamline3bot 0.0001% 27.01.2019
219 ca-crawler 0.0001% 18.10.2014
220 woobot 0.0001% 24.12.2017
221 bpimagewalker 0.0001% 01.07.2018
222 pathdefender 0.0001% 17.12.2014
223 bdcbot 0.0001% 25.04.2015
224 mlib_networkbot 0.0001% 13.12.2014
225 sky nutch crawler 0.0001% 13.05.2015
226 netzcheckbot 0.0001% 23.10.2014
227 storygizebot 0.0001% 10.02.2018
228 pycurl 0.0001% 02.03.2015
229 domaincheck.io 0.0001% 05.05.2018
230 insitesbot 0% 16.01.2015
231 stasebot 0% 09.02.2015
232 xenzuubot 0% 20.02.2018
233 wegtam crawler 0% 10.11.2014
234 plukkie 0% 07.03.2015
235 everyonedomainsbot 0% 02.03.2019
236 bitlybot 0% 14.11.2014
237 speedy spider 0% 12.12.2014
238 1001firmsbot 0% 07.07.2018
239 mbr-web-crawler 0% 17.02.2015
240 orliac 0% 09.01.2018
241 lcc ( http:corpora.informatik 0% 21.04.2015
242 researchbot 0% 20.03.2015
243 seobilitybot 0% 16.11.2017
244 codewisebot 0% 22.01.2018
245 admedia bot 0% 11.12.2014
246 calypso v 0% 14.04.2015
247 coccocbot-image 0% 23.11.2018
248 jooblebot 0% 25.01.2018
249 sogou pic spider 0% 03.12.2014
250 my nutch spider 0% 28.01.2015
251 e.ventures investment crawler 0% 08.11.2018
252 amazonadbot 0% 07.02.2019
253 screenerbot crawler 0% 10.03.2015
254 yeti 0% 15.02.2018
255 gowikibot 0% 02.11.2018
256 hivemind 0% 24.04.2015
257 rssingbot 0% 22.11.2017
258 semrushbot-sa 0% 02.12.2014
259 clickagy intelligence bot 0% 03.12.2017
260 fastbot.de 0% 04.09.2018
261 estyle 0% 14.12.2017
262 seebot 0% 20.12.2014
263 adnormcrawler 0% 28.10.2014
264 ichiromobile 0% 15.11.2014
265 redditbot 0% 13.05.2018
266 archive-tv.com 0% 17.02.2015
267 gdpr-bot 0% 27.08.2018
268 web-crawler 0% 18.05.2019
269 aboundex 0% 15.04.2015
270 rankflex.com 0% 09.04.2015
271 semantic-visions.com 0% 14.08.2018
272 netpeakcheckerbot 0% 27.04.2019
273 ofm search_robot 0% 27.02.2015
274 http:wwranks.com 0% 13.05.2019
275 spuhexbot 0% 28.01.2018
276 urlbot 0% 08.03.2018
277 keybot translation-search-machin 0% 11.02.2019
278 pagepeeker 0% 04.07.2019
279 toutrix crawler 0% 02.02.2015
280 coincornerbot 0% 07.05.2015
281 gosign-security-crawler 0% 05.05.2019
282 slackbot 0% 02.10.2018
283 google-adwords-instant 0% 06.11.2018
284 daas.sh research bot 0% 14.05.2019
285 openwebspider 0% 28.11.2014
286 bot.araturka.com 0% 18.04.2015
287 screenshot bot 0% 14.02.2015
288 gigabot 0% 10.05.2015
289 elefent 0% 29.11.2017
290 linguee bot 0% 20.12.2018
291 aihitbot 0% 09.05.2019
292 ppbot 0% 02.03.2019
293 suma spider 0% 16.04.2015
294 digincore crawler bot 0% 17.02.2018
295 webspider 0% 26.04.2018
296 iabtechlab ads.txt crawler 0% 27.11.2018
297 openindexspider 0% 04.04.2015
298 xovionpagecrawler 0% 03.01.2018