Webrobots Liste
Pos Name Land Marktanteil Erfasst
1 mj12bot 21.04% 07.10.2014
2 bingbot 20.63% 07.10.2014
3 ahrefsbot 11.35% 08.10.2014
4 googlebot 8.81% 08.10.2014
5 domaincrawler 8.24% 15.11.2017
6 yandex 7.08% 07.10.2014
7 semrushbot 6.19% 15.10.2014
8 dotbot 2.52% 07.10.2014
9 spbot 1.79% 09.10.2014
10 mediapartners-google 1.56% 07.10.2014
11 yahoo 1.09% 10.10.2014
12 alphabot 0.85% 05.11.2017
13 proximic 0.79% 07.10.2014
14 backlinkcrawler 0.54% 08.10.2014
15 grapeshotcrawler 0.52% 07.10.2014
16 plista datafication 0.52% 12.03.2015
17 mediatoolkitbot 0.5% 04.11.2017
18 kraken 0.43% 08.10.2014
19 trendictionbot 0.41% 07.10.2014
20 qwantify 0.31% 12.03.2015
21 xovibot 0.3% 09.10.2014
22 seznambot 0.28% 08.10.2014
23 360spider 0.27% 07.10.2014
24 exabot 0.27% 07.10.2014
25 seoscanners.net 0.24% 04.11.2017
26 twitterbot 0.21% 08.10.2014
27 007ac9 crawler 0.21% 17.10.2014
28 msnbot 0.21% 07.10.2014
29 baiduspider 0.2% 07.10.2014
30 vebidoobot 0.18% 05.11.2017
31 megaindex.ru 0.17% 21.04.2015
32 spinn3r 0.16% 07.10.2014
33 publiclibraryarchive.org 0.14% 08.10.2014
34 nbot 0.12% 11.10.2014
35 metricsbot 0.12% 08.10.2014
36 ru_bot 0.12% 11.10.2014
37 smtbot 0.11% 12.10.2014
38 ccbot 0.11% 20.10.2014
39 memorybot 0.09% 08.10.2014
40 netestate ne crawler 0.09% 20.11.2014
41 applebot 0.08% 02.03.2015
42 cliqzbot 0.07% 08.10.2014
43 sistrix crawler 0.07% 08.10.2014
44 deusu 0.07% 06.12.2017
45 twittercrawler 0.06% 10.10.2014
46 wotbox 0.06% 14.10.2014
47 dnyzbot 0.05% 05.11.2017
48 easouspider 0.04% 08.10.2014
49 webcrawler 0.03% 10.11.2014
50 msn 0.03% 08.10.2014
51 sogou web spider 0.03% 07.10.2014
52 crystalsemanticsbot 0.03% 07.10.2014
53 wbsearchbot 0.03% 30.11.2014
54 bubing 0.02% 11.11.2017
55 seedingup 0.02% 08.10.2014
56 betabot 0.02% 16.10.2014
57 python-urllib 0.02% 19.10.2014
58 afd-verbotsverfahren 0.02% 04.11.2017
59 ia_archiver 0.02% 11.10.2014
60 wordpress 0.02% 10.10.2014
61 bidswitchbot 0.02% 01.12.2017
62 siteexplorer 0.02% 05.11.2017
63 umbot- 0.02% 07.10.2014
64 linkpadbot 0.02% 01.11.2014
65 linkdexbot 0.02% 08.10.2014
66 mojeekbot 0.02% 17.10.2014
67 genieo 0.01% 07.10.2014
68 pinterestbot 0.01% 04.11.2017
69 admantx 0.01% 07.04.2015
70 magpie-crawler 0.01% 08.10.2014
71 yak 0.01% 04.11.2017
72 contextad bot 0.01% 07.10.2014
73 blexbot 0.01% 09.10.2014
74 tracemyfile 0.01% 17.05.2018
75 obot 0.009% 13.10.2014
76 adsbot-google 0.009% 10.10.2014
77 extlinksbot 0.009% 08.11.2017
78 stq_bot 0.009% 21.10.2014
79 duckduckgo-favicons-bot 0.008% 22.12.2014
80 heritrix 0.007% 08.10.2014
81 it2media-domain-crawler 0.007% 01.11.2014
82 addthis.com 0.007% 10.04.2015
83 r6_commentreader 0.007% 05.11.2017
84 meanpathbot 0.006% 08.10.2014
85 seodiver 0.006% 24.11.2014
86 wesee:ads 0.006% 08.10.2014
87 compatible crawler 0.006% 24.10.2014
88 ucrawler 0.006% 05.11.2017
89 seokicks-robot 0.005% 05.11.2014
90 200pleasebot 0.005% 12.10.2014
91 getintent crawler 0.005% 04.11.2017
92 findxbot 0.005% 17.02.2015
93 pinterest 0.005% 05.11.2017
94 mbcrawler 0.005% 10.11.2017
95 ias crawler 0.005% 05.11.2017
96 metauri api 0.005% 12.10.2014
97 metajobbot 0.005% 04.11.2017
98 gigablastopensource 0.004% 08.04.2015
99 surveybot 0.003% 08.10.2014
100 crazywebcrawler 0.003% 08.10.2014
101 archive.org_bot 0.003% 09.12.2014
102 statsbot 0.003% 25.11.2017
103 netseer 0.003% 09.10.2014
104 pulsepoint-ads.txt-crawler 0.003% 06.11.2017
105 nerdybot 0.003% 08.10.2014
106 linkscrawler 0.1beta 0.003% 29.10.2014
107 mixrankbot 0.003% 10.10.2014
108 mauibot 0.003% 30.03.2018
109 fetchbot 0.003% 25.02.2015
110 domainsigmacrawler 0.003% 30.10.2014
111 urlfilterdb-crawler 0.003% 14.11.2014
112 pubmatic crawler bot 0.002% 11.04.2018
113 mindupbot 0.002% 10.05.2015
114 contxbot 0.002% 22.02.2018
115 telegrambot 0.002% 22.01.2018
116 surdotlybot 0.002% 07.11.2017
117 uptimebot 0.002% 04.11.2017
118 tweetmemebot 0.002% 12.10.2014
119 yisouspider 0.002% 15.10.2014
120 moatbot 0.002% 09.11.2017
121 paperlibot 0.002% 12.10.2014
122 gluten free crawler 0.002% 06.03.2015
123 outclicksbot 0.002% 21.02.2018
124 msiecrawler 0.002% 27.10.2014
125 adstxtcrawler 0.002% 19.02.2018
126 safednsbot 0.001% 08.11.2017
127 wevikabot 0.001% 09.11.2014
128 james bot 0.001% 13.10.2014
129 socialrankiobot 0.001% 05.11.2017
130 ssearch crawler 0.001% 10.10.2014
131 cms crawler 0.001% 10.12.2014
132 uipbot 0.001% 15.04.2015
133 radian6 0.001% 30.11.2017
134 orangebot 0.001% 06.12.2014
135 idbot 0.001% 04.11.2017
136 nutch- 0.001% 27.02.2018
137 finbot 0.001% 04.11.2014
138 datagnionbot 0.001% 08.10.2014
139 odp link checker 0.001% 12.10.2014
140 webtarantula.com crawler 0.001% 08.10.2014
141 facebot 0.0009% 07.10.2014
142 yacybot 0.0009% 16.11.2014
143 rogerbot 0.0009% 08.10.2014
144 euripbot 0.0009% 23.10.2014
145 komodiabot 0.0008% 14.10.2014
146 seokicks 0.0008% 03.07.2018
147 lb-spider 0.0008% 20.11.2014
148 robotschecker 0.0008% 05.11.2017
149 silk 0.0008% 14.03.2015
150 hrcrawler 0.0008% 05.05.2015
151 pagesinventory 0.0007% 15.10.2014
152 mnogosearch 0.0007% 07.04.2015
153 coccocbot-web 0.0007% 06.11.2017
154 hypercrawl 0.0007% 10.03.2015
155 psbot-page 0.0007% 07.10.2014
156 safesearch microdata crawler 0.0007% 17.01.2015
157 contentdetection 0.0006% 02.12.2017
158 livelapbot 0.0006% 23.10.2014
159 garlikcrawler 0.0005% 27.06.2018
160 virusdie crawler 0.0005% 05.12.2017
161 compatible dataprovider 0.0005% 27.12.2017
162 lssrocketcrawler 0.0004% 17.10.2014
163 affectv robot 0.0004% 09.10.2014
164 duckduckbot 0.0004% 25.05.2018
165 screaming frog seo spider 0.0004% 23.01.2015
166 toplistbot 0.0004% 22.11.2014
167 megaindex.com 0.0004% 23.11.2017
168 linqiacrawlerbot 0.0004% 21.11.2017
169 domnutch-botnutch- 0.0004% 10.12.2014
170 piplbot 0.0004% 08.11.2017
171 cipacrawler 0.0004% 02.01.2018
172 maluuba-crawler 0.0003% 23.05.2015
173 ibusiness shopcrawler 0.0003% 26.04.2018
174 voilabot 0.0003% 20.10.2014
175 affiliatewindow.com 0.0003% 20.04.2015
176 newsharecounts.com 0.0003% 06.12.2017
177 linkisbot 0.0003% 23.11.2017
178 claritybot 0.0003% 28.03.2015
179 wsb-bot 0.0003% 26.12.2017
180 bulk-retrieval bot 0.0003% 21.01.2015
181 jobboersebot 0.0002% 24.12.2017
182 izsearch.com 0.0002% 09.04.2015
183 hyscore 0.0002% 11.12.2017
184 adstxtlab.com crawler 0.0002% 23.11.2017
185 jugendschutzprogramm-crawler 0.0002% 18.11.2017
186 psbot 0.0002% 17.10.2014
187 crawler4j 0.0002% 12.12.2014
188 showyoubot 0.0002% 30.10.2014
189 lightspeedsystemscrawler 0.0002% 07.12.2017
190 spiderbot 0.0002% 06.02.2015
191 icjobs 0.0002% 20.12.2014
192 toscrawler 0.0002% 27.03.2015
193 loadtimebot 0.0002% 07.10.2014
194 gimme60bot 0.0002% 14.10.2014
195 advbot 0.0002% 23.01.2015
196 anonymous coward 0.0002% 02.02.2015
197 maxpointcrawler 0.0002% 27.02.2015
198 istellabot 0.0002% 19.12.2014
199 fr-crawler 0.0002% 04.11.2014
200 thumbshotsbot 0.0002% 08.12.2014
201 laserlikebot 0.0002% 20.11.2017
202 wasalive-bot 0.0002% 27.10.2014
203 leikibot 0.0002% 04.02.2015
204 optimizationcrawler 0.0001% 11.11.2014
205 ca-crawler 0.0001% 18.10.2014
206 implisensebot 0.0001% 22.01.2018
207 woobot 0.0001% 24.12.2017
208 indeedbot 0.0001% 02.02.2018
209 pathdefender 0.0001% 17.12.2014
210 thumbshots-de-bot 0.0001% 26.02.2015
211 mlib_networkbot 0.0001% 13.12.2014
212 sky nutch crawler 0.0001% 13.05.2015
213 storygizebot 0.0001% 10.02.2018
214 netzcheckbot 0.0001% 23.10.2014
215 bdcbot 0.0001% 25.04.2015
216 epicbot 0.0001% 15.11.2017
217 meta_bot 0.0001% 04.05.2018
218 stasebot 0.0001% 09.02.2015
219 plukkie 0.0001% 07.03.2015
220 insitesbot 0.0001% 16.01.2015
221 wegtam crawler 0.0001% 10.11.2014
222 speedy spider 0.0001% 12.12.2014
223 mbr-web-crawler 0.0001% 17.02.2015
224 codewisebot 0.0001% 22.01.2018
225 bitlybot 0.0001% 14.11.2014
226 researchbot 0.0001% 20.03.2015
227 seobilitybot 0.0001% 16.11.2017
228 admedia bot 0.0001% 11.12.2014
229 xenzuubot 0.0001% 20.02.2018
230 orliac 0.0001% 09.01.2018
231 calypso v 0.0001% 14.04.2015
232 my nutch spider 0.0001% 28.01.2015
233 screenerbot crawler 0.0001% 10.03.2015
234 domaincheck.io 0.0001% 05.05.2018
235 lcc ( http:corpora.informatik 0.0001% 21.04.2015
236 sogou pic spider 0.0001% 03.12.2014
237 aboundex 0% 15.04.2015
238 clickagy intelligence bot 0% 03.12.2017
239 seebot 0% 20.12.2014
240 yeti 0% 15.02.2018
241 semrushbot-sa 0% 02.12.2014
242 archive-tv.com 0% 17.02.2015
243 rankflex.com 0% 09.04.2015
244 adnormcrawler 0% 28.10.2014
245 ichiromobile 0% 15.11.2014
246 ofm search_robot 0% 27.02.2015
247 hivemind 0% 24.04.2015
248 rssingbot 0% 22.11.2017
249 coincornerbot 0% 07.05.2015
250 1001firmsbot 0% 07.07.2018
251 bot.araturka.com 0% 18.04.2015
252 webspider 0% 26.04.2018
253 toutrix crawler 0% 02.02.2015
254 screenshot bot 0% 14.02.2015
255 gigabot 0% 10.05.2015
256 elefent 0% 29.11.2017
257 xovionpagecrawler 0% 03.01.2018
258 bpimagewalker 0% 01.07.2018
259 pycurl 0% 02.03.2015
260 suma spider 0% 16.04.2015
261 urlbot 0% 08.03.2018
262 openwebspider 0% 28.11.2014
263 digincore crawler bot 0% 17.02.2018
264 redditbot 0% 13.05.2018
265 openindexspider 0% 04.04.2015
266 estyle 0% 14.12.2017
267 spuhexbot 0% 28.01.2018
268 jooblebot 0% 25.01.2018