Webrobots Liste
Pos Name Land Marktanteil Erfasst
1 mj12bot 22.56% 07.10.2014
2 bingbot 20.06% 07.10.2014
3 ahrefsbot 11.22% 08.10.2014
4 domaincrawler 8.64% 15.11.2017
5 semrushbot 8.2% 15.10.2014
6 googlebot 7.81% 08.10.2014
7 yandex 6.09% 07.10.2014
8 dotbot 2.28% 07.10.2014
9 spbot 1.55% 09.10.2014
10 mediapartners-google 1.48% 07.10.2014
11 yahoo 0.93% 10.10.2014
12 alphabot 0.73% 05.11.2017
13 proximic 0.71% 07.10.2014
14 mediatoolkitbot 0.52% 04.11.2017
15 grapeshotcrawler 0.51% 07.10.2014
16 backlinkcrawler 0.46% 08.10.2014
17 plista datafication 0.44% 12.03.2015
18 trendictionbot 0.41% 07.10.2014
19 seekport crawler 0.41% 27.08.2018
20 kraken 0.37% 08.10.2014
21 qwantify 0.3% 12.03.2015
22 360spider 0.26% 07.10.2014
23 xovibot 0.25% 09.10.2014
24 seznambot 0.24% 08.10.2014
25 exabot 0.23% 07.10.2014
26 seoscanners.net 0.2% 04.11.2017
27 twitterbot 0.2% 08.10.2014
28 007ac9 crawler 0.18% 17.10.2014
29 msnbot 0.18% 07.10.2014
30 baiduspider 0.17% 07.10.2014
31 vebidoobot 0.16% 05.11.2017
32 megaindex.ru 0.14% 21.04.2015
33 spinn3r 0.13% 07.10.2014
34 applebot 0.13% 02.03.2015
35 publiclibraryarchive.org 0.12% 08.10.2014
36 nbot 0.11% 11.10.2014
37 ru_bot 0.11% 11.10.2014
38 metricsbot 0.1% 08.10.2014
39 ccbot 0.1% 20.10.2014
40 smtbot 0.1% 12.10.2014
41 memorybot 0.08% 08.10.2014
42 netestate ne crawler 0.08% 20.11.2014
43 cliqzbot 0.07% 08.10.2014
44 sistrix crawler 0.06% 08.10.2014
45 deusu 0.06% 06.12.2017
46 twittercrawler 0.05% 10.10.2014
47 wotbox 0.05% 14.10.2014
48 dnyzbot 0.04% 05.11.2017
49 easouspider 0.04% 08.10.2014
50 webcrawler 0.03% 10.11.2014
51 bidswitchbot 0.03% 01.12.2017
52 sogou web spider 0.02% 07.10.2014
53 msn 0.02% 08.10.2014
54 crystalsemanticsbot 0.02% 07.10.2014
55 wbsearchbot 0.02% 30.11.2014
56 python-urllib 0.02% 19.10.2014
57 bubing 0.02% 11.11.2017
58 seedingup 0.02% 08.10.2014
59 betabot 0.02% 16.10.2014
60 afd-verbotsverfahren 0.02% 04.11.2017
61 ia_archiver 0.02% 11.10.2014
62 wordpress 0.02% 10.10.2014
63 siteexplorer 0.02% 05.11.2017
64 linkdexbot 0.01% 08.10.2014
65 mojeekbot 0.01% 17.10.2014
66 umbot- 0.01% 07.10.2014
67 linkpadbot 0.01% 01.11.2014
68 pinterestbot 0.01% 04.11.2017
69 genieo 0.01% 07.10.2014
70 yak 0.01% 04.11.2017
71 admantx 0.01% 07.04.2015
72 magpie-crawler 0.01% 08.10.2014
73 tracemyfile 0.01% 17.05.2018
74 contextad bot 0.01% 07.10.2014
75 blexbot 0.009% 09.10.2014
76 obot 0.009% 13.10.2014
77 extlinksbot 0.008% 08.11.2017
78 adsbot-google 0.008% 10.10.2014
79 duckduckgo-favicons-bot 0.007% 22.12.2014
80 stq_bot 0.007% 21.10.2014
81 heritrix 0.006% 08.10.2014
82 it2media-domain-crawler 0.006% 01.11.2014
83 mbcrawler 0.006% 10.11.2017
84 addthis.com 0.006% 10.04.2015
85 r6_commentreader 0.006% 05.11.2017
86 ucrawler 0.005% 05.11.2017
87 meanpathbot 0.005% 08.10.2014
88 seodiver 0.005% 24.11.2014
89 wesee:ads 0.005% 08.10.2014
90 compatible crawler 0.005% 24.10.2014
91 seokicks-robot 0.005% 05.11.2014
92 metajobbot 0.005% 04.11.2017
93 getintent crawler 0.004% 04.11.2017
94 200pleasebot 0.004% 12.10.2014
95 pinterest 0.004% 05.11.2017
96 findxbot 0.004% 17.02.2015
97 ias crawler 0.004% 05.11.2017
98 pubmatic crawler bot 0.004% 11.04.2018
99 metauri api 0.004% 12.10.2014
100 contxbot 0.004% 22.02.2018
101 statsbot 0.003% 25.11.2017
102 gigablastopensource 0.003% 08.04.2015
103 telegrambot 0.003% 22.01.2018
104 surveybot 0.003% 08.10.2014
105 netseer 0.003% 09.10.2014
106 crazywebcrawler 0.003% 08.10.2014
107 archive.org_bot 0.003% 09.12.2014
108 pulsepoint-ads.txt-crawler 0.003% 06.11.2017
109 nerdybot 0.002% 08.10.2014
110 linkscrawler 0.1beta 0.002% 29.10.2014
111 mixrankbot 0.002% 10.10.2014
112 mauibot 0.002% 30.03.2018
113 surdotlybot 0.002% 07.11.2017
114 fetchbot 0.002% 25.02.2015
115 domainsigmacrawler 0.002% 30.10.2014
116 urlfilterdb-crawler 0.002% 14.11.2014
117 mindupbot 0.002% 10.05.2015
118 adstxtcrawler 0.002% 19.02.2018
119 yisouspider 0.002% 15.10.2014
120 uptimebot 0.002% 04.11.2017
121 tweetmemebot 0.002% 12.10.2014
122 gluten free crawler 0.002% 06.03.2015
123 moatbot 0.002% 09.11.2017
124 paperlibot 0.002% 12.10.2014
125 outclicksbot 0.002% 21.02.2018
126 msiecrawler 0.002% 27.10.2014
127 safednsbot 0.001% 08.11.2017
128 seokicks 0.001% 03.07.2018
129 wevikabot 0.001% 09.11.2014
130 james bot 0.001% 13.10.2014
131 ssearch crawler 0.001% 10.10.2014
132 socialrankiobot 0.001% 05.11.2017
133 cms crawler 0.001% 10.12.2014
134 uipbot 0.001% 15.04.2015
135 nutch- 0.001% 27.02.2018
136 radian6 0.001% 30.11.2017
137 orangebot 0.0009% 06.12.2014
138 finbot 0.0009% 04.11.2014
139 idbot 0.0009% 04.11.2017
140 datagnionbot 0.0009% 08.10.2014
141 odp link checker 0.0009% 12.10.2014
142 webtarantula.com crawler 0.0009% 08.10.2014
143 duckduckbot 0.0008% 25.05.2018
144 garlikcrawler 0.0008% 27.06.2018
145 facebot 0.0008% 07.10.2014
146 komodiabot 0.0008% 14.10.2014
147 yacybot 0.0008% 16.11.2014
148 robotschecker 0.0008% 05.11.2017
149 rogerbot 0.0008% 08.10.2014
150 euripbot 0.0007% 23.10.2014
151 lb-spider 0.0007% 20.11.2014
152 silk 0.0007% 14.03.2015
153 hrcrawler 0.0006% 05.05.2015
154 pagesinventory 0.0006% 15.10.2014
155 coccocbot-web 0.0006% 06.11.2017
156 mnogosearch 0.0006% 07.04.2015
157 hypercrawl 0.0006% 10.03.2015
158 psbot-page 0.0006% 07.10.2014
159 safesearch microdata crawler 0.0006% 17.01.2015
160 contentdetection 0.0005% 02.12.2017
161 livelapbot 0.0005% 23.10.2014
162 compatible dataprovider 0.0005% 27.12.2017
163 virusdie crawler 0.0004% 05.12.2017
164 screaming frog seo spider 0.0004% 23.01.2015
165 lssrocketcrawler 0.0004% 17.10.2014
166 megaindex.com 0.0003% 23.11.2017
167 affectv robot 0.0003% 09.10.2014
168 toplistbot 0.0003% 22.11.2014
169 affiliatewindow.com 0.0003% 20.04.2015
170 cipacrawler 0.0003% 02.01.2018
171 domnutch-botnutch- 0.0003% 10.12.2014
172 linqiacrawlerbot 0.0003% 21.11.2017
173 hyscore 0.0003% 11.12.2017
174 piplbot 0.0003% 08.11.2017
175 ibusiness shopcrawler 0.0003% 26.04.2018
176 maluuba-crawler 0.0003% 23.05.2015
177 voilabot 0.0003% 20.10.2014
178 newsharecounts.com 0.0003% 06.12.2017
179 linkisbot 0.0003% 23.11.2017
180 jobboersebot 0.0002% 24.12.2017
181 claritybot 0.0002% 28.03.2015
182 wsb-bot 0.0002% 26.12.2017
183 bulk-retrieval bot 0.0002% 21.01.2015
184 jugendschutzprogramm-crawler 0.0002% 18.11.2017
185 izsearch.com 0.0002% 09.04.2015
186 lightspeedsystemscrawler 0.0002% 07.12.2017
187 adstxtlab.com crawler 0.0002% 23.11.2017
188 psbot 0.0002% 17.10.2014
189 crawler4j 0.0002% 12.12.2014
190 spiderbot 0.0002% 06.02.2015
191 showyoubot 0.0002% 30.10.2014
192 icjobs 0.0002% 20.12.2014
193 istellabot 0.0002% 19.12.2014
194 advbot 0.0002% 23.01.2015
195 anonymous coward 0.0002% 02.02.2015
196 loadtimebot 0.0002% 07.10.2014
197 gimme60bot 0.0002% 14.10.2014
198 toscrawler 0.0002% 27.03.2015
199 thumbshotsbot 0.0001% 08.12.2014
200 maxpointcrawler 0.0001% 27.02.2015
201 fr-crawler 0.0001% 04.11.2014
202 wasalive-bot 0.0001% 27.10.2014
203 laserlikebot 0.0001% 20.11.2017
204 leikibot 0.0001% 04.02.2015
205 optimizationcrawler 0.0001% 11.11.2014
206 meta_bot 0.0001% 04.05.2018
207 ca-crawler 0.0001% 18.10.2014
208 implisensebot 0.0001% 22.01.2018
209 woobot 0.0001% 24.12.2017
210 thumbshots-de-bot 0.0001% 26.02.2015
211 indeedbot 0.0001% 02.02.2018
212 pathdefender 0.0001% 17.12.2014
213 bdcbot 0.0001% 25.04.2015
214 epicbot 0.0001% 15.11.2017
215 domaincheck.io 0.0001% 05.05.2018
216 buzzbot 0.0001% 22.09.2018
217 mlib_networkbot 0.0001% 13.12.2014
218 sky nutch crawler 0.0001% 13.05.2015
219 netzcheckbot 0.0001% 23.10.2014
220 storygizebot 0.0001% 10.02.2018
221 bpimagewalker 0.0001% 01.07.2018
222 insitesbot 0.0001% 16.01.2015
223 stasebot 0.0001% 09.02.2015
224 wegtam crawler 0.0001% 10.11.2014
225 plukkie 0.0001% 07.03.2015
226 admedia bot 0.0001% 11.12.2014
227 1001firmsbot 0.0001% 07.07.2018
228 bitlybot 0.0001% 14.11.2014
229 speedy spider 0.0001% 12.12.2014
230 xenzuubot 0.0001% 20.02.2018
231 mbr-web-crawler 0.0001% 17.02.2015
232 orliac 0.0001% 09.01.2018
233 researchbot 0.0001% 20.03.2015
234 seobilitybot 0.0001% 16.11.2017
235 codewisebot 0.0001% 22.01.2018
236 screenerbot crawler 0% 10.03.2015
237 calypso v 0% 14.04.2015
238 lcc ( http:corpora.informatik 0% 21.04.2015
239 sogou pic spider 0% 03.12.2014
240 my nutch spider 0% 28.01.2015
241 aboundex 0% 15.04.2015
242 rankflex.com 0% 09.04.2015
243 yeti 0% 15.02.2018
244 ofm search_robot 0% 27.02.2015
245 hivemind 0% 24.04.2015
246 rssingbot 0% 22.11.2017
247 semrushbot-sa 0% 02.12.2014
248 clickagy intelligence bot 0% 03.12.2017
249 fastbot.de 0% 04.09.2018
250 gdpr-bot 0% 27.08.2018
251 seebot 0% 20.12.2014
252 semantic-visions.com 0% 14.08.2018
253 adnormcrawler 0% 28.10.2014
254 ichiromobile 0% 15.11.2014
255 redditbot 0% 13.05.2018
256 archive-tv.com 0% 17.02.2015
257 digincore crawler bot 0% 17.02.2018
258 webspider 0% 26.04.2018
259 openindexspider 0% 04.04.2015
260 xovionpagecrawler 0% 03.01.2018
261 spuhexbot 0% 28.01.2018
262 urlbot 0% 08.03.2018
263 coincornerbot 0% 07.05.2015
264 centro ads.txt crawler 0% 21.09.2018
265 toutrix crawler 0% 02.02.2015
266 estyle 0% 14.12.2017
267 openwebspider 0% 28.11.2014
268 bot.araturka.com 0% 18.04.2015
269 jooblebot 0% 25.01.2018
270 screenshot bot 0% 14.02.2015
271 gigabot 0% 10.05.2015
272 elefent 0% 29.11.2017
273 pycurl 0% 02.03.2015
274 suma spider 0% 16.04.2015