Webrobots Liste
Pos Name Land Marktanteil Erfasst
1 bingbot 20.95% 07.10.2014
2 mj12bot 18.71% 07.10.2014
3 ahrefsbot 11.21% 08.10.2014
4 googlebot 9.75% 08.10.2014
5 yandex 8.08% 07.10.2014
6 domaincrawler 7.51% 15.11.2017
7 semrushbot 5.44% 15.10.2014
8 dotbot 2.79% 07.10.2014
9 spbot 2.04% 09.10.2014
10 mediapartners-google 1.61% 07.10.2014
11 yahoo 1.25% 10.10.2014
12 alphabot 0.97% 05.11.2017
13 proximic 0.87% 07.10.2014
14 backlinkcrawler 0.6% 08.10.2014
15 plista datafication 0.59% 12.03.2015
16 grapeshotcrawler 0.53% 07.10.2014
17 kraken 0.49% 08.10.2014
18 mediatoolkitbot 0.49% 04.11.2017
19 trendictionbot 0.43% 07.10.2014
20 xovibot 0.34% 09.10.2014
21 qwantify 0.33% 12.03.2015
22 seznambot 0.31% 08.10.2014
23 exabot 0.31% 07.10.2014
24 360spider 0.3% 07.10.2014
25 seoscanners.net 0.27% 04.11.2017
26 msnbot 0.24% 07.10.2014
27 twitterbot 0.23% 08.10.2014
28 007ac9 crawler 0.23% 17.10.2014
29 baiduspider 0.22% 07.10.2014
30 vebidoobot 0.21% 05.11.2017
31 megaindex.ru 0.19% 21.04.2015
32 spinn3r 0.18% 07.10.2014
33 publiclibraryarchive.org 0.17% 08.10.2014
34 nbot 0.14% 11.10.2014
35 metricsbot 0.13% 08.10.2014
36 ru_bot 0.13% 11.10.2014
37 smtbot 0.13% 12.10.2014
38 ccbot 0.11% 20.10.2014
39 memorybot 0.11% 08.10.2014
40 netestate ne crawler 0.11% 20.11.2014
41 sistrix crawler 0.08% 08.10.2014
42 deusu 0.08% 06.12.2017
43 cliqzbot 0.07% 08.10.2014
44 twittercrawler 0.07% 10.10.2014
45 wotbox 0.06% 14.10.2014
46 dnyzbot 0.06% 05.11.2017
47 easouspider 0.05% 08.10.2014
48 webcrawler 0.04% 10.11.2014
49 msn 0.03% 08.10.2014
50 applebot 0.03% 02.03.2015
51 sogou web spider 0.03% 07.10.2014
52 crystalsemanticsbot 0.03% 07.10.2014
53 wbsearchbot 0.03% 30.11.2014
54 seedingup 0.03% 08.10.2014
55 bubing 0.03% 11.11.2017
56 betabot 0.03% 16.10.2014
57 wordpress 0.02% 10.10.2014
58 ia_archiver 0.02% 11.10.2014
59 afd-verbotsverfahren 0.02% 04.11.2017
60 python-urllib 0.02% 19.10.2014
61 umbot- 0.02% 07.10.2014
62 linkpadbot 0.02% 01.11.2014
63 siteexplorer 0.02% 05.11.2017
64 mojeekbot 0.02% 17.10.2014
65 bidswitchbot 0.02% 01.12.2017
66 linkdexbot 0.02% 08.10.2014
67 genieo 0.02% 07.10.2014
68 magpie-crawler 0.01% 08.10.2014
69 admantx 0.01% 07.04.2015
70 contextad bot 0.01% 07.10.2014
71 blexbot 0.01% 09.10.2014
72 pinterestbot 0.01% 04.11.2017
73 obot 0.01% 13.10.2014
74 yak 0.01% 04.11.2017
75 adsbot-google 0.01% 10.10.2014
76 extlinksbot 0.01% 08.11.2017
77 stq_bot 0.01% 21.10.2014
78 heritrix 0.008% 08.10.2014
79 it2media-domain-crawler 0.008% 01.11.2014
80 duckduckgo-favicons-bot 0.008% 22.12.2014
81 addthis.com 0.008% 10.04.2015
82 r6_commentreader 0.007% 05.11.2017
83 meanpathbot 0.007% 08.10.2014
84 seodiver 0.007% 24.11.2014
85 wesee:ads 0.007% 08.10.2014
86 compatible crawler 0.006% 24.10.2014
87 200pleasebot 0.006% 12.10.2014
88 findxbot 0.006% 17.02.2015
89 getintent crawler 0.006% 04.11.2017
90 ucrawler 0.005% 05.11.2017
91 metauri api 0.005% 12.10.2014
92 metajobbot 0.005% 04.11.2017
93 ias crawler 0.005% 05.11.2017
94 gigablastopensource 0.004% 08.04.2015
95 seokicks-robot 0.004% 05.11.2014
96 surveybot 0.004% 08.10.2014
97 crazywebcrawler 0.004% 08.10.2014
98 netseer 0.003% 09.10.2014
99 archive.org_bot 0.003% 09.12.2014
100 pulsepoint-ads.txt-crawler 0.003% 06.11.2017
101 nerdybot 0.003% 08.10.2014
102 linkscrawler 0.1beta 0.003% 29.10.2014
103 mixrankbot 0.003% 10.10.2014
104 fetchbot 0.003% 25.02.2015
105 domainsigmacrawler 0.003% 30.10.2014
106 urlfilterdb-crawler 0.003% 14.11.2014
107 mindupbot 0.003% 10.05.2015
108 mauibot 0.003% 30.03.2018
109 statsbot 0.003% 25.11.2017
110 uptimebot 0.003% 04.11.2017
111 tweetmemebot 0.002% 12.10.2014
112 moatbot 0.002% 09.11.2017
113 outclicksbot 0.002% 21.02.2018
114 yisouspider 0.002% 15.10.2014
115 surdotlybot 0.002% 07.11.2017
116 paperlibot 0.002% 12.10.2014
117 gluten free crawler 0.002% 06.03.2015
118 telegrambot 0.002% 22.01.2018
119 msiecrawler 0.002% 27.10.2014
120 wevikabot 0.002% 09.11.2014
121 safednsbot 0.002% 08.11.2017
122 james bot 0.002% 13.10.2014
123 socialrankiobot 0.002% 05.11.2017
124 ssearch crawler 0.002% 10.10.2014
125 pinterest 0.001% 05.11.2017
126 contxbot 0.001% 22.02.2018
127 cms crawler 0.001% 10.12.2014
128 tracemyfile 0.001% 17.05.2018
129 uipbot 0.001% 15.04.2015
130 orangebot 0.001% 06.12.2014
131 radian6 0.001% 30.11.2017
132 idbot 0.001% 04.11.2017
133 datagnionbot 0.001% 08.10.2014
134 odp link checker 0.001% 12.10.2014
135 webtarantula.com crawler 0.001% 08.10.2014
136 facebot 0.001% 07.10.2014
137 nutch- 0.001% 27.02.2018
138 yacybot 0.001% 16.11.2014
139 rogerbot 0.001% 08.10.2014
140 euripbot 0.001% 23.10.2014
141 finbot 0.0009% 04.11.2014
142 lb-spider 0.0009% 20.11.2014
143 komodiabot 0.0009% 14.10.2014
144 silk 0.0009% 14.03.2015
145 pubmatic crawler bot 0.0009% 11.04.2018
146 hrcrawler 0.0009% 05.05.2015
147 pagesinventory 0.0009% 15.10.2014
148 mnogosearch 0.0008% 07.04.2015
149 psbot-page 0.0008% 07.10.2014
150 hypercrawl 0.0008% 10.03.2015
151 safesearch microdata crawler 0.0008% 17.01.2015
152 robotschecker 0.0007% 05.11.2017
153 contentdetection 0.0007% 02.12.2017
154 coccocbot-web 0.0007% 06.11.2017
155 livelapbot 0.0007% 23.10.2014
156 adstxtcrawler 0.0006% 19.02.2018
157 virusdie crawler 0.0006% 05.12.2017
158 lssrocketcrawler 0.0005% 17.10.2014
159 toplistbot 0.0005% 22.11.2014
160 compatible dataprovider 0.0005% 27.12.2017
161 affectv robot 0.0005% 09.10.2014
162 linqiacrawlerbot 0.0004% 21.11.2017
163 domnutch-botnutch- 0.0004% 10.12.2014
164 megaindex.com 0.0004% 23.11.2017
165 piplbot 0.0004% 08.11.2017
166 screaming frog seo spider 0.0004% 23.01.2015
167 maluuba-crawler 0.0004% 23.05.2015
168 ibusiness shopcrawler 0.0004% 26.04.2018
169 voilabot 0.0004% 20.10.2014
170 newsharecounts.com 0.0003% 06.12.2017
171 affiliatewindow.com 0.0003% 20.04.2015
172 mbcrawler 0.0003% 10.11.2017
173 wsb-bot 0.0003% 26.12.2017
174 claritybot 0.0003% 28.03.2015
175 bulk-retrieval bot 0.0003% 21.01.2015
176 cipacrawler 0.0003% 02.01.2018
177 izsearch.com 0.0003% 09.04.2015
178 hyscore 0.0003% 11.12.2017
179 jugendschutzprogramm-crawler 0.0003% 18.11.2017
180 jobboersebot 0.0003% 24.12.2017
181 crawler4j 0.0003% 12.12.2014
182 psbot 0.0003% 17.10.2014
183 showyoubot 0.0002% 30.10.2014
184 linkisbot 0.0002% 23.11.2017
185 adstxtlab.com crawler 0.0002% 23.11.2017
186 spiderbot 0.0002% 06.02.2015
187 icjobs 0.0002% 20.12.2014
188 loadtimebot 0.0002% 07.10.2014
189 toscrawler 0.0002% 27.03.2015
190 gimme60bot 0.0002% 14.10.2014
191 duckduckbot 0.0002% 25.05.2018
192 advbot 0.0002% 23.01.2015
193 lightspeedsystemscrawler 0.0002% 07.12.2017
194 anonymous coward 0.0002% 02.02.2015
195 maxpointcrawler 0.0002% 27.02.2015
196 thumbshotsbot 0.0002% 08.12.2014
197 wasalive-bot 0.0002% 27.10.2014
198 leikibot 0.0002% 04.02.2015
199 fr-crawler 0.0002% 04.11.2014
200 optimizationcrawler 0.0002% 11.11.2014
201 istellabot 0.0002% 19.12.2014
202 laserlikebot 0.0002% 20.11.2017
203 ca-crawler 0.0002% 18.10.2014
204 woobot 0.0001% 24.12.2017
205 indeedbot 0.0001% 02.02.2018
206 pathdefender 0.0001% 17.12.2014
207 sky nutch crawler 0.0001% 13.05.2015
208 mlib_networkbot 0.0001% 13.12.2014
209 storygizebot 0.0001% 10.02.2018
210 bdcbot 0.0001% 25.04.2015
211 netzcheckbot 0.0001% 23.10.2014
212 thumbshots-de-bot 0.0001% 26.02.2015
213 plukkie 0.0001% 07.03.2015
214 insitesbot 0.0001% 16.01.2015
215 wegtam crawler 0.0001% 10.11.2014
216 implisensebot 0.0001% 22.01.2018
217 stasebot 0.0001% 09.02.2015
218 mbr-web-crawler 0.0001% 17.02.2015
219 epicbot 0.0001% 15.11.2017
220 xenzuubot 0.0001% 20.02.2018
221 orliac 0.0001% 09.01.2018
222 bitlybot 0.0001% 14.11.2014
223 admedia bot 0.0001% 11.12.2014
224 codewisebot 0.0001% 22.01.2018
225 seobilitybot 0.0001% 16.11.2017
226 speedy spider 0.0001% 12.12.2014
227 meta_bot 0.0001% 04.05.2018
228 calypso v 0.0001% 14.04.2015
229 researchbot 0.0001% 20.03.2015
230 my nutch spider 0.0001% 28.01.2015
231 screenerbot crawler 0.0001% 10.03.2015
232 lcc ( http:corpora.informatik 0.0001% 21.04.2015
233 sogou pic spider 0.0001% 03.12.2014
234 seebot 0% 20.12.2014
235 semrushbot-sa 0% 02.12.2014
236 rssingbot 0% 22.11.2017
237 archive-tv.com 0% 17.02.2015
238 rankflex.com 0% 09.04.2015
239 clickagy intelligence bot 0% 03.12.2017
240 adnormcrawler 0% 28.10.2014
241 ichiromobile 0% 15.11.2014
242 ofm search_robot 0% 27.02.2015
243 hivemind 0% 24.04.2015
244 yeti 0% 15.02.2018
245 aboundex 0% 15.04.2015
246 urlbot 0% 08.03.2018
247 bot.araturka.com 0% 18.04.2015
248 redditbot 0% 13.05.2018
249 gigabot 0% 10.05.2015
250 estyle 0% 14.12.2017
251 toutrix crawler 0% 02.02.2015
252 screenshot bot 0% 14.02.2015
253 suma spider 0% 16.04.2015
254 jooblebot 0% 25.01.2018
255 pycurl 0% 02.03.2015
256 digincore crawler bot 0% 17.02.2018
257 openwebspider 0% 28.11.2014
258 domaincheck.io 0% 05.05.2018
259 openindexspider 0% 04.04.2015
260 spuhexbot 0% 28.01.2018
261 webspider 0% 26.04.2018
262 coincornerbot 0% 07.05.2015
263 elefent 0% 29.11.2017
264 xovionpagecrawler 0% 03.01.2018