Webrobots Liste
Pos Name Land Marktanteil Erfasst
1 mj12bot 24.77% 07.10.2014
2 bingbot 18.42% 07.10.2014
3 ahrefsbot 11.31% 08.10.2014
4 semrushbot 10.72% 15.10.2014
5 domaincrawler 8.37% 15.11.2017
6 googlebot 6.99% 08.10.2014
7 yandex 5.09% 07.10.2014
8 dotbot 2.08% 07.10.2014
9 mediapartners-google 1.33% 07.10.2014
10 spbot 1.29% 09.10.2014
11 trendictionbot 0.79% 07.10.2014
12 yahoo 0.78% 10.10.2014
13 proximic 0.63% 07.10.2014
14 alphabot 0.6% 05.11.2017
15 mediatoolkitbot 0.55% 04.11.2017
16 grapeshotcrawler 0.51% 07.10.2014
17 seekport crawler 0.45% 27.08.2018
18 backlinkcrawler 0.4% 08.10.2014
19 plista datafication 0.37% 12.03.2015
20 qwantify 0.34% 12.03.2015
21 kraken 0.31% 08.10.2014
22 exabot 0.24% 07.10.2014
23 360spider 0.24% 07.10.2014
24 xovibot 0.21% 09.10.2014
25 seznambot 0.2% 08.10.2014
26 twitterbot 0.19% 08.10.2014
27 seoscanners.net 0.17% 04.11.2017
28 baiduspider 0.17% 07.10.2014
29 007ac9 crawler 0.16% 17.10.2014
30 msnbot 0.15% 07.10.2014
31 applebot 0.13% 02.03.2015
32 vebidoobot 0.13% 05.11.2017
33 megaindex.ru 0.12% 21.04.2015
34 spinn3r 0.11% 07.10.2014
35 ru_bot 0.11% 11.10.2014
36 publiclibraryarchive.org 0.1% 08.10.2014
37 ccbot 0.1% 20.10.2014
38 nbot 0.09% 11.10.2014
39 metricsbot 0.08% 08.10.2014
40 smtbot 0.08% 12.10.2014
41 cliqzbot 0.07% 08.10.2014
42 netestate ne crawler 0.07% 20.11.2014
43 memorybot 0.07% 08.10.2014
44 sistrix crawler 0.05% 08.10.2014
45 deusu 0.05% 06.12.2017
46 twittercrawler 0.04% 10.10.2014
47 wotbox 0.04% 14.10.2014
48 dnyzbot 0.04% 05.11.2017
49 obot 0.03% 13.10.2014
50 bidswitchbot 0.03% 01.12.2017
51 easouspider 0.03% 08.10.2014
52 sogou web spider 0.03% 07.10.2014
53 python-urllib 0.02% 19.10.2014
54 webcrawler 0.02% 10.11.2014
55 msn 0.02% 08.10.2014
56 crystalsemanticsbot 0.02% 07.10.2014
57 wbsearchbot 0.02% 30.11.2014
58 bubing 0.02% 11.11.2017
59 seedingup 0.02% 08.10.2014
60 ia_archiver 0.02% 11.10.2014
61 betabot 0.02% 16.10.2014
62 afd-verbotsverfahren 0.02% 04.11.2017
63 wordpress 0.01% 10.10.2014
64 linkdexbot 0.01% 08.10.2014
65 mojeekbot 0.01% 17.10.2014
66 siteexplorer 0.01% 05.11.2017
67 pinterestbot 0.01% 04.11.2017
68 umbot- 0.01% 07.10.2014
69 linkpadbot 0.01% 01.11.2014
70 genieo 0.01% 07.10.2014
71 admantx 0.009% 07.04.2015
72 yak 0.009% 04.11.2017
73 tracemyfile 0.009% 17.05.2018
74 magpie-crawler 0.008% 08.10.2014
75 contextad bot 0.008% 07.10.2014
76 blexbot 0.008% 09.10.2014
77 extlinksbot 0.007% 08.11.2017
78 adsbot-google 0.007% 10.10.2014
79 pubmatic crawler bot 0.006% 11.04.2018
80 duckduckgo-favicons-bot 0.006% 22.12.2014
81 stq_bot 0.006% 21.10.2014
82 heritrix 0.005% 08.10.2014
83 it2media-domain-crawler 0.005% 01.11.2014
84 mbcrawler 0.005% 10.11.2017
85 contxbot 0.005% 22.02.2018
86 addthis.com 0.005% 10.04.2015
87 r6_commentreader 0.005% 05.11.2017
88 statsbot 0.005% 25.11.2017
89 pinterest 0.005% 05.11.2017
90 ucrawler 0.005% 05.11.2017
91 meanpathbot 0.004% 08.10.2014
92 seodiver 0.004% 24.11.2014
93 metajobbot 0.004% 04.11.2017
94 wesee:ads 0.004% 08.10.2014
95 ias crawler 0.004% 05.11.2017
96 adstxtcrawler 0.004% 19.02.2018
97 compatible crawler 0.004% 24.10.2014
98 seokicks-robot 0.004% 05.11.2014
99 getintent crawler 0.004% 04.11.2017
100 200pleasebot 0.004% 12.10.2014
101 findxbot 0.004% 17.02.2015
102 metauri api 0.003% 12.10.2014
103 mindupbot 0.003% 10.05.2015
104 uptimebot.org 0.003% 15.12.2018
105 netseer 0.003% 09.10.2014
106 telegrambot 0.003% 22.01.2018
107 gigablastopensource 0.003% 08.04.2015
108 surdotlybot 0.003% 07.11.2017
109 archive.org_bot 0.002% 09.12.2014
110 surveybot 0.002% 08.10.2014
111 crazywebcrawler 0.002% 08.10.2014
112 yisouspider 0.002% 15.10.2014
113 pulsepoint-ads.txt-crawler 0.002% 06.11.2017
114 uptimebot 0.002% 04.11.2017
115 seokicks 0.002% 03.07.2018
116 nerdybot 0.002% 08.10.2014
117 linkscrawler 0.1beta 0.002% 29.10.2014
118 mixrankbot 0.002% 10.10.2014
119 mauibot 0.002% 30.03.2018
120 hyscore 0.002% 11.12.2017
121 ssearch crawler 0.002% 10.10.2014
122 fetchbot 0.002% 25.02.2015
123 domainsigmacrawler 0.002% 30.10.2014
124 urlfilterdb-crawler 0.002% 14.11.2014
125 duckduckbot 0.002% 25.05.2018
126 gluten free crawler 0.002% 06.03.2015
127 tweetmemebot 0.002% 12.10.2014
128 paperlibot 0.002% 12.10.2014
129 moatbot 0.001% 09.11.2017
130 safednsbot 0.001% 08.11.2017
131 outclicksbot 0.001% 21.02.2018
132 msiecrawler 0.001% 27.10.2014
133 radian6 0.001% 30.11.2017
134 cms crawler 0.001% 10.12.2014
135 wevikabot 0.001% 09.11.2014
136 james bot 0.0009% 13.10.2014
137 socialrankiobot 0.0009% 05.11.2017
138 nutch- 0.0009% 27.02.2018
139 uipbot 0.0008% 15.04.2015
140 finbot 0.0008% 04.11.2014
141 orangebot 0.0008% 06.12.2014
142 idbot 0.0008% 04.11.2017
143 komodiabot 0.0007% 14.10.2014
144 odp link checker 0.0007% 12.10.2014
145 datagnionbot 0.0007% 08.10.2014
146 webtarantula.com crawler 0.0007% 08.10.2014
147 robotschecker 0.0007% 05.11.2017
148 garlikcrawler 0.0007% 27.06.2018
149 facebot 0.0007% 07.10.2014
150 yacybot 0.0007% 16.11.2014
151 rogerbot 0.0006% 08.10.2014
152 euripbot 0.0006% 23.10.2014
153 lb-spider 0.0006% 20.11.2014
154 whatsapp 0.0006% 14.11.2018
155 silk 0.0006% 14.03.2015
156 hrcrawler 0.0005% 05.05.2015
157 pagesinventory 0.0005% 15.10.2014
158 coccocbot-web 0.0005% 06.11.2017
159 mnogosearch 0.0005% 07.04.2015
160 psbot-page 0.0005% 07.10.2014
161 hypercrawl 0.0005% 10.03.2015
162 safesearch microdata crawler 0.0005% 17.01.2015
163 compatible dataprovider 0.0004% 27.12.2017
164 contentdetection 0.0004% 02.12.2017
165 livelapbot 0.0004% 23.10.2014
166 cipacrawler 0.0004% 02.01.2018
167 affiliatewindow.com 0.0004% 20.04.2015
168 screaming frog seo spider 0.0004% 23.01.2015
169 virusdie crawler 0.0004% 05.12.2017
170 adstxtlab.com crawler 0.0003% 23.11.2017
171 lssrocketcrawler 0.0003% 17.10.2014
172 jobboersebot 0.0003% 24.12.2017
173 megaindex.com 0.0003% 23.11.2017
174 implisensebot 0.0003% 22.01.2018
175 toplistbot 0.0003% 22.11.2014
176 affectv robot 0.0003% 09.10.2014
177 domnutch-botnutch- 0.0003% 10.12.2014
178 linqiacrawlerbot 0.0003% 21.11.2017
179 piplbot 0.0003% 08.11.2017
180 linkisbot 0.0003% 23.11.2017
181 lightspeedsystemscrawler 0.0003% 07.12.2017
182 ibusiness shopcrawler 0.0002% 26.04.2018
183 maluuba-crawler 0.0002% 23.05.2015
184 centro ads.txt crawler 0.0002% 21.09.2018
185 voilabot 0.0002% 20.10.2014
186 jugendschutzprogramm-crawler 0.0002% 18.11.2017
187 newsharecounts.com 0.0002% 06.12.2017
188 wsb-bot 0.0002% 26.12.2017
189 claritybot 0.0002% 28.03.2015
190 bulk-retrieval bot 0.0002% 21.01.2015
191 istellabot 0.0002% 19.12.2014
192 izsearch.com 0.0002% 09.04.2015
193 crawler4j 0.0002% 12.12.2014
194 indeedbot 0.0002% 02.02.2018
195 psbot 0.0002% 17.10.2014
196 showyoubot 0.0001% 30.10.2014
197 thumbshotsbot 0.0001% 08.12.2014
198 icjobs 0.0001% 20.12.2014
199 buzzbot 0.0001% 22.09.2018
200 spiderbot 0.0001% 06.02.2015
201 advbot 0.0001% 23.01.2015
202 loadtimebot 0.0001% 07.10.2014
203 anonymous coward 0.0001% 02.02.2015
204 gimme60bot 0.0001% 14.10.2014
205 toscrawler 0.0001% 27.03.2015
206 maxpointcrawler 0.0001% 27.02.2015
207 epicbot 0.0001% 15.11.2017
208 wasalive-bot 0.0001% 27.10.2014
209 thumbshots-de-bot 0.0001% 26.02.2015
210 laserlikebot 0.0001% 20.11.2017
211 leikibot 0.0001% 04.02.2015
212 fr-crawler 0.0001% 04.11.2014
213 optimizationcrawler 0.0001% 11.11.2014
214 meta_bot 0.0001% 04.05.2018
215 ca-crawler 0.0001% 18.10.2014
216 woobot 0.0001% 24.12.2017
217 bpimagewalker 0.0001% 01.07.2018
218 pathdefender 0.0001% 17.12.2014
219 domaincheck.io 0.0001% 05.05.2018
220 mlib_networkbot 0.0001% 13.12.2014
221 sky nutch crawler 0.0001% 13.05.2015
222 netzcheckbot 0.0001% 23.10.2014
223 storygizebot 0.0001% 10.02.2018
224 bdcbot 0.0001% 25.04.2015
225 insitesbot 0.0001% 16.01.2015
226 stasebot 0.0001% 09.02.2015
227 wegtam crawler 0.0001% 10.11.2014
228 plukkie 0.0001% 07.03.2015
229 checkmarknetwork 0% 25.12.2018
230 lcc ( http:corpora.informatik 0% 21.04.2015
231 bitlybot 0% 14.11.2014
232 speedy spider 0% 12.12.2014
233 xenzuubot 0% 20.02.2018
234 1001firmsbot 0% 07.07.2018
235 mbr-web-crawler 0% 17.02.2015
236 orliac 0% 09.01.2018
237 researchbot 0% 20.03.2015
238 seobilitybot 0% 16.11.2017
239 codewisebot 0% 22.01.2018
240 admedia bot 0% 11.12.2014
241 gowikibot 0% 02.11.2018
242 coccocbot-image 0% 23.11.2018
243 rpm-bot 0% 14.11.2018
244 sogou pic spider 0% 03.12.2014
245 my nutch spider 0% 28.01.2015
246 calypso v 0% 14.04.2015
247 screenerbot crawler 0% 10.03.2015
248 yeti 0% 15.02.2018
249 ofm search_robot 0% 27.02.2015
250 hivemind 0% 24.04.2015
251 rssingbot 0% 22.11.2017
252 semrushbot-sa 0% 02.12.2014
253 clickagy intelligence bot 0% 03.12.2017
254 fastbot.de 0% 04.09.2018
255 estyle 0% 14.12.2017
256 seebot 0% 20.12.2014
257 adnormcrawler 0% 28.10.2014
258 ichiromobile 0% 15.11.2014
259 redditbot 0% 13.05.2018
260 archive-tv.com 0% 17.02.2015
261 gdpr-bot 0% 27.08.2018
262 e.ventures investment crawler 0% 08.11.2018
263 aboundex 0% 15.04.2015
264 rankflex.com 0% 09.04.2015
265 semantic-visions.com 0% 14.08.2018
266 openindexspider 0% 04.04.2015
267 xovionpagecrawler 0% 03.01.2018
268 spuhexbot 0% 28.01.2018
269 urlbot 0% 08.03.2018
270 toutrix crawler 0% 02.02.2015
271 coincornerbot 0% 07.05.2015
272 slackbot 0% 02.10.2018
273 google-adwords-instant 0% 06.11.2018
274 openwebspider 0% 28.11.2014
275 bot.araturka.com 0% 18.04.2015
276 jooblebot 0% 25.01.2018
277 screenshot bot 0% 14.02.2015
278 gigabot 0% 10.05.2015
279 elefent 0% 29.11.2017
280 linguee bot 0% 20.12.2018
281 iabtechlab ads.txt crawler 0% 27.11.2018
282 pycurl 0% 02.03.2015
283 suma spider 0% 16.04.2015
284 digincore crawler bot 0% 17.02.2018
285 webspider 0% 26.04.2018