Webrobots Liste
Pos Name Land Marktanteil Erfasst
1 bingbot 18.04% 07.10.2014
2 mj12bot 17.38% 07.10.2014
3 googlebot 13.11% 08.10.2014
4 ahrefsbot 11.93% 08.10.2014
5 yandex 11.44% 07.10.2014
6 domaincrawler 3.84% 15.11.2017
7 semrushbot 3.8% 15.10.2014
8 dotbot 2.5% 07.10.2014
9 spbot 2.32% 09.10.2014
10 yahoo 1.77% 10.10.2014
11 mediapartners-google 1.69% 07.10.2014
12 proximic 1.1% 07.10.2014
13 plista datafication 0.85% 12.03.2015
14 kraken 0.71% 08.10.2014
15 alphabot 0.57% 05.11.2017
16 grapeshotcrawler 0.55% 07.10.2014
17 trendictionbot 0.5% 07.10.2014
18 xovibot 0.48% 09.10.2014
19 seznambot 0.44% 08.10.2014
20 backlinkcrawler 0.42% 08.10.2014
21 exabot 0.39% 07.10.2014
22 seoscanners.net 0.39% 04.11.2017
23 mediatoolkitbot 0.37% 04.11.2017
24 360spider 0.36% 07.10.2014
25 msnbot 0.34% 07.10.2014
26 007ac9 crawler 0.32% 17.10.2014
27 qwantify 0.3% 12.03.2015
28 baiduspider 0.29% 07.10.2014
29 twitterbot 0.28% 08.10.2014
30 megaindex.ru 0.28% 21.04.2015
31 spinn3r 0.26% 07.10.2014
32 publiclibraryarchive.org 0.24% 08.10.2014
33 nbot 0.2% 11.10.2014
34 metricsbot 0.19% 08.10.2014
35 ru_bot 0.17% 11.10.2014
36 vebidoobot 0.16% 05.11.2017
37 smtbot 0.15% 12.10.2014
38 memorybot 0.15% 08.10.2014
39 ccbot 0.13% 20.10.2014
40 sistrix crawler 0.12% 08.10.2014
41 twittercrawler 0.1% 10.10.2014
42 deusu 0.09% 06.12.2017
43 wotbox 0.09% 14.10.2014
44 cliqzbot 0.08% 08.10.2014
45 netestate ne crawler 0.08% 20.11.2014
46 easouspider 0.07% 08.10.2014
47 dnyzbot 0.06% 05.11.2017
48 webcrawler 0.05% 10.11.2014
49 msn 0.05% 08.10.2014
50 crystalsemanticsbot 0.05% 07.10.2014
51 wbsearchbot 0.05% 30.11.2014
52 sogou web spider 0.04% 07.10.2014
53 betabot 0.04% 16.10.2014
54 seedingup 0.03% 08.10.2014
55 wordpress 0.03% 10.10.2014
56 umbot- 0.03% 07.10.2014
57 linkpadbot 0.03% 01.11.2014
58 ia_archiver 0.03% 11.10.2014
59 genieo 0.02% 07.10.2014
60 magpie-crawler 0.02% 08.10.2014
61 mojeekbot 0.02% 17.10.2014
62 contextad bot 0.02% 07.10.2014
63 blexbot 0.02% 09.10.2014
64 applebot 0.02% 02.03.2015
65 python-urllib 0.02% 19.10.2014
66 linkdexbot 0.02% 08.10.2014
67 admantx 0.01% 07.04.2015
68 obot 0.01% 13.10.2014
69 adsbot-google 0.01% 10.10.2014
70 stq_bot 0.01% 21.10.2014
71 afd-verbotsverfahren 0.01% 04.11.2017
72 it2media-domain-crawler 0.01% 01.11.2014
73 heritrix 0.01% 08.10.2014
74 addthis.com 0.01% 10.04.2015
75 bidswitchbot 0.01% 01.12.2017
76 meanpathbot 0.01% 08.10.2014
77 seodiver 0.01% 24.11.2014
78 wesee:ads 0.01% 08.10.2014
79 r6_commentreader 0.009% 05.11.2017
80 duckduckgo-favicons-bot 0.009% 22.12.2014
81 compatible crawler 0.009% 24.10.2014
82 pinterestbot 0.009% 04.11.2017
83 200pleasebot 0.008% 12.10.2014
84 yak 0.008% 04.11.2017
85 findxbot 0.008% 17.02.2015
86 getintent crawler 0.008% 04.11.2017
87 metauri api 0.007% 12.10.2014
88 siteexplorer 0.007% 05.11.2017
89 gigablastopensource 0.006% 08.04.2015
90 ias crawler 0.006% 05.11.2017
91 crazywebcrawler 0.005% 08.10.2014
92 surveybot 0.005% 08.10.2014
93 ucrawler 0.005% 05.11.2017
94 archive.org_bot 0.005% 09.12.2014
95 netseer 0.005% 09.10.2014
96 seokicks-robot 0.005% 05.11.2014
97 nerdybot 0.005% 08.10.2014
98 linkscrawler 0.1beta 0.005% 29.10.2014
99 pulsepoint-ads.txt-crawler 0.005% 06.11.2017
100 mixrankbot 0.004% 10.10.2014
101 fetchbot 0.004% 25.02.2015
102 domainsigmacrawler 0.004% 30.10.2014
103 urlfilterdb-crawler 0.004% 14.11.2014
104 bubing 0.004% 11.11.2017
105 mindupbot 0.004% 10.05.2015
106 uptimebot 0.004% 04.11.2017
107 tweetmemebot 0.003% 12.10.2014
108 metajobbot 0.003% 04.11.2017
109 paperlibot 0.003% 12.10.2014
110 statsbot 0.003% 25.11.2017
111 moatbot 0.002% 09.11.2017
112 wevikabot 0.002% 09.11.2014
113 yisouspider 0.002% 15.10.2014
114 ssearch crawler 0.002% 10.10.2014
115 cms crawler 0.002% 10.12.2014
116 msiecrawler 0.002% 27.10.2014
117 uipbot 0.002% 15.04.2015
118 orangebot 0.002% 06.12.2014
119 james bot 0.002% 13.10.2014
120 extlinksbot 0.002% 08.11.2017
121 safednsbot 0.002% 08.11.2017
122 webtarantula.com crawler 0.002% 08.10.2014
123 datagnionbot 0.002% 08.10.2014
124 odp link checker 0.002% 12.10.2014
125 surdotlybot 0.002% 07.11.2017
126 facebot 0.002% 07.10.2014
127 rogerbot 0.002% 08.10.2014
128 radian6 0.002% 30.11.2017
129 socialrankiobot 0.001% 05.11.2017
130 euripbot 0.001% 23.10.2014
131 lb-spider 0.001% 20.11.2014
132 idbot 0.001% 04.11.2017
133 silk 0.001% 14.03.2015
134 hrcrawler 0.001% 05.05.2015
135 komodiabot 0.001% 14.10.2014
136 pagesinventory 0.001% 15.10.2014
137 yacybot 0.001% 16.11.2014
138 mnogosearch 0.001% 07.04.2015
139 psbot-page 0.001% 07.10.2014
140 hypercrawl 0.001% 10.03.2015
141 finbot 0.001% 04.11.2014
142 safesearch microdata crawler 0.001% 17.01.2015
143 contentdetection 0.001% 02.12.2017
144 livelapbot 0.0009% 23.10.2014
145 virusdie crawler 0.0007% 05.12.2017
146 pinterest 0.0007% 05.11.2017
147 lssrocketcrawler 0.0007% 17.10.2014
148 affectv robot 0.0007% 09.10.2014
149 toplistbot 0.0007% 22.11.2014
150 domnutch-botnutch- 0.0006% 10.12.2014
151 linqiacrawlerbot 0.0006% 21.11.2017
152 piplbot 0.0006% 08.11.2017
153 coccocbot-web 0.0006% 06.11.2017
154 maluuba-crawler 0.0006% 23.05.2015
155 voilabot 0.0005% 20.10.2014
156 robotschecker 0.0005% 05.11.2017
157 newsharecounts.com 0.0004% 06.12.2017
158 wsb-bot 0.0004% 26.12.2017
159 bulk-retrieval bot 0.0004% 21.01.2015
160 claritybot 0.0004% 28.03.2015
161 izsearch.com 0.0004% 09.04.2015
162 screaming frog seo spider 0.0004% 23.01.2015
163 psbot 0.0004% 17.10.2014
164 hyscore 0.0004% 11.12.2017
165 crawler4j 0.0004% 12.12.2014
166 icjobs 0.0003% 20.12.2014
167 showyoubot 0.0003% 30.10.2014
168 anonymous coward 0.0003% 02.02.2015
169 loadtimebot 0.0003% 07.10.2014
170 toscrawler 0.0003% 27.03.2015
171 gimme60bot 0.0003% 14.10.2014
172 advbot 0.0003% 23.01.2015
173 maxpointcrawler 0.0003% 27.02.2015
174 affiliatewindow.com 0.0003% 20.04.2015
175 linkisbot 0.0003% 23.11.2017
176 gluten free crawler 0.0002% 06.03.2015
177 fr-crawler 0.0002% 04.11.2014
178 compatible dataprovider 0.0002% 27.12.2017
179 megaindex.com 0.0002% 23.11.2017
180 wasalive-bot 0.0002% 27.10.2014
181 adstxtlab.com crawler 0.0002% 23.11.2017
182 ca-crawler 0.0002% 18.10.2014
183 thumbshotsbot 0.0002% 08.12.2014
184 mbcrawler 0.0002% 10.11.2017
185 optimizationcrawler 0.0002% 11.11.2014
186 leikibot 0.0002% 04.02.2015
187 jugendschutzprogramm-crawler 0.0002% 18.11.2017
188 laserlikebot 0.0002% 20.11.2017
189 pathdefender 0.0002% 17.12.2014
190 woobot 0.0002% 24.12.2017
191 indeedbot 0.0002% 02.02.2018
192 cipacrawler 0.0002% 02.01.2018
193 netzcheckbot 0.0002% 23.10.2014
194 mlib_networkbot 0.0002% 13.12.2014
195 sky nutch crawler 0.0002% 13.05.2015
196 bdcbot 0.0002% 25.04.2015
197 storygizebot 0.0001% 10.02.2018
198 stasebot 0.0001% 09.02.2015
199 thumbshots-de-bot 0.0001% 26.02.2015
200 jobboersebot 0.0001% 24.12.2017
201 lightspeedsystemscrawler 0.0001% 07.12.2017
202 wegtam crawler 0.0001% 10.11.2014
203 istellabot 0.0001% 19.12.2014
204 spiderbot 0.0001% 06.02.2015
205 insitesbot 0.0001% 16.01.2015
206 epicbot 0.0001% 15.11.2017
207 speedy spider 0.0001% 12.12.2014
208 codewisebot 0.0001% 22.01.2018
209 mbr-web-crawler 0.0001% 17.02.2015
210 bitlybot 0.0001% 14.11.2014
211 admedia bot 0.0001% 11.12.2014
212 orliac 0.0001% 09.01.2018
213 sogou pic spider 0.0001% 03.12.2014
214 telegrambot 0.0001% 22.01.2018
215 calypso v 0.0001% 14.04.2015
216 implisensebot 0.0001% 22.01.2018
217 researchbot 0.0001% 20.03.2015
218 lcc ( http:corpora.informatik 0.0001% 21.04.2015
219 my nutch spider 0.0001% 28.01.2015
220 screenerbot crawler 0.0001% 10.03.2015
221 hivemind 0.0001% 24.04.2015
222 clickagy intelligence bot 0.0001% 03.12.2017
223 xenzuubot 0.0001% 20.02.2018
224 seebot 0.0001% 20.12.2014
225 seobilitybot 0.0001% 16.11.2017
226 aboundex 0.0001% 15.04.2015
227 semrushbot-sa 0.0001% 02.12.2014
228 archive-tv.com 0.0001% 17.02.2015
229 adstxtcrawler 0.0001% 19.02.2018
230 rankflex.com 0.0001% 09.04.2015
231 adnormcrawler 0.0001% 28.10.2014
232 ichiromobile 0.0001% 15.11.2014
233 ofm search_robot 0.0001% 27.02.2015
234 rssingbot 0.0001% 22.11.2017
235 yeti 0.0001% 15.02.2018
236 coincornerbot 0% 07.05.2015
237 plukkie 0% 07.03.2015
238 bot.araturka.com 0% 18.04.2015
239 digincore crawler bot 0% 17.02.2018
240 elefent 0% 29.11.2017
241 xovionpagecrawler 0% 03.01.2018
242 screenshot bot 0% 14.02.2015
243 gigabot 0% 10.05.2015
244 jooblebot 0% 25.01.2018
245 pycurl 0% 02.03.2015
246 suma spider 0% 16.04.2015
247 spuhexbot 0% 28.01.2018
248 openwebspider 0% 28.11.2014
249 estyle 0% 14.12.2017
250 toutrix crawler 0% 02.02.2015
251 openindexspider 0% 04.04.2015