Webrobots Liste
Pos Name Land Marktanteil Erfasst
1 googlebot 20.59% 08.10.2014
2 yandex 16.55% 07.10.2014
3 mj12bot 15.38% 07.10.2014
4 ahrefsbot 12.4% 08.10.2014
5 bingbot 10.47% 07.10.2014
6 dotbot 2.99% 07.10.2014
7 spbot 2.61% 09.10.2014
8 yahoo 2.03% 10.10.2014
9 mediapartners-google 1.97% 07.10.2014
10 plista datafication 1.41% 12.03.2015
11 proximic 1.37% 07.10.2014
12 kraken 1.18% 08.10.2014
13 xovibot 0.81% 09.10.2014
14 seznambot 0.68% 08.10.2014
15 exabot 0.61% 07.10.2014
16 msnbot 0.57% 07.10.2014
17 trendictionbot 0.48% 07.10.2014
18 backlinkcrawler 0.48% 08.10.2014
19 megaindex.ru 0.46% 21.04.2015
20 007ac9 crawler 0.46% 17.10.2014
21 baiduspider 0.46% 07.10.2014
22 grapeshotcrawler 0.44% 07.10.2014
23 spinn3r 0.43% 07.10.2014
24 360spider 0.42% 07.10.2014
25 semrushbot 0.42% 15.10.2014
26 publiclibraryarchive.org 0.39% 08.10.2014
27 nbot 0.34% 11.10.2014
28 twitterbot 0.33% 08.10.2014
29 metricsbot 0.3% 08.10.2014
30 ru_bot 0.26% 11.10.2014
31 memorybot 0.25% 08.10.2014
32 qwantify 0.22% 12.03.2015
33 sistrix crawler 0.19% 08.10.2014
34 ccbot 0.19% 20.10.2014
35 smtbot 0.18% 12.10.2014
36 twittercrawler 0.16% 10.10.2014
37 wotbox 0.13% 14.10.2014
38 easouspider 0.12% 08.10.2014
39 webcrawler 0.08% 10.11.2014
40 msn 0.08% 08.10.2014
41 crystalsemanticsbot 0.08% 07.10.2014
42 wbsearchbot 0.08% 30.11.2014
43 betabot 0.06% 16.10.2014
44 sogou web spider 0.05% 07.10.2014
45 wordpress 0.05% 10.10.2014
46 umbot- 0.05% 07.10.2014
47 linkpadbot 0.04% 01.11.2014
48 seedingup 0.04% 08.10.2014
49 cliqzbot 0.04% 08.10.2014
50 genieo 0.04% 07.10.2014
51 magpie-crawler 0.03% 08.10.2014
52 contextad bot 0.03% 07.10.2014
53 blexbot 0.03% 09.10.2014
54 ia_archiver 0.03% 11.10.2014
55 stq_bot 0.02% 21.10.2014
56 it2media-domain-crawler 0.02% 01.11.2014
57 heritrix 0.02% 08.10.2014
58 mojeekbot 0.02% 17.10.2014
59 adsbot-google 0.02% 10.10.2014
60 addthis.com 0.02% 10.04.2015
61 meanpathbot 0.02% 08.10.2014
62 seodiver 0.02% 24.11.2014
63 wesee:ads 0.02% 08.10.2014
64 compatible crawler 0.02% 24.10.2014
65 200pleasebot 0.01% 12.10.2014
66 findxbot 0.01% 17.02.2015
67 python-urllib 0.01% 19.10.2014
68 linkdexbot 0.01% 08.10.2014
69 duckduckgo-favicons-bot 0.01% 22.12.2014
70 gigablastopensource 0.01% 08.04.2015
71 admantx 0.01% 07.04.2015
72 obot 0.009% 13.10.2014
73 crazywebcrawler 0.009% 08.10.2014
74 nerdybot 0.008% 08.10.2014
75 surveybot 0.008% 08.10.2014
76 linkscrawler 0.1beta 0.008% 29.10.2014
77 mixrankbot 0.007% 10.10.2014
78 archive.org_bot 0.007% 09.12.2014
79 fetchbot 0.007% 25.02.2015
80 domainsigmacrawler 0.007% 30.10.2014
81 netseer 0.007% 09.10.2014
82 urlfilterdb-crawler 0.007% 14.11.2014
83 tweetmemebot 0.005% 12.10.2014
84 metauri api 0.005% 12.10.2014
85 wevikabot 0.004% 09.11.2014
86 ssearch crawler 0.004% 10.10.2014
87 cms crawler 0.003% 10.12.2014
88 uipbot 0.003% 15.04.2015
89 orangebot 0.003% 06.12.2014
90 webtarantula.com crawler 0.003% 08.10.2014
91 msiecrawler 0.003% 27.10.2014
92 facebot 0.003% 07.10.2014
93 rogerbot 0.003% 08.10.2014
94 odp link checker 0.002% 12.10.2014
95 euripbot 0.002% 23.10.2014
96 lb-spider 0.002% 20.11.2014
97 yisouspider 0.002% 15.10.2014
98 silk 0.002% 14.03.2015
99 hrcrawler 0.002% 05.05.2015
100 pagesinventory 0.002% 15.10.2014
101 mnogosearch 0.002% 07.04.2015
102 komodiabot 0.002% 14.10.2014
103 datagnionbot 0.002% 08.10.2014
104 hypercrawl 0.002% 10.03.2015
105 psbot-page 0.002% 07.10.2014
106 yacybot 0.002% 16.11.2014
107 safesearch microdata crawler 0.002% 17.01.2015
108 netestate ne crawler 0.002% 20.11.2014
109 paperlibot 0.001% 12.10.2014
110 seokicks-robot 0.001% 05.11.2014
111 finbot 0.001% 04.11.2014
112 lssrocketcrawler 0.001% 17.10.2014
113 livelapbot 0.001% 23.10.2014
114 affectv robot 0.001% 09.10.2014
115 mindupbot 0.001% 10.05.2015
116 toplistbot 0.001% 22.11.2014
117 domnutch-botnutch- 0.001% 10.12.2014
118 applebot 0.001% 02.03.2015
119 maluuba-crawler 0.0009% 23.05.2015
120 voilabot 0.0009% 20.10.2014
121 bulk-retrieval bot 0.0007% 21.01.2015
122 izsearch.com 0.0006% 09.04.2015
123 psbot 0.0006% 17.10.2014
124 crawler4j 0.0006% 12.12.2014
125 screaming frog seo spider 0.0006% 23.01.2015
126 showyoubot 0.0006% 30.10.2014
127 claritybot 0.0006% 28.03.2015
128 icjobs 0.0006% 20.12.2014
129 loadtimebot 0.0005% 07.10.2014
130 advbot 0.0005% 23.01.2015
131 anonymous coward 0.0005% 02.02.2015
132 gimme60bot 0.0005% 14.10.2014
133 toscrawler 0.0005% 27.03.2015
134 wasalive-bot 0.0004% 27.10.2014
135 fr-crawler 0.0004% 04.11.2014
136 ca-crawler 0.0004% 18.10.2014
137 optimizationcrawler 0.0004% 11.11.2014
138 maxpointcrawler 0.0004% 27.02.2015
139 pathdefender 0.0003% 17.12.2014
140 james bot 0.0003% 13.10.2014
141 thumbshotsbot 0.0003% 08.12.2014
142 bdcbot 0.0003% 25.04.2015
143 mlib_networkbot 0.0003% 13.12.2014
144 sky nutch crawler 0.0003% 13.05.2015
145 netzcheckbot 0.0003% 23.10.2014
146 spiderbot 0.0002% 06.02.2015
147 wegtam crawler 0.0002% 10.11.2014
148 stasebot 0.0002% 09.02.2015
149 insitesbot 0.0002% 16.01.2015
150 bitlybot 0.0002% 14.11.2014
151 gluten free crawler 0.0002% 06.03.2015
152 admedia bot 0.0002% 11.12.2014
153 mbr-web-crawler 0.0002% 17.02.2015
154 speedy spider 0.0002% 12.12.2014
155 my nutch spider 0.0001% 28.01.2015
156 calypso v 0.0001% 14.04.2015
157 screenerbot crawler 0.0001% 10.03.2015
158 lcc ( http:corpora.informatik 0.0001% 21.04.2015
159 thumbshots-de-bot 0.0001% 26.02.2015
160 sogou pic spider 0.0001% 03.12.2014
161 researchbot 0.0001% 20.03.2015
162 istellabot 0.0001% 19.12.2014
163 archive-tv.com 0.0001% 17.02.2015
164 rankflex.com 0.0001% 09.04.2015
165 aboundex 0.0001% 15.04.2015
166 semrushbot-sa 0.0001% 02.12.2014
167 ofm search_robot 0.0001% 27.02.2015
168 hivemind 0.0001% 24.04.2015
169 adnormcrawler 0.0001% 28.10.2014
170 ichiromobile 0.0001% 15.11.2014
171 seebot 0.0001% 20.12.2014
172 leikibot 0.0001% 04.02.2015
173 affiliatewindow.com 0.0001% 20.04.2015
174 pycurl 0% 02.03.2015
175 suma spider 0% 16.04.2015
176 openindexspider 0% 04.04.2015
177 openwebspider 0% 28.11.2014
178 coincornerbot 0% 07.05.2015
179 toutrix crawler 0% 02.02.2015
180 plukkie 0% 07.03.2015
181 bot.araturka.com 0% 18.04.2015
182 screenshot bot 0% 14.02.2015
183 gigabot 0% 10.05.2015