Webrobots Liste
Pos Name Land Marktanteil Erfasst
1 googlebot 18.8% 08.10.2014
2 mj12bot 16.09% 07.10.2014
3 yandex 15.11% 07.10.2014
4 ahrefsbot 12.33% 08.10.2014
5 bingbot 11.68% 07.10.2014
6 dotbot 2.74% 07.10.2014
7 spbot 2.52% 09.10.2014
8 domaincrawler 2.08% 15.11.2017
9 yahoo 1.94% 10.10.2014
10 mediapartners-google 1.91% 07.10.2014
11 proximic 1.31% 07.10.2014
12 plista datafication 1.27% 12.03.2015
13 kraken 1.07% 08.10.2014
14 semrushbot 0.73% 15.10.2014
15 xovibot 0.73% 09.10.2014
16 seznambot 0.62% 08.10.2014
17 exabot 0.56% 07.10.2014
18 msnbot 0.52% 07.10.2014
19 trendictionbot 0.5% 07.10.2014
20 grapeshotcrawler 0.45% 07.10.2014
21 backlinkcrawler 0.44% 08.10.2014
22 baiduspider 0.42% 07.10.2014
23 megaindex.ru 0.42% 21.04.2015
24 007ac9 crawler 0.42% 17.10.2014
25 360spider 0.4% 07.10.2014
26 spinn3r 0.39% 07.10.2014
27 publiclibraryarchive.org 0.36% 08.10.2014
28 twitterbot 0.33% 08.10.2014
29 nbot 0.31% 11.10.2014
30 metricsbot 0.28% 08.10.2014
31 ru_bot 0.24% 11.10.2014
32 qwantify 0.24% 12.03.2015
33 memorybot 0.23% 08.10.2014
34 alphabot 0.22% 05.11.2017
35 ccbot 0.18% 20.10.2014
36 smtbot 0.18% 12.10.2014
37 sistrix crawler 0.18% 08.10.2014
38 twittercrawler 0.14% 10.10.2014
39 wotbox 0.12% 14.10.2014
40 easouspider 0.11% 08.10.2014
41 seoscanners.net 0.1% 04.11.2017
42 mediatoolkitbot 0.09% 04.11.2017
43 webcrawler 0.08% 10.11.2014
44 msn 0.07% 08.10.2014
45 crystalsemanticsbot 0.07% 07.10.2014
46 wbsearchbot 0.07% 30.11.2014
47 cliqzbot 0.06% 08.10.2014
48 betabot 0.06% 16.10.2014
49 sogou web spider 0.05% 07.10.2014
50 wordpress 0.05% 10.10.2014
51 umbot- 0.04% 07.10.2014
52 seedingup 0.04% 08.10.2014
53 linkpadbot 0.04% 01.11.2014
54 vebidoobot 0.03% 05.11.2017
55 genieo 0.03% 07.10.2014
56 ia_archiver 0.03% 11.10.2014
57 magpie-crawler 0.03% 08.10.2014
58 contextad bot 0.03% 07.10.2014
59 blexbot 0.03% 09.10.2014
60 stq_bot 0.02% 21.10.2014
61 mojeekbot 0.02% 17.10.2014
62 adsbot-google 0.02% 10.10.2014
63 it2media-domain-crawler 0.02% 01.11.2014
64 heritrix 0.02% 08.10.2014
65 addthis.com 0.02% 10.04.2015
66 dnyzbot 0.02% 05.11.2017
67 meanpathbot 0.02% 08.10.2014
68 seodiver 0.02% 24.11.2014
69 wesee:ads 0.01% 08.10.2014
70 linkdexbot 0.01% 08.10.2014
71 compatible crawler 0.01% 24.10.2014
72 200pleasebot 0.01% 12.10.2014
73 findxbot 0.01% 17.02.2015
74 python-urllib 0.01% 19.10.2014
75 admantx 0.01% 07.04.2015
76 duckduckgo-favicons-bot 0.01% 22.12.2014
77 gigablastopensource 0.009% 08.04.2015
78 obot 0.008% 13.10.2014
79 crazywebcrawler 0.008% 08.10.2014
80 surveybot 0.007% 08.10.2014
81 nerdybot 0.007% 08.10.2014
82 linkscrawler 0.1beta 0.007% 29.10.2014
83 archive.org_bot 0.007% 09.12.2014
84 mixrankbot 0.007% 10.10.2014
85 fetchbot 0.006% 25.02.2015
86 domainsigmacrawler 0.006% 30.10.2014
87 netseer 0.006% 09.10.2014
88 urlfilterdb-crawler 0.006% 14.11.2014
89 metauri api 0.006% 12.10.2014
90 tweetmemebot 0.005% 12.10.2014
91 getintent crawler 0.004% 04.11.2017
92 applebot 0.004% 02.03.2015
93 afd-verbotsverfahren 0.003% 04.11.2017
94 wevikabot 0.003% 09.11.2014
95 ssearch crawler 0.003% 10.10.2014
96 cms crawler 0.003% 10.12.2014
97 uipbot 0.003% 15.04.2015
98 orangebot 0.003% 06.12.2014
99 msiecrawler 0.003% 27.10.2014
100 yak 0.003% 04.11.2017
101 webtarantula.com crawler 0.003% 08.10.2014
102 facebot 0.002% 07.10.2014
103 rogerbot 0.002% 08.10.2014
104 r6_commentreader 0.002% 05.11.2017
105 odp link checker 0.002% 12.10.2014
106 euripbot 0.002% 23.10.2014
107 yisouspider 0.002% 15.10.2014
108 lb-spider 0.002% 20.11.2014
109 silk 0.002% 14.03.2015
110 hrcrawler 0.002% 05.05.2015
111 mindupbot 0.002% 10.05.2015
112 pagesinventory 0.002% 15.10.2014
113 datagnionbot 0.002% 08.10.2014
114 yacybot 0.002% 16.11.2014
115 komodiabot 0.002% 14.10.2014
116 paperlibot 0.002% 12.10.2014
117 mnogosearch 0.002% 07.04.2015
118 psbot-page 0.002% 07.10.2014
119 hypercrawl 0.002% 10.03.2015
120 seokicks-robot 0.002% 05.11.2014
121 safesearch microdata crawler 0.002% 17.01.2015
122 netestate ne crawler 0.002% 20.11.2014
123 pulsepoint-ads.txt-crawler 0.002% 06.11.2017
124 pinterestbot 0.001% 04.11.2017
125 ias crawler 0.001% 05.11.2017
126 finbot 0.001% 04.11.2014
127 livelapbot 0.001% 23.10.2014
128 ucrawler 0.001% 05.11.2017
129 lssrocketcrawler 0.001% 17.10.2014
130 affectv robot 0.001% 09.10.2014
131 toplistbot 0.001% 22.11.2014
132 domnutch-botnutch- 0.001% 10.12.2014
133 linqiacrawlerbot 0.001% 21.11.2017
134 piplbot 0.0009% 08.11.2017
135 maluuba-crawler 0.0008% 23.05.2015
136 voilabot 0.0008% 20.10.2014
137 socialrankiobot 0.0007% 05.11.2017
138 james bot 0.0007% 13.10.2014
139 metajobbot 0.0006% 04.11.2017
140 bulk-retrieval bot 0.0006% 21.01.2015
141 siteexplorer 0.0006% 05.11.2017
142 idbot 0.0006% 04.11.2017
143 izsearch.com 0.0006% 09.04.2015
144 uptimebot 0.0006% 04.11.2017
145 bubing 0.0005% 11.11.2017
146 screaming frog seo spider 0.0005% 23.01.2015
147 psbot 0.0005% 17.10.2014
148 claritybot 0.0005% 28.03.2015
149 crawler4j 0.0005% 12.12.2014
150 icjobs 0.0005% 20.12.2014
151 showyoubot 0.0005% 30.10.2014
152 anonymous coward 0.0005% 02.02.2015
153 loadtimebot 0.0005% 07.10.2014
154 toscrawler 0.0005% 27.03.2015
155 gimme60bot 0.0005% 14.10.2014
156 advbot 0.0005% 23.01.2015
157 safednsbot 0.0004% 08.11.2017
158 extlinksbot 0.0004% 08.11.2017
159 fr-crawler 0.0004% 04.11.2014
160 wasalive-bot 0.0004% 27.10.2014
161 moatbot 0.0003% 09.11.2017
162 ca-crawler 0.0003% 18.10.2014
163 surdotlybot 0.0003% 07.11.2017
164 optimizationcrawler 0.0003% 11.11.2014
165 maxpointcrawler 0.0003% 27.02.2015
166 pathdefender 0.0003% 17.12.2014
167 netzcheckbot 0.0003% 23.10.2014
168 thumbshotsbot 0.0003% 08.12.2014
169 mlib_networkbot 0.0003% 13.12.2014
170 sky nutch crawler 0.0003% 13.05.2015
171 bdcbot 0.0003% 25.04.2015
172 mbcrawler 0.0003% 10.11.2017
173 stasebot 0.0002% 09.02.2015
174 pinterest 0.0002% 05.11.2017
175 wegtam crawler 0.0002% 10.11.2014
176 spiderbot 0.0002% 06.02.2015
177 insitesbot 0.0002% 16.01.2015
178 gluten free crawler 0.0002% 06.03.2015
179 speedy spider 0.0002% 12.12.2014
180 mbr-web-crawler 0.0002% 17.02.2015
181 bitlybot 0.0002% 14.11.2014
182 affiliatewindow.com 0.0002% 20.04.2015
183 robotschecker 0.0002% 05.11.2017
184 admedia bot 0.0002% 11.12.2014
185 sogou pic spider 0.0001% 03.12.2014
186 thumbshots-de-bot 0.0001% 26.02.2015
187 calypso v 0.0001% 14.04.2015
188 researchbot 0.0001% 20.03.2015
189 istellabot 0.0001% 19.12.2014
190 my nutch spider 0.0001% 28.01.2015
191 screenerbot crawler 0.0001% 10.03.2015
192 lcc ( http:corpora.informatik 0.0001% 21.04.2015
193 coccocbot-web 0.0001% 06.11.2017
194 hivemind 0.0001% 24.04.2015
195 jugendschutzprogramm-crawler 0.0001% 18.11.2017
196 seebot 0.0001% 20.12.2014
197 leikibot 0.0001% 04.02.2015
198 rssingbot 0.0001% 22.11.2017
199 aboundex 0.0001% 15.04.2015
200 semrushbot-sa 0.0001% 02.12.2014
201 epicbot 0.0001% 15.11.2017
202 archive-tv.com 0.0001% 17.02.2015
203 laserlikebot 0.0001% 20.11.2017
204 rankflex.com 0.0001% 09.04.2015
205 adnormcrawler 0.0001% 28.10.2014
206 ichiromobile 0.0001% 15.11.2014
207 ofm search_robot 0.0001% 27.02.2015
208 coincornerbot 0% 07.05.2015
209 plukkie 0% 07.03.2015
210 bot.araturka.com 0% 18.04.2015
211 screenshot bot 0% 14.02.2015
212 gigabot 0% 10.05.2015
213 pycurl 0% 02.03.2015
214 suma spider 0% 16.04.2015
215 openwebspider 0% 28.11.2014
216 toutrix crawler 0% 02.02.2015
217 openindexspider 0% 04.04.2015
218 seobilitybot 0% 16.11.2017