搜索引擎爬虫蜘蛛的USERAGENT大全
发布时间：2010-08-29 14:39:33 作者：佚名 
我要评论
我要评论搜索引擎爬虫蜘蛛的USERAGENT收集，方便制作采集的朋友。
（福利推荐：你还在原价购买阿里云服务器？现在阿里云0.8折限时抢购活动来啦！4核8G企业云服务器仅2998元/3年，立即抢购>>>：9i0i.cn/aliyun）
百度爬虫
* Baiduspider+(+http://www.baidu.com/search/spider.htm”)
google爬虫
* Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
* Googlebot/2.1 (+http://www.googlebot.com/bot.html)
* Googlebot/2.1 (+http://www.google.com/bot.html)
雅虎爬虫（分别是雅虎中国和美国总部的爬虫）
*Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html”)
*Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp”)
新浪爱问爬虫
*iaskspider/2.0(+http://iask.com/help/help_index.html”)
*Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)
搜狗爬虫
*Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
*Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
网易爬虫
*Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/”; )
MSN爬虫
*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)
* Baiduspider+(+http://www.baidu.com/search/spider.htm”)
google爬虫
* Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
* Googlebot/2.1 (+http://www.googlebot.com/bot.html)
* Googlebot/2.1 (+http://www.google.com/bot.html)
雅虎爬虫（分别是雅虎中国和美国总部的爬虫）
*Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html”)
*Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp”)
新浪爱问爬虫
*iaskspider/2.0(+http://iask.com/help/help_index.html”)
*Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)
搜狗爬虫
*Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
*Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
网易爬虫
*Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/”; )
MSN爬虫
*msnbot/1.0 (+http://search.msn.com/msnbot.htm”)
相关文章
- 是否需要高防服务器呢，最近很多网站遭受ddos与cc攻击，双11之际旅途云特为大家提供了性价比更高的高防服务器套餐需要的朋友可以咨询2023-11-12
- 在本篇文章里小编给大家整理的是关于华为云优惠券领取的方法和入口，有此需要的朋友们可以领取下，希望对你有帮助。2020-03-12
- 在本篇文章里小编给大家整理了关于华为云优惠券使用方法和详细步骤，有兴趣的朋友们可以学习下。2020-03-12
我们给大家带来如何用优惠的方法购买华为云主机的方法以及给大家分享华为云的优惠券和代金券，希望能够帮助到大家。2020-02-26
进行https证书申请安装和tomcat https证书安装的方法
对于https证书，想必大家已经非常熟悉了，这是一种可以保护网站安全的证书，以https开头的网站都是具有这一证书的网站。今天给大家介绍怎样进行https证书申请安装和tomcat2019-10-31
库店创始人郑剑豪,原寺库商城总经理,2010年聚划算创始团队成员,5年时间帮助寺库成功上市。库店,是美国纳斯达克上市企业寺库旗下高品质社交电商平台,获京东与LVMH集团旗下基2018-11-01- 相信不少的程序员都有过类似的困惑：如果我没有大型的项目经历，也不能靠技术征服面试官，那我要怎么才能给面试官留下一个好印象呢？感兴趣的朋友跟随小编一起通过本文学习2018-10-19
“得用户者得天下”——互联网创客马拉松互联网思维分享会顺利举办
2018年8月，由中国移动互联网公司主办的“创客马拉松∙创新思维系列沙龙”的“得用户者得天下”分享活动在广州TIT创意园氪空间成功举行。分享会上，中移互联网公2018-08-30腾讯云最新校园拼团活动,1核2G ,10元/月,送给有需要的朋友
腾讯云新一期的拼团活动又开始了。新老用户奖励幅度都加大了，1核2G云服务器+50G对象存储， 10元/月，上车买1年送半年2018-07-25
中国移动2018年举办的 “万物互联”创客马拉松大赛涵盖6大主题赛事：互联网、物联网、数字家庭、5G联创、行业应用及数字内容，汇聚社会创新资源，助力生态打造2018-07-12
最新评论