【官方说法】只需两步,教你正确识别百度蜘蛛
(福利推荐:你还在原价购买阿里云服务器?现在阿里云0.8折限时抢购活动来啦!4核8G企业云服务器仅2998元/3年,立即抢购>>>:9i0i.cn/aliyun)
经常听到站长们问,百度蜘蛛是什么?最近百度蜘蛛来的太频繁服务器抓爆了,最近百度蜘蛛都不来了怎么办,还有很多站点想得到百度蜘蛛的IP段,想把IP加入白名单,但IP不固定,这些百度方面并未透露相关信息。
那怎么才能识别正确的百度蜘蛛呢?来来来,只需两步,教你正确识别百度蜘蛛
1、查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:
移动UA:
Mozilla/5.0(Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko)Version/5.1 Mobile Safari/10600.6.3 (compatible;Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
PC UA:
Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
新增渲染UA:
移动UA:
Mozilla/5.0(iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML,like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
PC UA:
Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
2、反查IP
站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:
1)、在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
2)、在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
3)、 在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
相关阅读:
相关文章
打开网站出现Internal Server Error的原因和解决方法
这篇文章主要介绍了打开网站出现Internal Server Error的原因和解决方法的相关资料,需要的朋友可以参考下,解决方法:登陆FTP或文件管理器,检查站点目录文件权限设置,将2022-01-08inxy:超低价“综合型”国外CDN提供商,专业POP节点覆盖亚洲\欧洲\美洲
inxy,这个2005年成立运作至今的商家不但提供11个机房的VPS、24个机房独立服务器,更重要的核心业务还有CDN,之所以要来推荐inxy的CDN是因为在性价比上面有着独到的优势2020-11-16- 大部分服务商(如阿里云,网易蜂巢,京东云等)的CDN服务是按使用量收费的,也有一些服务商提供免费的CDN服务,这篇文章主要介绍了分享盘点10个可免费使用的网站CDN加速服2020-08-17
INXY:运作全球26个国家和地区的 独立服务器、VPS、CDN业务,价格超便
INXY主要运作独立服务器、VPS、CDN、DNS四大类业务。inxy有自己的机房,也卖全球其他国家和地区的相关业务,可以说是一个超大型的reseller2019-09-29- 这篇文章主要介绍了新手干货之网站建设中常见的一些问题,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧2019-09-18
- 本篇文章主要介绍了手把手教搭建电影网站,今天我们就来搭建一个VIP电影网站,本文主旨在于,从基础的搭建一个简单的解析网站来引入一些思路,手把手什么的最贴心了。2019-08-22
- 这篇文章主要介绍了构建互联网高性能WEB系统,总结分析了构建高性能WEB系统相关经验与常用技术,需要的朋友可以参考下2019-08-02
- 经常写脚本用了各种接码平台;但总是为号码资源不好而发愁。这两天发现了一个叫新一码接码平台 ,平台是一个收集手机号的资源平台可提供接收、发送手机验证码服务2018-11-08
- 一码验证码平台是一个可以获取任意合法第三方网站手机短信验证码的系统平台,集各类网站账号 的注册、验证、解封等手机验证码的接收功能于一身2018-10-23
- 经常写脚本用了各种接码平台;但总是为号码资源不好而发愁。这两天发现了一个叫飞讯接码平台,平台是一个收集手机号的资源平台可提供接收、发送手机验证码服务2018-10-07
最新评论