网站日志中百度蜘蛛的真伪判断

我们查看网站日志的时候会看到百度蜘蛛:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)来爬行我们的网页。大家现在都知道有些站长工具或者采集程序,冒充百度蜘蛛来爬行我们的网站,那么我们怎么判断爬行我们网站的是不是真正的百度蜘蛛呢。

其实非常简单如果你用的是Windows操作系统那么可以用Windows自带的命令行命令tracert来判断是否只真正的百度蜘蛛。

首先查看百度蜘蛛的IP,然后点击开始运行,输入cmd,打开命令行,然后输入tracert 61.135.186.12,这里61.135.186.12代表网站日志里的百度蜘蛛的IP,那么可以看到如下的内容:

如果里面有crawl.baidu.com的内容,那么说明就是真正的百度蜘蛛,如假包换。

上面这个截图里面含有ad,(baiduspider-ad-61-135-186-12.crawl.baidu.com [61.135.186.12]),那么应该是百度联盟的蜘蛛用来抓取页面里的内容以便匹配广告用的。

如果是真正的百度蜘蛛那么就是类似于(baiduspider-123-125-71-23.crawl.baidu.com [123.125.71.23])这样的结果就是真正的百度蜘蛛。

经过观察LiboSEO自己网站的百度蜘蛛IP并经过测试得出:IP范围在220.181.108.11 ~ 220.181.108.210 之间和123.125.71.11 ~ 123.125.71.161之间的都是真正的百度蜘蛛IP。这样记录下经常见的百度蜘蛛IP,方便一眼就看出日志里的是否真正的百度蜘蛛。

1、本站所有资源来源于用户上传和网络,版权争议与本站无关,版权归原创者所有,如有侵权请邮件联系我们!

2、分享目的仅供大家学习和交流,您必须在下载后24小时内删除!

3、不得使用于非法商业用途,商用请购买正版,不得违反国家法律。否则后果自负!

4、本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!

5、如有链接无法下载、失效或广告,请联系管理员处理!

6、本站资源售价只是赞助,收取费用仅维持本站的日常运营所需!

7、不保证所有资源都完整可用,不排除存在加密、BUG、需要授权或者残缺的可能,由于资源的特殊性,下载后一律不予退货! 8、本文来自炫客网搜集整理,如有侵权请联系管理员删除,转载请注明出处:https://www.xuankewang.com/1982.html