蜘蛛的问题
有一个站,今天看了一下蜘蛛的日志,昨天一共有600多个蜘蛛精来爬
其中爬取HTML的一共有508个
但是站长后台的数据显示的抓取频次却只有100次
所以,站长后台的抓取频次和日志里的蜘蛛爬去数据不一致的嘛~~
顺便问一下,日志分析蜘蛛数据有没有参考价值哦~~
其中爬取HTML的一共有508个
但是站长后台的数据显示的抓取频次却只有100次
所以,站长后台的抓取频次和日志里的蜘蛛爬去数据不一致的嘛~~
顺便问一下,日志分析蜘蛛数据有没有参考价值哦~~