去评论
dz插件网

抓取频次跳楼下跌,查了日志应该被逮到k站了

镖师
2024/07/25 20:34:15


刚瞅了一眼网站日志,7月22日之前基本都是五十多万的抓取,
而且抓取的都是去年前年甚至大前年的老数据,一直就没怎么抓新数据;




/read-2......开头的都是2021年的数据



7月23日开始,慢慢的抓取新数据了,24号就完全开始抓新的数据,
包括也开始抓取单页面【之前做的关键词聚合,一个关键词生成一个页面】


/read-4.......开头的是今年6....7月份的新数据
/site/index/zz/key_ 是关键词批量单页面







按照目前趋势,应该是死透了


1、本身就是个采集站,之前一直抓的老的不能再老的数据,也不更新;
2、23号开始抓取更新数据,包括抓到了关键词批量生成的单页面;




各位之前不抓新链接的,去看看有没有开始抓取新链接吧;
不知道是百度23号左右更新策略了还是纯粹倒霉被逮到了。


嗯,被K了一点也不冤还有一个站,看啥时候被逮到
真逮到就是我这行业走到头了