百度蜘蛛一直在爬旧内容,新的内容一律不抓,但谷歌等其它蜘蛛却能抓取新内容
1、网站从今年1月16日开始,百度蜘蛛就只抓旧的页面,16日后的内容一律不抓取,这个是最近分析了访问记录才知道的;
2、每天快收都递交10条,快收的收率概率在90%左右,但就算快收收录了,SITE域名后还是看不到,按照道理每天10条,一个月起码有200条吧,但site一个月内的收录,最多只有几十条,还都是去年或者前几年内容。
观察访问记录,似乎百度蜘蛛被人为限定了只抓取1月16日之前的数据,就算以前抓过了,还在一遍遍的翻出来再抓一次,同时看谷歌或者头条等一类的蜘蛛却新的、旧的什么都抓。
好困惑,有哪位老大遇到过这类问题么?指点一下,万分感谢啊。
2、每天快收都递交10条,快收的收率概率在90%左右,但就算快收收录了,SITE域名后还是看不到,按照道理每天10条,一个月起码有200条吧,但site一个月内的收录,最多只有几十条,还都是去年或者前几年内容。
观察访问记录,似乎百度蜘蛛被人为限定了只抓取1月16日之前的数据,就算以前抓过了,还在一遍遍的翻出来再抓一次,同时看谷歌或者头条等一类的蜘蛛却新的、旧的什么都抓。
好困惑,有哪位老大遇到过这类问题么?指点一下,万分感谢啊。