有处理过类似问题的 分享下实操经验哈1：域名最近半年做黑灰的
都BA域名，带www的今年上半年有做过半年多的非常那啥的黑灰、还有很多黑灰类词的锚文本链接，首页是上线第二天还是第三天收录了，现在做了10几天、抓取上来了，一直不放内页出来 没有词。根域名做了301到www的上，现在根域名收录了 还带了几十个首页布局的长尾词出来，排名都还可以，没有内页放出。

不知道其他人是怎么处理这种情况的，现在是有点犹豫要不要直接上根域名

2：一个url同时被蜘蛛抓取两次

非常多这种一个url基本上是同时 或者间隔几秒同时被抓取两次的，这个绝对不是说什么蜘蛛活跃啥的哈。
开始怀疑是部分链接有不是ssl的，后面就把强制ssl的关掉了  好像还是没解决这个问题，页面中也不存在什么隐藏跳转之类的哈，不知道其他人有没有遇到这种情况