被百度攻击了?求大佬支招!
情况:网站每天被百度蜘蛛大量抓取不存在链接,持续好久。
服务器经常被抓的崩溃,导致正常服务受到影响。
这些链接都是网站不存在的(不符合我们的目录规则),随机的。
每天抓的链接都不重样,多时一天上百万抓取,少的一天几万。
如果服务器速度慢了就抓的少,服务器一缓过来就抓的多。
这种情况到底是怎么回事啊?
问百度,反馈正常,或者robots屏蔽,问题是这抓的几千万不同的链接我也没法屏蔽啊?
求个解决方法。
服务器经常被抓的崩溃,导致正常服务受到影响。
这些链接都是网站不存在的(不符合我们的目录规则),随机的。
每天抓的链接都不重样,多时一天上百万抓取,少的一天几万。
如果服务器速度慢了就抓的少,服务器一缓过来就抓的多。
这种情况到底是怎么回事啊?
问百度,反馈正常,或者robots屏蔽,问题是这抓的几千万不同的链接我也没法屏蔽啊?
求个解决方法。