去评论
dz插件网

看日志百度一直在爬404的链接怎么解?

哥斯拉
2023/07/30 21:47:46
假设域名:baidu.com之前baidu.com 用来建了一个站, www.baidu.com又建了一个站(当时用来测程序的),  现在程序测好了,拿baidu.com来建,然后www.baidu.com的通过宝塔那个301重定向baidu.com中。
最近看日志发现蜘蛛都是通过www.baidu.com 301 到baidu.com 这里来,但是他一直去爬之前测试程序的链接,导致都是爬到404,一个正常的链接都没有。

我要不要把301取消掉