老域名有大量的404页面，蜘蛛老是爬404页面，咋办 镖师2022/07/29 13:17:53 买了个老域名，之前的蜘蛛应该还不错，到那时404页面太多了，如果是几万的数据，我还可以通过采集来搞定，但是有140W的数据，采集不是办法呀，来个大佬出个主意，如下图 进入原文参与互动