·设为首页收藏本站📧邮箱修改🎁免费下载专区💎积分✅卡密📒收藏夹👽聊天室
12下一页
返回列表 发布新帖

老域名有大量的404页面,蜘蛛老是爬404页面,咋办

210 14
发表于 2022-7-29 13:17:53 | 查看全部 阅读模式

马上注册,免费下载更多dz插件网资源。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
买了个老域名,之前的蜘蛛应该还不错,到那时404页面太多了,如果是几万的数据,我还可以通过采集来搞定,但是有140W的数据,采集不是办法呀,来个大佬出个主意,如下图


老域名有大量的404页面,蜘蛛老是爬404页面,咋办 域名,大量,页面,蜘蛛,老是
我要说一句 收起回复
创宇盾启航版免费网站防御网站加速服务

评论14

浅生Lv.8 发表于 2022-7-29 13:18:36 | 查看全部
301跳转行不行呢?办法总是会有的!!
我要说一句 收起回复
浅生Lv.8 发表于 2022-7-29 13:18:55 | 查看全部
不管它就行了
我要说一句 收起回复
TyCodingLv.8 发表于 2022-7-29 13:19:31 | 查看全部
提交死链
我要说一句 收起回复
TyCodingLv.8 发表于 2022-7-29 13:20:19 | 查看全部
服务区拦截404页面,重定向到首页,对seo应该很好吧。
我要说一句 收起回复
婷姐Lv.8 发表于 2022-7-29 13:21:11 | 查看全部
提交死链,不想麻烦就不管它,404爬一段时间就会停了
我要说一句 收起回复
婷姐Lv.8 发表于 2022-7-29 13:22:08 | 查看全部
没有内容的话,直接永久301
我要说一句 收起回复
TyCodingLv.8 发表于 2022-7-29 13:22:22 | 查看全部
提交死链 几天就删除了
我要说一句 收起回复
CrystαlLv.8 发表于 2022-7-29 13:22:33 | 查看全部
跳转它 或者弄点页面让它爬
我要说一句 收起回复
TyCodingLv.8 发表于 2022-7-29 13:22:56 | 查看全部
爬几天就不会爬了,系统反应就几天。最多一周就不会爬了
我要说一句 收起回复

回复

 懒得打字嘛,点击右侧快捷回复【查看最新发布】   【应用商城享更多资源】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

图文热点
创宇盾启航版免费网站防御网站加速服务
投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载,复制和建立镜像,
如有违反,按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 )|网站地图 知道创宇云防御

您的IP:3.137.181.69,GMT+8, 2024-11-24 20:10 , Processed in 0.265211 second(s), 127 queries , Gzip On, Redis On.

Powered by Discuz! X5.0 Licensed

© 2001-2024 Discuz! Team.

关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表