·设为首页收藏本站📧邮箱修改🎁免费下载专区💎积分✅卡密📒收藏夹👽聊天室
返回列表 发布新帖

网站日志蜘蛛爬行的页面,很多都不存在,是怎么回事啊

249 7
发表于 2023-12-14 15:16:06 | 查看全部 阅读模式

马上注册,免费下载更多dz插件网资源。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
我今天下载了网站日志看了看,大多数的蜘蛛爬行的页面,实际都不存在的,这种正常吗,我刚才写了一个robots文件,把那些目录都禁止了,这样可以吗
我要说一句 收起回复
创宇盾启航版免费网站防御网站加速服务

评论7

CrystαlLv.8 发表于 2023-12-14 15:16:35 | 查看全部
不正常,看看有什么入口。
我要说一句 收起回复
拾光Lv.8 发表于 2023-12-14 15:16:50 | 查看全部
只要robots遵守协议都行,我更新了robots过了两三天 该抓还是抓取,官方说要等个一两星期一两星期再看看吧
我要说一句 收起回复
拾光Lv.8 发表于 2023-12-14 15:16:55 | 查看全部
针对百度就算了,你写了也没用,一样爬
我要说一句 收起回复
CrystαlLv.8 发表于 2023-12-14 15:17:31 | 查看全部
几年前的目录还在爬,新目录不爬。
我要说一句 收起回复
独家记忆Lv.8 发表于 2023-12-14 15:18:03 | 查看全部
有很多是假蜘蛛,可以用:nslookup ip地址来分辨
我要说一句 收起回复
CrystαlLv.8 发表于 2023-12-14 15:18:21 | 查看全部
robots作用不大  心理安慰
我要说一句 收起回复
拾光Lv.8 发表于 2023-12-14 15:19:12 | 查看全部
可以屏蔽部分
我要说一句 收起回复

回复

 懒得打字嘛,点击右侧快捷回复【查看最新发布】   【应用商城享更多资源】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

图文热点
创宇盾启航版免费网站防御网站加速服务
投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载,复制和建立镜像,
如有违反,按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 )|网站地图 知道创宇云防御

您的IP:18.223.125.236,GMT+8, 2024-11-24 20:58 , Processed in 0.302545 second(s), 114 queries , Gzip On, Redis On.

Powered by Discuz! X5.0 Licensed

© 2001-2024 Discuz! Team.

关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表