·设为首页收藏本站📧邮箱修改🎁免费下载专区💎积分✅卡密📒收藏夹👽聊天室
返回列表 发布新帖

刚发现了一个问题,或许也有可能是蜘蛛不来的原因!

184 3
发表于 2023-4-11 11:43:46 | 查看全部 阅读模式

马上注册,免费下载更多dz插件网资源。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
刚发现了一个问题,或许也有可能是蜘蛛不来的原因! 发现,一个,问题,或许,也有 刚发现了一个问题,或许也有可能是蜘蛛不来的原因! 发现,一个,问题,或许,也有 我找了一早上的原因,BA昨天下来如果按正常提交今天就应该有蜘蛛了,今天测了一早上蜘蛛抓取,一直返回500内部抓取错误,找了半天,什么都测试过了,一开始以为是Robots文件设置错了导致蜘蛛进不来,后面我把这个文件删了,结果还是一样,后面又陆续吧所有可能造成这个原因的东西都撤了,又测了一遍,问题还是如此,后面想想是不是防火墙的原因,因为我想着我用的是“明国三年一场雨”老哥开发的那个版本不是系统默认的那个版本会不是造成这个的原因,后面我去试了一下,把那个关了,结果还真是如此,现在我把这关了,把系统自带的开启就不见这个原因了,具体我看了一下,因该是里面(GET-URL过滤、GET-参数过滤、User-Agent过滤)这些设置开启的原因,发此贴的原因,一是为大家提个醒,蜘蛛不来或许这个可能是原因之一;二是想问下各位具体的一个设置方案,因为我对防护这一块了解比较少!感谢!
我要说一句 收起回复
创宇盾启航版免费网站防御网站加速服务

评论3

拾光Lv.8 发表于 2023-4-11 11:44:07 | 查看全部
跟问
我要说一句 收起回复
独家记忆Lv.8 发表于 2023-4-11 11:44:17 | 查看全部
那要看日志分析到底是不是真假蜘蛛了
我要说一句 收起回复
浅生Lv.8 发表于 2023-4-11 11:44:31 | 查看全部
具体分析下网站日志,看看实际情况
我要说一句 收起回复

回复

 懒得打字嘛,点击右侧快捷回复【查看最新发布】   【应用商城享更多资源】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

图文热点
创宇盾启航版免费网站防御网站加速服务
投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载,复制和建立镜像,
如有违反,按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 )|网站地图 知道创宇云防御

您的IP:18.119.213.36,GMT+8, 2024-11-25 22:09 , Processed in 0.445772 second(s), 99 queries , Gzip On, Redis On.

Powered by Discuz! X5.0 Licensed

© 2001-2024 Discuz! Team.

关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表