·设为首页收藏本站📧邮箱修改🎁免费下载专区💎积分✅卡密📒收藏夹👽聊天室
返回列表 发布新帖

百度每天来几万蜘蛛,但都不是正常蜘蛛

121 8
发表于 2024-1-25 15:21:03 | 查看全部 阅读模式

马上注册,免费下载更多dz插件网资源。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
百度每天来几万蜘蛛,但都不是正常蜘蛛 域名,蜘蛛,html,post,57463

百度每天来几万蜘蛛,但都不是正常蜘蛛

抓取的路径不是错误,就是 双 // 访问都是404
原本正确路径 域名+/post/1196149.html
现在错误路径 域名+//post/1196149.html

都是假蜘蛛,这种如何应对呢???
我要说一句 收起回复
创宇盾启航版免费网站防御网站加速服务

评论8

拾光Lv.8 发表于 2024-1-25 15:22:03 | 查看全部
屏蔽他IP段
百度蜘蛛一般是220.181.108.*和116.179.32.*
可以使用nslookup 127.0.0.1 来查询是否百度IP
如果是如下图会带有baidu标识这个是没法伪造的
百度每天来几万蜘蛛,但都不是正常蜘蛛 域名,蜘蛛,html,post,57463
我要说一句 收起回复
TyCodingLv.8 发表于 2024-1-25 15:22:37 | 查看全部
我要说一句 收起回复
TyCodingLv.8 发表于 2024-1-25 15:22:50 | 查看全部
楼主你查下IP就知道了啊,都不是中国IP。那啥破软件,怎么会识别百度的,赶紧别用了

{
    "ip": "3.224.220.101",
    "location": "美国弗吉尼亚州阿什本 Amazon数据中心"
}
我要说一句 收起回复
TyCodingLv.8 发表于 2024-1-25 15:23:26 | 查看全部
我要说一句 收起回复
CrystαlLv.8 发表于 2024-1-25 15:23:41 | 查看全部
百度只为了采集,又不为了收录。
我要说一句 收起回复
TyCodingLv.8 发表于 2024-1-25 15:23:52 | 查看全部
百度倒闭
我要说一句 收起回复
婷姐楼主Lv.8 发表于 2024-1-25 15:24:41 | 查看全部
屏蔽他段百度蜘蛛一般是和可以使用来查询是否百度如果是如下图会带有标识这个是没法伪造的
我要说一句 收起回复
浅生Lv.8 发表于 2024-1-25 15:24:52 | 查看全部
屏蔽国外ip  然后只留下谷歌和bing蜘蛛就行

其他一律干掉
我要说一句 收起回复

回复

 懒得打字嘛,点击右侧快捷回复【查看最新发布】   【应用商城享更多资源】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

图文热点
创宇盾启航版免费网站防御网站加速服务
投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载,复制和建立镜像,
如有违反,按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 )|网站地图 知道创宇云防御

您的IP:18.221.183.34,GMT+8, 2024-11-22 02:28 , Processed in 0.246386 second(s), 122 queries , Gzip On, Redis On.

Powered by Discuz! X5.0 Licensed

© 2001-2024 Discuz! Team.

关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表