·设为首页收藏本站📧邮箱修改🎁免费下载专区💎积分✅卡密📒收藏夹👽聊天室
12下一页
返回列表 发布新帖

bing的蜘蛛爬取太频繁了,限制也不起作用,大佬们有办法解决吗?

424 10
发表于 2022-8-24 11:03:13 | 查看全部 阅读模式

马上注册,免费下载更多dz插件网资源。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
bing的蜘蛛爬取太频繁了,限制也不起作用,大佬们有办法解决吗? bing,蜘蛛,频繁,限制,起作用

bing的蜘蛛爬取太频繁了,限制也不起作用,大佬们有办法解决吗? bing,蜘蛛,频繁,限制,起作用

bing的蜘蛛爬取太频繁了,限制也不起作用,大佬们有办法解决吗? bing,蜘蛛,频繁,限制,起作用

bing后台限制,robot.txt 限制,都不起作用?

主要是bing每天爬取 10多万次,每天带来的ip就 2千, 实在是费资源啊
我要说一句 收起回复
创宇盾启航版免费网站防御网站加速服务

评论10

TyCodingLv.8 发表于 2022-8-24 11:03:18 | 查看全部
封他ip段
我要说一句 收起回复
CrystαlLv.8 发表于 2022-8-24 11:03:52 | 查看全部
就让它爬呗,曾经,就是因为客服软件老是提醒,我就把bing的蜘蛛封了一天,网站就被K了
我要说一句 收起回复
拾光Lv.8 发表于 2022-8-24 11:04:22 | 查看全部
不是可以从bing站长调整频率
我要说一句 收起回复
TyCodingLv.8 发表于 2022-8-24 11:05:09 | 查看全部
不影响你网站就行啊管她干啥
我要说一句 收起回复
独家记忆Lv.8 发表于 2022-8-24 11:05:40 | 查看全部
羡慕你这爬虫多的。我想爬虫多点都不行。
我要说一句 收起回复
TyCodingLv.8 发表于 2022-8-24 11:06:35 | 查看全部
封ua ,或者域名bing单独解析一边去
我要说一句 收起回复
拾光Lv.8 发表于 2022-8-24 11:07:35 | 查看全部
没事,过些天它就不来了,直接拔毛……
我要说一句 收起回复
TyCodingLv.8 发表于 2022-8-24 11:08:23 | 查看全部
后台可以调整吧不行就禁ua
我要说一句 收起回复
TyCodingLv.8 发表于 2022-8-24 11:09:07 | 查看全部
直接UA 给他403
我要说一句 收起回复

回复

 懒得打字嘛,点击右侧快捷回复【查看最新发布】   【应用商城享更多资源】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

图文热点
创宇盾启航版免费网站防御网站加速服务
投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载,复制和建立镜像,
如有违反,按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 )|网站地图 知道创宇云防御

您的IP:3.17.76.174,GMT+8, 2024-11-22 05:37 , Processed in 0.293530 second(s), 125 queries , Gzip On, Redis On.

Powered by Discuz! X5.0 Licensed

© 2001-2024 Discuz! Team.

关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表