·设为首页收藏本站📧邮箱修改🎁免费下载专区💎积分✅卡密📒收藏夹👽聊天室
返回列表 发布新帖

Nginx禁止国外搜索引擎蜘蛛爬取方法

292 9
发表于 2023-3-27 09:49:06 | 查看全部 阅读模式

马上注册,免费下载更多dz插件网资源。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
Nginx禁止国外搜索引擎蜘蛛爬取方法
国外搜索引擎蜘蛛并不会带来多少流量,但是某些蜘蛛每天的爬取还非常大,浪费服务器资源。

这时候我们就可以禁止不常见的搜索引擎制作爬取,本次我的站长站分享一篇nginx禁止国外搜索引擎蜘蛛爬取方法。

直接上代码:

if ($http_user_agent ~* (SemrushBot|python|MJ12bot|AhrefsBot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup))
{
return 444;
}
复制到Nginx的配置里面,多个用“|”隔开。
我要说一句 收起回复
创宇盾启航版免费网站防御网站加速服务

评论9

CrystαlLv.8 发表于 2023-3-27 09:49:50 | 查看全部
垃圾蜘蛛有好几十种,加到robots.txt都有上百行
我要说一句 收起回复
TyCodingLv.8 发表于 2023-3-27 09:50:05 | 查看全部
robots.txt  也是可以的,但不至于搞单独设置屏蔽几十种,建议反过来思考,Disallow所有蜘蛛,然后单独Allow放开需要得蜘蛛,这样的话  robots.txt  不会那么累赘

如: Nginx禁止国外搜索引擎蜘蛛爬取方法 nginx,禁止,国外,搜索,搜索引擎
我要说一句 收起回复
CrystαlLv.8 发表于 2023-3-27 09:50:22 | 查看全部
robots.txt直接屏蔽不就好了
我要说一句 收起回复
浅生Lv.8 发表于 2023-3-27 09:51:06 | 查看全部
其实robots.txt屏蔽的效果会心有余而力不足,部分蜘蛛爬取 是直接无视 robots.txt协议的~
我要说一句 收起回复
独家记忆Lv.8 发表于 2023-3-27 09:52:02 | 查看全部
不一定遵循robots协议,直接在服务器端屏蔽完事
我要说一句 收起回复
TyCodingLv.8 发表于 2023-3-27 09:52:37 | 查看全部
谢谢分享。
我要说一句 收起回复
IT618发布Lv.8 发表于 2023-3-27 09:52:50 | 查看全部
赞同
我要说一句 收起回复
TyCodingLv.8 发表于 2023-3-27 09:52:55 | 查看全部
服务器强悍不在乎这些东西
我要说一句 收起回复
TyCodingLv.8 发表于 2023-3-27 09:53:09 | 查看全部
屏蔽国外访问 是否还需要去屏蔽这些蜘蛛呢

目前没啥流量  暂时看不出来这些蜘蛛有啥影响
我要说一句 收起回复

回复

 懒得打字嘛,点击右侧快捷回复【查看最新发布】   【应用商城享更多资源】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

图文热点
创宇盾启航版免费网站防御网站加速服务
投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载,复制和建立镜像,
如有违反,按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 )|网站地图 知道创宇云防御

您的IP:18.116.89.8,GMT+8, 2024-11-23 14:51 , Processed in 0.423318 second(s), 129 queries , Gzip On, Redis On.

Powered by Discuz! X5.0 Licensed

© 2001-2024 Discuz! Team.

关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表