Nginx禁止国外搜索引擎蜘蛛爬取方法
2023/03/27 09:49:06
Nginx禁止国外搜索引擎蜘蛛爬取方法
if ($http_user_agent ~* (SemrushBot|python|MJ12bot|AhrefsBot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup))
{
return 444;
}
国外搜索引擎蜘蛛并不会带来多少流量，但是某些蜘蛛每天的爬取还非常大，浪费服务器资源。
这时候我们就可以禁止不常见的搜索引擎制作爬取，本次我的站长站分享一篇nginx禁止国外搜索引擎蜘蛛爬取方法。
直接上代码：
if ($http_user_agent ~* (SemrushBot|python|MJ12bot|AhrefsBot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup))
{
return 444;
}
复制到Nginx的配置里面，多个用“|”隔开。