去评论
dz插件网

如何干掉各搜索引擎的爬虫

饾暦饾枎饾枒饾枏饾枂饾枅饾枑
2022/10/25 11:06:05
很多爬虫,光爬不给流量。恶心、呸。我都替你们臊得慌,你们简直就是土匪!麻子!
比如头条。


  1. add_header X-Robots-Tag "noindex, nofollow";


2:使用robots.txt文件可以阻止爬虫爬取,但是有些流氓不遵守robots规则,这种方法几乎无效,还是把方法写下来。

打开nginx.conf文件,server段添加如下内容:
  1. location /robots.txt {    default_type text/plain;    return 200 "User-agent: *\nDisallow: /";}
保存,重启nginx后,浏览器在主域名后添加 /robots.txt 显示如下,即为成功
  1. User-agent: *Disallow: /
3:由于上面的方法不是很凑效,于是俺们还是简单粗暴地使用 http_user_agent 来屏蔽。方法如下,

打开nginx.conf文件,server段添加如下内容:
  1. if ($http_user_agent ~* "Bytespider|SEMrushBot|DuckDuckGo-Favicons-Bot|dark_NeXus_Qbot|360Spider|YisouSpider|YodaoBot|Sosospider|Sogou web spider|msnbot-media|msnbot|ia_archiver|EasouSpider|JikeSpider|ezooms.bot|Twitterbot|Facebot|AhrefsBot|SemrushBot|Baiduspider|YandexBot|YandexMobileBot|DotBot|MJ12bot|bingbot|Java|perl|Python|Wget|Xenu|^$"){return 444;}
直接返回444,强制关闭服务器与客户端的连接而不返回任何响应信息给客户端。