防火墙禁止海外IP访问，会把谷歌和bing的蜘蛛屏蔽吗

IT618发布 · 发表于 2024-8-17 21:11:22

不想给百度抓取就这样，减少它的UA
["360Spider","Sogou","Googlebot","Bytespider","bingbot","spider"]

婷姐 · 发表于 2024-8-17 21:11:51

学习看看

TyCoding · 发表于 2024-8-17 21:12:35

或者，登录宝塔-打开防火墙-全局设置-UA黑名单-设置-加入百度的UA
Baiduspider
这样百度就没法抓取了

搜狗蜘蛛 Sogou web spider
必应蜘蛛 bingbot
百度蜘蛛 Baiduspider
360蜘蛛 360Spider
神马蜘蛛 YisouSpider
头条蜘蛛 Bytespider
谷歌蜘蛛 Googlebot
ChatGPT爬虫 GPTBot

这些是常见的搜索引擎蜘蛛，想给它抓取，就加入UA白名单，不想让他抓取，就加入UA黑名单