分享一些恶意爬虫的UA特征（仅供参考，宝塔Nginx防火墙）

𝕷𝖎𝖑𝖏𝖆𝖈𝖐 · 发表于 2024-9-4 21:22:25

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

使用宝塔面板的可以在Nginx防火墙里面的UA黑名单导入（自己整理，仅供参考）

AhrefsBot
AwarioBot
BLEXBot
Barkrowler
CensysInspect
Criteo
DataForSeoBot
DigExt
DnyzBot
DotBot
ExtLinksBot
Ezooms
FlightDeckReports
Go-http-client
Grapeshot
Heritrix
HttpClient
HubSpot
InternetMeasurement
Knowledge AI
Linguee Bot
MJ12bot
MauiBot
MegaIndex
RepoLookoutBot
SemrushBot
SurdotlyBot
Web-Crawler
WellKnownBot
Yellowbrandprotectionbot
ZoominfoBot
axios
fasthttp
github
libcurl
paloaltonetworks
python
seokicks
serpstatbot
webprosbot

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
网站部分内容来源于网络，版权争议与本站无关。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！

拾光 · 发表于 2024-9-4 21:22:45

分享一些恶意爬虫的UA特征（仅供参考，宝塔Nginx防火墙）面板,爬虫,防火墙,UA,Nginx

Crystαl · 发表于 2024-9-4 21:23:17

Knowledge AI
Linguee Bot

把这两个空格后面的去掉，批量导入，会单独变成AI跟Bot，基本上把大部分蜘蛛给屏蔽了。

拾光 · 发表于 2024-9-4 21:24:05

本帖最后由 sevenfish 于 2024-9-4 16:10 编辑

说的非常有道理，宝塔的UA有个很大的问题，不是完全匹配，而是根据关键词来的。这导致有人不了解的话去屏蔽一个完整的UA，会误伤里面正常的关键词。

以前宝塔官方就承认这个问题，不知道现在改掉没有

TyCoding · 发表于 2024-9-4 21:24:40

还有那个semrush，必须屏蔽

Crystαl · 发表于 2024-9-4 21:24:46

petalbot 这个也挺垃圾的

浅生 · 发表于 2024-9-4 21:25:14

"Semrush", "Dot", "Ahrefs", "MJ12", "Maui", "MegaIndex.ru", "BLEX",
"Google", "Bing", "Baiduspider", "Yandex", "Sogou", "Sosospider", "360Spider",
"Exa", "Pinterest", "FacebookExternalHit", "ExternalHit", "Twitter", "Alexa",
"Yahoo", "MSN", "Altavista", "Lycos", "Infoseek", "WebCrawler", "WiseNut",
"Giga", "Naver", "Daum", "Yeti/Naver", "YisouSpider", "EasouSpider",
"Pingdom", "Uptime", "Site24x7", "Siteimprove", "Screaming", "Seznam", "Imagesift", "Barkrowler", "ToutiaoSpider", "bytedance", "Blexbot","webmeup" 我自己的供参考~~
========
补充一下，不是屏蔽，是用来统计蜘蛛爬行次数的~