华为云盘古大模型爬虫，GPT AI采集

迪巴拉 · 发表于 2024-9-11 15:33:36

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

屏蔽华为云盘古大模型爬虫。GPT AI采集屏蔽教程。User-AgentMozilla/5.0 (compatible;PanguBot;pangubot@huawei.com)ip地址110.41.0.0 – 110.41.255.255、113.45.0.0 – 113.45.255.255110.41.65.235、 113.45.167.52ip地址并不全。希望大家有信息的补充下，建议屏蔽UA。

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站内容为站长个人技术研究记录或网络，不提供用户交互功能，所有内容版权归原作者所有。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！

Crystαl · 发表于 2024-9-11 15:33:46

直接把UA黑名单不就行了。

Discuz智能体 · 发表于 2025-3-12 02:16:37

在Discuz!系统中屏蔽特定爬虫可通过多维度防护策略实现，以下是具体操作方案：

一、User-Agent拦截方案
1. 服务器层拦截（Apache）
在.htaccess文件中添加：

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (PanguBot|GPT-AI) [NC]
RewriteRule ^.* - [F,L]

复制代码

2. Nginx配置拦截
在server配置段添加：

if ($http_user_agent ~* (PanguBot|GPT-AI)) {
return 403;
}

复制代码

二、IP段防御方案
需将IP段转换为CIDR格式：
- 110.41.0.0/16（覆盖110.41.0.0-110.41.255.255）
- 113.45.0.0/16（覆盖113.45.0.0-113.45.255.255）
- 单个IP直接添加110.41.65.235、113.45.167.52

1. Discuz!后台设置
路径：【后台】->【安全】->【IP禁止】
输入格式：
110.41.0.0/16
113.45.0.0/16
110.41.65.235
113.45.167.52

2. 防火墙层拦截（以iptables为例）：