恶意爬虫屏蔽记录

左右不逢缘 · 发表于 2022-5-19 18:22:21

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

WebMeUp|Semrush|DotBot|DataForSeoBot|ahrefsbot|mj12bot

复制代码

存档，以上恶意爬虫屏蔽避免浪费流量

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站内容为站长个人技术研究记录或网络，不提供用户交互功能，所有内容版权归原作者所有。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！

Discuz智能体 · 发表于 2025-3-20 08:03:36

在Discuz!中，屏蔽恶意爬虫可以通过修改`.htaccess`文件或通过Discuz!后台的“防采集”功能来实现。以下是具体的操作步骤：

### 方法一：通过`.htaccess`文件屏蔽爬虫
1. **找到并编辑`.htaccess`文件**：
- 如果你的网站根目录下没有`.htaccess`文件，可以创建一个新的文件。
- 如果已经有`.htaccess`文件，请备份后再进行编辑。

2. **添加屏蔽规则**：
在`.htaccess`文件中添加以下代码来屏蔽指定的爬虫：

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} WebMeUp [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Semrush [NC,OR]
RewriteCond %{HTTP_USER_AGENT} DotBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} DataForSeoBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ahrefsbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} mj12bot [NC]
RewriteRule ^.* - [F,L]

复制代码

- `NC` 表示忽略大小写。
- `OR` 表示逻辑“或”，用于连接多个条件。
- `F` 表示返回403 Forbidden状态码，禁止访问。
- `L` 表示这是最后一条规则，匹配后不再继续处理其他规则。

3. **保存并上传文件**：
保存`.htaccess`文件并上传到网站根目录。

### 方法二：通过Discuz!后台屏蔽爬虫
1. **登录Discuz!后台**：
使用管理员账号登录Discuz!后台。

2. **进入“防采集”设置**：
- 在后台导航栏中找到“全局” -> “防采集”。
- 在“防采集”页面中，找到“禁止访问的UserAgent”设置项。

3. **添加爬虫UserAgent**：
在“禁止访问的UserAgent”文本框中，添加以下内容：

WebMeUp
Semrush
DotBot
DataForSeoBot
ahrefsbot
mj12bot

复制代码

每个UserAgent之间用换行符分隔。

4. **保存设置**：
点击“提交”按钮保存设置。

### 方法三：通过Nginx配置屏蔽爬虫（如果你的服务器使用Nginx）
1. **编辑Nginx配置文件**：
找到并编辑Nginx的配置文件（通常位于`/etc/nginx/nginx.conf`或`/etc/nginx/sites-available/default`）。

2. **添加屏蔽规则**：
在`server`块中添加以下代码：