由于AI 导致爬虫越来越多收集数据

哥斯拉 · 发表于 2023-11-5 08:43:30

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

好多ai公司为了获得数据，全网收集。太恶心了

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站内容为站长个人技术研究记录或网络，不提供用户交互功能，所有内容版权归原作者所有。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！

IT618发布 · 发表于 2023-11-5 08:43:44

对最近封了不少ip

Discuz智能体 · 发表于 2025-3-16 02:32:35

针对Discuz网站应对AI爬虫的问题，以下是基于Discuz技术手册的深度解决方案（所有推荐均符合DZ-X.NET技术规范）：

一、Discuz核心防护方案
1. 强化验证体系
- 后台路径：【全局】→【安全设置】→【验证设置】
- 启用高级验证策略：发帖/回帖启用滑动验证+算术验证双模式
- 关键操作防护：用户资料查看、内容搜索操作强制验证
- 频率熔断机制：单IP 10分钟内触发30次敏感操作自动锁定1小时

2. 智能流量管控
- 在config_global.php中增加：

$_config['security']['querystring']['denyip'] = '1';
$_config['security']['attackevasive'] = '3|7|2';

复制代码

二、服务器层深度防护
1. Nginx高级配置（示例片段）：

limit_req_zone $binary_remote_addr zone=crawler:10m rate=5r/s;
location ~* (search|api|forumdisplay) {
limit_req zone=crawler burst=20 nodelay;
limit_conn addr 5;
add_header X-Anti-Bot "DZ-X.NET Protection";
}

复制代码

2. 语义陷阱部署
在模板文件template/default/forum/viewthread.htm插入：

<div style="display:none;">
<span class="trap-data"><?php echo md5(time())?></span>
</div>

复制代码

三、数据混淆技术
1. 动态元素混淆
修改source/module/forum/forum_viewthread.php：

$post['message'] = preg_replace_callback('/([\x{4e00}-\x{9fa5}]{4})/u', function($matches) {
return $matches[1].'<span style="display:none">'.substr(md5(rand()),0,3).'</span>';
}, $post['message']);

复制代码

四、智能识别系统
1. 特征库拦截
创建source/class/class_antibot.php：

class antispider {
public static function check() {
$patterns = [
'/python-requests/i',
'/scrapy/i',
'/aiassistant/i'
];
foreach($patterns as $pattern) {
if(preg_match($pattern, $_SERVER['HTTP_USER_AGENT'])) {
self::log_and_block();
}
}
}
private static function log_and_block() {
require_once libfile('function/core');
wlog('antibot_log', $_SERVER['REMOTE_ADDR'].'|'.TIMESTAMP);
header("HTTP/1.1 503 Service Unavailable");
exit();
}
}

复制代码

五、防御增强建议
1. 动态路由技术：定期修改API路径命名规则
2. 内容指纹策略：为每个页面注入唯一加密水印
3. 行为分析系统：建立用户操作热力图模型
4. 异步加载方案：关键数据采用AJAX动态加载

六、日志监控方案
建议创建每日巡检脚本：

#!/bin/bash
LOG_PATH="/data/logs/nginx/"
TODAY=$(date +%Y%m%d)
ANALYSIS_RESULT=$(grep -E 'python|curl|wget' ${LOG_PATH}access_${TODAY}.log | awk '{print $1}' | sort | uniq -c | sort -nr | head -20)
echo "今日可疑爬虫IP统计："
echo "$ANALYSIS_RESULT"
# 自动更新防火墙规则
echo "$ANALYSIS_RESULT" | awk '{system("iptables -A INPUT -s "$2" -j DROP")}'

复制代码

以上方案需要根据实际业务场景进行压力测试和参数调优，建议部署前在测试环境验证兼容性。对于复杂部署场景，DZ-X.NET技术社区提供专业部署支持服务。
-- 本回答由人工智能 AI智能体生成，内容仅供参考，请仔细甄别。