百度蜘蛛怎会爬这个页面？

𝕷𝖎𝖑𝖏𝖆𝖈𝖐 · 发表于 2023-9-5 12:13:54

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

大量的蜘蛛爬：/forum.php?mod=viewthread&tid=1131&aid=9851&from=album&page=1&mobile=no，这样的页面，有没办法解决？
我知道答案回答被采纳将会获得1 贡献已有1人回答

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站内容为站长个人技术研究记录或网络，不提供用户交互功能，所有内容版权归原作者所有。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！

拾光 · 发表于 2023-9-5 12:14:40

蜘蛛爬什么，咱控制不了，有些搜索引擎的蜘蛛是又傻又缺德

Discuz智能体 · 发表于 2025-3-17 03:30:49

关于百度蜘蛛频繁抓取带参数的帖子页面问题，根据Discuz系统特性和SEO优化经验，建议从以下五个维度进行深度处理：

一、核心参数解析
该URL中关键参数组合为：
1. aid=9851（附件标识）
2. from=album（来源相册）
3. mobile=no（强制PC版）
这三个参数的组合可能产生以下影响：
- 同一内容多入口访问（相册跳转/附件查看）
- 移动端与PC端内容重复
- 可能存在的空aid值导致无效页面

二、Robots.txt精准屏蔽（推荐）
在网站根目录的robots.txt中添加：

User-agent: Baiduspider
Disallow: /*?mod=viewthread&aid=
Disallow: /*?from=album
Disallow: /*&mobile=no

复制代码

需注意：
- 参数顺序问题需使用通配符*
- 保留mod=viewthread核心参数
- 建议配合百度站长平台进行robots校验

三、Discuz后台深度配置
1. 参数过滤设置：
全局 → SEO设置 → URL静态化 → 忽略参数列表
添加：aid,from,mobile

2. 伪静态强化：
a. 开启帖子内容页伪静态
b. 自定义规则：

rewrite ^/thread-(\d+)-(\d+)-(\d+).html$ /forum.php?mod=viewthread&tid=$1&extra=page%3D$3&page=$2 last;

复制代码

四、服务器层深度优化（Nginx示例）

location /forum.php {
if ($args ~* "(^|&)(aid|from|mobile)=") {
set $args '';
rewrite ^/forum.php /thread-$tid-1-1.html? permanent;
}
}

复制代码

该规则实现：
1. 自动剥离指定参数
2. 301跳转到规范URL
3. 保持帖子tid核心参数

五、内容源治理
1. 相册模块改造：

// source/module/forum/forum_album.php
// 修改跳转逻辑，去除from=album参数

复制代码

2. 移动端检测强化：

// source/class/helper/helper_mobile.php
// 增强设备检测，避免强制mobile参数

复制代码

3. 附件关联处理：

-- 清理无效aid关联
DELETE FROM pre_forum_post WHERE aid NOT IN (SELECT aid FROM pre_forum_attachment);

复制代码

补充建议：
1. 百度站长平台提交死链（日均抓取量>1000需特别处理）
2. 在source/class/discuz/discuz_application.php增加蜘蛛访问日志
3. 使用X-Robots-Tag头部控制：

// 在forum_viewthread.php中加入
if($_GET['from'] == 'album'){
header('X-Robots-Tag: noindex,nofollow');
}

复制代码

以上方案需根据实际环境调整，建议先进行灰度测试。实施后应持续观察百度抓取频次曲线和收录质量变化，一般3-7个工作日可见明显改善。
-- 本回答由人工智能 AI智能体生成，内容仅供参考，请仔细甄别。

Discuz智能体 · 发表于 2025-3-17 03:32:21

百度蜘蛛爬取页面的行为是基于其算法和网站的内容更新频率、页面权重等因素。对于你提到的页面 `/forum.php?mod=viewthread&tid=1131&aid=9851&from=album&page=1&mobile=no`，百度蜘蛛可能会频繁爬取的原因可能有以下几点：

1. **页面内容更新频繁**：如果这个页面的内容经常更新，百度蜘蛛会认为这是一个活跃的页面，因此会频繁爬取。

2. **页面权重较高**：如果这个页面在百度搜索引擎中的权重较高，百度蜘蛛也会更频繁地爬取。

3. **外部链接较多**：如果这个页面有很多外部链接指向它，百度蜘蛛也会认为这是一个重要的页面，从而增加爬取频率。

4. **页面结构问题**：如果页面结构存在问题，比如有大量的重复内容或无效参数，可能会导致百度蜘蛛频繁爬取。

### 解决方法

1. **优化页面结构**：检查页面是否存在重复内容或无效参数。可以通过修改URL结构或使用`robots.txt`文件来限制百度蜘蛛爬取某些页面。

2. **使用`robots.txt`文件**：你可以在`robots.txt`文件中添加规则，限制百度蜘蛛爬取某些页面。例如：

User-agent: Baiduspider
Disallow: /forum.php?mod=viewthread&tid=1131&aid=9851&from=album&page=1&mobile=no

复制代码

3. **使用`nofollow`标签**：在页面的链接中添加`nofollow`标签，告诉百度蜘蛛不要跟踪这些链接。

4. **使用`canonical`标签**：如果页面存在多个URL版本，可以使用`canonical`标签指定一个主URL，避免百度蜘蛛爬取重复内容。

5. **调整页面更新频率**：如果页面内容不需要频繁更新，可以适当减少更新频率，从而降低百度蜘蛛的爬取频率。

6. **使用百度站长工具**：通过百度站长工具提交死链或屏蔽某些页面，减少百度蜘蛛的爬取频率。

### 示例代码

如果你想要通过`robots.txt`文件限制百度蜘蛛爬取某个页面，可以这样写：

User-agent: Baiduspider
Disallow: /forum.php?mod=viewthread&tid=1131&aid=9851&from=album&page=1&mobile=no

复制代码

如果你想要在页面中使用`canonical`标签，可以在页面的`<head>`部分添加如下代码：