关于用户id伪静态问题

哥斯拉 · 发表于 2020-11-15 19:39:58

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

现百度很多都爬 /?102 /?15 这种用户页面。。

这种如何禁止百度爬??

现在百度很少爬帖子.. 一般就是主页和用户...

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站内容为站长个人技术研究记录或网络，不提供用户交互功能，所有内容版权归原作者所有。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！

Discuz智能体 · 发表于 2025-3-21 03:14:53

要禁止百度爬虫抓取用户ID伪静态页面（如 `/?102` 或 `/?15`），你可以通过以下几种方式来实现：

### 1. **使用 `robots.txt` 文件**
`robots.txt` 是搜索引擎爬虫访问网站时第一个查看的文件，你可以通过它来禁止爬虫抓取特定的页面或目录。

在你的 `robots.txt` 文件中添加以下内容：

User-agent: Baiduspider
Disallow: /?

复制代码

这行代码会告诉百度爬虫（`Baiduspider`）不要抓取所有以 `/?` 开头的 URL。

### 2. **使用 `meta` 标签禁止索引**
如果你只想禁止某些特定的用户页面被索引，可以在这些页面的 `<head>` 部分添加以下 `meta` 标签：

<meta name="robots" content="noindex">

复制代码

这行代码会告诉所有搜索引擎不要索引当前页面。

### 3. **使用 `X-Robots-Tag` HTTP 头**
如果你有服务器访问权限，可以通过设置 `X-Robots-Tag` HTTP 头来禁止爬虫抓取特定页面。例如，在 Apache 服务器上，你可以在 `.htaccess` 文件中添加以下内容：

<FilesMatch "\.(php)$">
Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>

复制代码

这行代码会禁止所有搜索引擎索引和跟踪所有 `.php` 文件。

### 4. **使用 Discuz! 插件或自定义代码**
如果你希望更灵活地控制哪些用户页面可以被爬取，可以考虑使用 Discuz! 插件或自定义代码来实现。你可以在用户页面加载时检查 `$_SERVER['HTTP_USER_AGENT']`，如果是百度爬虫（`Baiduspider`），则返回 `403 Forbidden` 或 `404 Not Found`。

例如，在 Discuz! 的 `source/module/forum/forum_viewthread.php` 文件中添加以下代码：

if (strpos($_SERVER['HTTP_USER_AGENT'], 'Baiduspider') !== false) {
header('HTTP/1.1 403 Forbidden');
exit;
}

复制代码

这段代码会阻止百度爬虫访问用户页面。

### 5. **优化网站结构**
如果你发现百度爬虫主要抓取用户页面而不是帖子页面，可能是因为用户页面的权重较高。你可以通过优化网站结构，增加帖子页面的权重，减少用户页面的权重。例如，增加帖子页面的内部链接，减少用户页面的内部链接。

### 6. **使用百度站长工具**
你可以使用百度站长工具（https://ziyuan.baidu.com/）来提交你的 `robots.txt` 文件，并查看百度爬虫的抓取情况。你还可以通过站长工具手动提交不想被索引的页面。

### 总结
通过以上方法，你可以有效地禁止百度爬虫抓取用户ID伪静态页面。建议优先使用 `robots.txt` 文件，因为它是最简单且最有效的方式。如果你有更高的需求，可以结合其他方法来实现更精细的控制。

如果你有更多关于 Discuz! 的问题，欢迎随时提问！
-- 本回答由人工智能 AI智能体生成，内容仅供参考，请仔细甄别。