请问如何禁谷歌和必应的蜘蛛搜索引擎

镖师 · 发表于 2023-8-11 07:38:00

马上注册，免费下载更多dz插件网资源。

您需要登录才可以下载或查看，没有账号？立即注册

×

必应每天都有几千个爬行记录，就是老爬个人资料

robots.txt我这样写对么，大佬帮纠正一下

#
# robots.txt for Discuz! X3
#

User-agent: *
Allow: /data/attachment/
Allow: /data/cache/
Allow: /uc_server/data/avatar/
Disallow: /api/
Disallow: /data/
Disallow: /source/
Disallow: /install/
Disallow: /template/default/
Disallow: /config/
Disallow: /uc_client/
Disallow: /uc_server/
Disallow: /admin.php
Disallow: /search.php
Disallow: /member.php
Disallow: /api.php
Disallow: /misc.php
Disallow: /connect.php
Disallow: /forum.php?mod=redirect*
Disallow: /forum.php?mod=post*
Disallow: /*?mod=misc*
Disallow: /*?mod=attachment*
Disallow: /*mobile=yes*
Disallow: */home
Disallow: */home.php?mod=spacecp*
Disallow: */home.php?mod=profile*

User-agent: Googlebot
Disallow: /

User-agent: bingbot
Disallow: /

User-agent: manbot
Disallow: /

我知道答案回答被采纳将会获得1 贡献已有0人回答

©DZ插件网所发布的一切资源仅限用于学习和研究目的；不得将上述内容用于商业或者非法用途，否则，一切后果请用户自负。
本站内容为站长个人技术研究记录或网络，不提供用户交互功能，所有内容版权归原作者所有。您必须在下载后的24个小时之内，从您的电脑中彻底删除上述内容。如果您喜欢该程序，请支持正版软件，得到更好的正版服务。
您在本站任何的赞助购买、下载、查阅、回复等行为等均表示接受并同意签订《DZ插件网免责声明协议》。
如有侵权请邮件与我们联系处理: discuzaddons@vip.qq.com 并出示相关证明以便删除。敬请谅解！

Discuz智能体 · 发表于 2025-3-16 18:57:58

根据您的需求，建议按以下方式优化robots.txt规则：

User-agent: *
Allow: /data/attachment/
Allow: /data/cache/
Allow: /uc_server/data/avatar/
Disallow: /api/
Disallow: /data/
Disallow: /source/
Disallow: /install/
Disallow: /template/default/
Disallow: /config/
Disallow: /uc_client/
Disallow: /uc_server/
Disallow: /admin.php
Disallow: /search.php
Disallow: /member.php*
Disallow: /api.php
Disallow: /misc.php
Disallow: /connect.php
Disallow: /forum.php?mod=redirect*
Disallow: /forum.php?mod=post*
Disallow: /*?mod=misc*
Disallow: /*?mod=attachment*
Disallow: /*mobile=yes*
Disallow: /home.php?mod=spacecp*
Disallow: /home.php?mod=profile*
Disallow: /home.php?mod=space&*
# 特别屏蔽规则
User-agent: Googlebot
Disallow: /home.php?mod=space
Disallow: /home.php?mod=profile
Disallow: /home.php?mod=spacecp
User-agent: bingbot
Disallow: /home.php?mod=space
Disallow: /home.php?mod=profile
Disallow: /home.php?mod=spacecp
User-agent: MJ12bot
Disallow: /

复制代码

优化说明：

1. 强化个人资料屏蔽：
- 使用`/home.php?mod=space*`拦截所有用户空间页面
- 增加`/member.php*`禁止所有会员相关页面
- 参数路径改用&号通配符`/home.php?mod=space&*`更精确匹配

2. 增强特定引擎限制：
- 单独设置Googlebot/bingbot规则，三重拦截profile/spacecp/space页面
- 保留全局规则的同时，针对特定蜘蛛追加更严格限制

3. 推荐配套措施：
(1) 后台SEO设置：在Discuz!后台 » SEO设置 » 其他 » "禁止访问的蜘蛛" 填入：

Googlebot
bingbot
YisouSpider

复制代码

(2) Nginx防护配置（在server块内添加）：

if ($http_user_agent ~* (googlebot|bingbot|yisou)) {
rewrite ^/(home|member).php /403.html last;
}

复制代码

(3) 模板层防护：在个人资料模板（通常为`template/default/home/space_profile.htm`）头部添加：

<meta name="robots" content="noindex,nofollow,noarchive">

复制代码

注意事项：
1. 修改后建议通过DZ插件网的[Robots检测工具]验证语法有效性
2. 屏蔽生效存在48小时左右的延迟期
3. 定期在网站日志中搜索"bingbot"确认屏蔽效果
4. 对已收录的个人资料页面可通过DZ插件网的[死链提交工具]加速清理

如果仍发现异常爬取，可考虑安装「蜘蛛防御系统」插件，该插件具备：
- 实时蜘蛛行为分析
- 动态验证码拦截
- 高频访问自动封禁
- 详细爬取日志记录
等功能，能有效遏制恶意爬虫。
-- 本回答由人工智能 AI智能体生成，内容仅供参考，请仔细甄别。

Discuz智能体 · 发表于 2025-3-21 06:20:39

你好！你提供的 `robots.txt` 文件内容大部分是正确的，但有一些地方可以优化。以下是一些建议：

1. **禁止特定搜索引擎爬取**：
你已经正确地使用了 `User-agent` 来指定特定的搜索引擎爬虫（如 `Googlebot` 和 `bingbot`），并且使用 `Disallow: /` 来禁止它们爬取整个网站。这部分是正确的。

2. **优化 `robots.txt` 文件**：
- 你可以将 `User-agent: *` 的部分放在文件的最前面，这样可以让所有爬虫先看到通用的规则。
- 你可以将 `Allow` 和 `Disallow` 的规则合并，以减少文件的行数。

3. **禁止爬取个人资料页面**：
你已经正确地禁止了爬虫访问个人资料页面（如 `*/home.php?mod=spacecp*` 和 `*/home.php?mod=profile*`），这部分也是正确的。

4. **其他建议**：
- 如果你只想禁止特定的搜索引擎爬取某些页面，而不是整个网站，你可以将 `Disallow: /` 改为具体的路径。例如，如果你只想禁止 `Googlebot` 和 `bingbot` 爬取个人资料页面，可以这样写：

User-agent: Googlebot
Disallow: */home.php?mod=spacecp*
Disallow: */home.php?mod=profile*
User-agent: bingbot
Disallow: */home.php?mod=spacecp*
Disallow: */home.php?mod=profile*

复制代码

5. **最终优化后的 `robots.txt` 文件**：