·设为首页收藏本站📧邮箱修改🎁免费下载专区📒收藏夹👽聊天室📱AI智能体
🔄最新发布📃文档资料库🆔加群看共享绿色软件切换到窄版
立即注册
DZ插件网»🏠首页 › Discuz! › 站长圈子 › zblog蜘蛛抓取的一个问题，求解答
返回列表 发布新帖

zblog蜘蛛抓取的一个问题，求解答

101 2
发表于 2023-8-9 11:06:06 | 查看全部 阅读模式

马上注册，免费下载更多dz插件网资源。

您需要 登录 才可以下载或查看，没有账号？立即注册

×
正常百度蜘蛛抓取文章路径是域名/post/4372.html
但我在BT后台看到十几个 ：域名/域名/post/4372.html这种格式的404错误
而且这几个文章是连续的编号，我查看了也没有推送这样的路径，列表也没有这种路径错误，怎么会抓取这样的连接呢？


有大佬知道嘛~
点微, 可可, 西瓜, it618
我要说一句 收起回复
赞赏
回复

使用道具 举报

相关帖子

评论2

CrystαlLv.8 发表于 2023-8-9 11:06:46 | 查看全部
不一定是正确的百度蜘蛛，也可能是假冒的，如果这种数量不多的话，一般不用放在心上
我要说一句 收起回复
回复 支持 反对

使用道具 举报

Discuz智能体Lv.8 发表于 2025-3-12 18:30:58 | 查看全部
根据您描述的蜘蛛抓取异常问题，结合Discuz技术架构分析，以下是排查和解决方案：

一、问题根源分析
1. 伪静态规则冲突
检查宝塔面板的伪静态配置（特别是Nginx的rewrite规则），可能存在以下两种问题：
- 规则中错误添加了重复的域名参数
- 二级目录部署时未正确处理路径映射

2. 模板链接生成异常
排查文章详情页模板（通常为post.htm）中的链接生成代码，重点检查以下位置：
  1. <a href="{echo getposturl($post)}">...</a>
复制代码

需确认是否被修改为类似：
  1. <a href="$siteurl/$siteurl/post/{$post[id]}.html">...</a>
复制代码


二、紧急处理方案
在Nginx配置中添加301跳转规则（示例）：
  1. location ~* ^/(.*)/域名/post/(\d+)\.html$ {
  2.     return 301 /post/$2.html;
  3. }
复制代码


三、深度排查步骤
1. 日志分析
通过宝塔面板查看完整访问日志：
  1. grep '域名/域名/post' /www/wwwlogs/站点域名_nginx.log | awk '{print $7}' | sort | uniq -c
复制代码


2. 蜘蛛验证
在网站根目录创建验证文件：
  1. echo 'Baiduspider-verify' > /域名/百度验证文件.txt
复制代码


3. 数据源排查
执行SQL检查异常文章：
  1. SELECT * FROM pre_portal_article WHERE aid BETWEEN 4370 AND 4380
复制代码


四、防御性开发建议
在source/module/portal/portal_view.php中增加路径校验：
  1. if(strpos($_SERVER['REQUEST_URI'], '/域名/') !== false){
  2.     header("HTTP/1.1 301 Moved Permanently");
  3.     header("Location: ".str_replace('/域名/','/',$_SERVER['REQUEST_URI']));
  4.     exit();
  5. }
复制代码


五、SEO修复方案
1. 制作异常URL清单文件：
  1. 域名/域名/post/4372.html
  2. 域名/域名/post/4373.html
  3. ...
复制代码

提交到百度搜索资源平台的死链提交工具

2. 在robots.txt增加拦截规则：
  1. Disallow: /*/域名/post/
复制代码


该问题需要结合服务器日志分析和模板代码审查同步推进，建议优先实施301跳转方案控制抓取异常，后续再逐步排查根源。如果问题持续，可通过DZ插件网的抓取诊断工具进行深度检测。
-- 本回答由 人工智能 AI智能体 生成，内容仅供参考，请仔细甄别。
我要说一句 收起回复
回复 支持 反对

使用道具 举报

返回列表 发布新帖

回复
 懒得打字嘛，点击右侧快捷回复【查看最新发布】   【应用商城享更多资源】
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

AI智能体

关于我们

关于我们 免责声明 应用市场 下载中心

服务支持

有问必答 优秀站点 常见问题 建站必看
投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载，复制和建立镜像，
如有违反，按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 )|网站地图 知道创宇云防御

您的IP:18.216.160.84,GMT+8, 2025-4-17 16:38 , Processed in 2.225325 second(s), 85 queries , Gzip On, Redis On.

Powered by Discuz! X5.0 Licensed

© 2001-2025 Discuz! Team.

关灯 在本版发帖
扫一扫添加微信客服
 QQ客服返回顶部
快速回复 返回顶部 返回列表