·设为首页收藏本站📧邮箱修改🎁免费下载专区💎积分✅卡密📒收藏夹👽聊天室
🔄最新发布📃文档资料库🆔加群看共享切换到窄版
立即注册
DZ插件网»🏠首页 › Discuz! › 站长杂谈 › 蜘蛛频繁抓取某几个页面
12下一页
返回列表 发布新帖

蜘蛛频繁抓取某几个页面

301 19
发表于 2022-1-12 14:57:25 | 查看全部 阅读模式

马上注册，免费下载更多dz插件网资源。

您需要 登录 才可以下载或查看，没有账号？立即注册

×
网站有几千万数据，但是收录1000多W，抓取频次很低，每天只有2W多，最近看日志之蜘蛛频繁只抓取几个页面。请大佬科普原因以及解决方向
网址：www.yupao.com m.yupao.com
蜘蛛, 频繁, 抓取, 几个, 页面
我要说一句 收起回复
赞赏
回复

使用道具 举报

相关帖子
创宇盾启航版免费网站防御网站加速服务

评论19

独家记忆Lv.8 发表于 2022-1-12 14:57:50 | 查看全部
首先确定是不是真蜘蛛
然后频繁抓取的页面是什么页面 内容页还是？
解决方向考虑一下经常爬取的页面调用多点其他页面的链接 看看能不能引蜘蛛爬过去
我要说一句 收起回复
回复 支持 反对

使用道具 举报

CrystαlLv.8 发表于 2022-1-12 14:58:42 | 查看全部
蜘蛛抓取的那几个页面，做新文章的超级链接，把蜘蛛引过去试试
我要说一句 收起回复
回复 支持 反对

使用道具 举报

IT618发布Lv.8 发表于 2022-1-12 14:59:13 | 查看全部
加内链，好事
我要说一句 收起回复
回复 支持 反对

使用道具 举报

TyCodingLv.8 发表于 2022-1-12 14:59:31 | 查看全部
他这个站，上百万收录，估计他不敢乱改
我要说一句 收起回复
回复 支持 反对

使用道具 举报

CrystαlLv.8 发表于 2022-1-12 15:00:16 | 查看全部
快排搞一下  起飞了。
我要说一句 收起回复
回复 支持 反对

使用道具 举报

浅生Lv.8 发表于 2022-1-12 15:01:09 | 查看全部
收录这么多，怎么做到的
我要说一句 收起回复
回复 支持 反对

使用道具 举报

婷姐楼主Lv.8 发表于 2022-1-12 15:01:41 | 查看全部
分析日志，看看都抓取的那些页面，分析为什么抓取这些页面，是这些页面内链做的好，还是这些页面有更新，找出原因，把没有蜘蛛抓取的页面也要做到 常更新，最后最粗暴的方法，把没有收录没有索引的页面直接丢蜘蛛池里就行了
我要说一句 收起回复
回复 支持 反对

使用道具 举报

IT618发布Lv.8 发表于 2022-1-12 15:01:49 | 查看全部
先分析下经常抓取的链接是哪些，，看下这些链接页面是什么情况。。
是不是你这些链接在网站上入口比较好，更容易抓取，，，网站结构是不是其他链接不方便被抓取。。。
我要说一句 收起回复
回复 支持 反对

使用道具 举报

CrystαlLv.8 发表于 2022-1-12 15:02:20 | 查看全部
做一个文章发布后自动推送的功能。

然后把关一下那些用户发的信息吧，因为基本上都是一篇文章多个网站发布，就导致你的网站可能就是一个采集站了，对于搜索引擎来说。
我要说一句 收起回复
回复 支持 反对

使用道具 举报

下一页 »
12下一页
返回列表 发布新帖

回复
 懒得打字嘛，点击右侧快捷回复【查看最新发布】   【应用商城享更多资源】
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

图文热点
创宇盾启航版免费网站防御网站加速服务

关于我们

关于我们 免责声明 应用市场 下载中心

服务支持

有问必答 优秀站点 常见问题 建站必看
投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载，复制和建立镜像，
如有违反，按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 )|网站地图 知道创宇云防御

您的IP:18.191.107.181,GMT+8, 2024-11-21 20:01 , Processed in 0.433590 second(s), 129 queries , Gzip On, Redis On.

Powered by Discuz! X5.0 Licensed

© 2001-2024 Discuz! Team.

关灯 在本版发帖
扫一扫添加微信客服
 QQ客服返回顶部
快速回复 返回顶部 返回列表