·设为首页收藏本站📧邮箱修改🎁免费下载专区💎积分✅卡密📒收藏夹👽聊天室
返回列表 发布新帖

求个网站的采集方法,这个站的列表页只显示前10页,其它的都没有显示

167 8
发表于 2023-3-27 20:57:16 | 查看全部 阅读模式

马上注册,免费下载更多dz插件网资源。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
求个网站的采集方法,这个站的列表页只显示前10页,10页之后的都没有显示,

https://www.wenshubang.com/shijianbaogao/list_10.html


之前在4414上有个大哥说可以按ID循环来做,但具体怎么做,请问各大指点一下!


求个网站的采集方法,这个站的列表页只显示前10页,其它的都没有显示 网站,采集,方法,这个,列表


或者有其它什么办法可以采集的?

谢谢!
我要说一句 收起回复
创宇盾启航版免费网站防御网站加速服务

评论8

婷姐Lv.8 发表于 2023-3-27 20:57:21 | 查看全部
不发金币,很难打字啊。。
我要说一句 收起回复
婷姐Lv.8 发表于 2023-3-27 20:58:07 | 查看全部
有悬赏的
我要说一句 收起回复
CrystαlLv.8 发表于 2023-3-27 20:58:39 | 查看全部
第一步:整理路由规则,如下
/shuzhibaogao/
/gongzuobaogao/
/shijianbaogao/
/cizhibaogao/
第二步:找到最大的ID值,3300000
第三步:将这些ID按序组合成链接,如下
/shuzhibaogao/3300000.html
/gongzuobaogao/3300000.html
/shijianbaogao/3300000.html
/cizhibaogao/3300000.html
第四步:获取这些链接ID的状态码,返回200,则记录下来
第五步:将整理200状态码的链接采集下来
我要说一句 收起回复
CrystαlLv.8 发表于 2023-3-27 20:59:23 | 查看全部
求个网站的采集方法,这个站的列表页只显示前10页,其它的都没有显示 网站,采集,方法,这个,列表
不会写脚本的,用现成的API
我要说一句 收起回复
IT618发布Lv.8 发表于 2023-3-27 20:59:48 | 查看全部
这个厉害了
我要说一句 收起回复
浅生Lv.8 发表于 2023-3-27 21:00:24 | 查看全部
每个栏目都从1到3300000循环历遍吗

/shuzhibaogao/(1-3300000).html
/gongzuobaogao/(1-3300000).html
/shijianbaogao/(1-3300000).html
/cizhibaogao/(1-3300000).html

像这样吗?
还有一个问题就是如何获取状态码?
我要说一句 收起回复
IT618发布Lv.8 发表于 2023-3-27 21:00:32 | 查看全部
求个网站的采集方法,这个站的列表页只显示前10页,其它的都没有显示 网站,采集,方法,这个,列表
用一个脚本去跑或者现成的API接口
跟查死链一个道理,这种工具或脚本网上一大堆
我要说一句 收起回复
浅生Lv.8 发表于 2023-3-27 21:00:39 | 查看全部
直接文章id遍历吧
我要说一句 收起回复

回复

 懒得打字嘛,点击右侧快捷回复【查看最新发布】   【应用商城享更多资源】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

图文热点
创宇盾启航版免费网站防御网站加速服务
投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载,复制和建立镜像,
如有违反,按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 )|网站地图 知道创宇云防御

您的IP:3.149.23.124,GMT+8, 2024-11-22 14:07 , Processed in 0.281379 second(s), 133 queries , Gzip On, Redis On.

Powered by Discuz! X5.0 Licensed

© 2001-2024 Discuz! Team.

关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表