·设为首页收藏本站📧邮箱修改🎁免费下载专区💎积分✅卡密📒收藏夹👽聊天室
12下一页
返回列表 发布新帖

防采集-刻不容缓---长期更新记录贴

717 17
发表于 2023-3-25 07:42:27 | 查看全部 阅读模式

马上注册,免费下载更多dz插件网资源。

您需要 登录 才可以下载或查看,没有账号?立即注册

×
昨天上线的一个新站今天看日志发现所有搞的内容都被采了。。。郁闷
准备花点时间搞下这个防采集的、有这方面经验的坛友可以出来分享下、这个帖子就当长期记录了,直到把这个解决掉
////////////////////////////////////////////////////////////////////////////////////////////////很多人在用宝塔上的防cc攻击的用来防采集,其实这个好像没用,这个只能限制指定时间内访问单页面频率超标就屏蔽,若访问不同页面触发不了


目前测试的方法--获取用户指纹信息---经过自写的一个api系统判断------如果是恶意ip就提交宝塔api进黑名单。
我要说一句 收起回复
创宇盾启航版免费网站防御网站加速服务

评论17

浅生Lv.8 发表于 2023-3-25 07:42:41 | 查看全部
直接删除列表,文章全部错开。这样子应该不好采集了吧
我要说一句 收起回复
婷姐Lv.8 发表于 2023-3-25 07:42:56 | 查看全部
这种都有搞、抓取频率的都有弄、可以换ip、遍历照样能搞、还可以通过site来采
我要说一句 收起回复
CrystαlLv.8 发表于 2023-3-25 07:43:34 | 查看全部
防采集容易,但是和蜘蛛区分开来很难
我要说一句 收起回复
TyCodingLv.8 发表于 2023-3-25 07:43:48 | 查看全部
本帖最后由 無剑 于 2023-3-24 23:55 编辑

容易?比如说呢?
我以前专门给人做采集也做了也算蛮久、没碰到过采集不了的、遇到稍微麻烦的就是指纹识别的、这个采集成本高。
我要说一句 收起回复
浅生Lv.8 发表于 2023-3-25 07:44:40 | 查看全部
只要我不更新,他就采集不了我
我要说一句 收起回复
浅生Lv.8 发表于 2023-3-25 07:45:01 | 查看全部
去掉分页不就完事了,就显示那么几条
我要说一句 收起回复
浅生Lv.8 发表于 2023-3-25 07:45:19 | 查看全部
我几乎不用火车头,我猜火车头无法渲染js。很多人都用火车头采集,只要用复杂的js加载内容,就可以防住九成的采集。
同时,js逆向对新手程序员来说是困难的,新手程序员为了省事,会直接用selenium,但是这个玩意耗内存,爬不快。
我要说一句 收起回复
婷姐Lv.8 发表于 2023-3-25 07:45:38 | 查看全部
一个成熟的采集肯定有自己的一套框架。。。。。
页面做加密处理这个不现实、试错成本有点高
我要说一句 收起回复
TyCodingLv.8 发表于 2023-3-25 07:46:21 | 查看全部
防不了的,只是技术和成本的问题。只有拿起法律的武器
我要说一句 收起回复

回复

 懒得打字嘛,点击右侧快捷回复【查看最新发布】   【应用商城享更多资源】
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

图文热点
创宇盾启航版免费网站防御网站加速服务
投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载,复制和建立镜像,
如有违反,按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 )|网站地图 知道创宇云防御

您的IP:18.116.49.243,GMT+8, 2024-11-26 04:57 , Processed in 0.668002 second(s), 125 queries , Gzip On, Redis On.

Powered by Discuz! X5.0 Licensed

© 2001-2024 Discuz! Team.

关灯 在本版发帖
扫一扫添加微信客服
QQ客服返回顶部
快速回复 返回顶部 返回列表