·设为首页收藏本站📧邮箱修改🎁免费下载专区💎积分✅卡密📒收藏夹👽聊天室
DZ插件网 门户 网站安全 查看内容

京东开源,牛逼哄哄的 JD-hotkey 到底有多强?

2024-8-17 04:35| 发布者: 婷姐| 查看: 61377| 评论: 0

摘要: mall学习教程官网:macrozheng.com项目介绍京东 App 后台中间件,毫秒级探测热点数据,毫秒级推送至服务器集群内存,大幅降低热 key 对数据层查询压力。对任意突发性的无法预先感知的热点请求,包括并不限于热点数据 ...

京东开源,牛逼哄哄的 JD-hotkey 到底有多强?1337 作者: 来源: 发布时间:2024-8-17 04:35

mall学习教程官网:macrozheng.com

项目介绍


京东 App 后台中间件,毫秒级探测热点数据,毫秒级推送至服务器集群内存,大幅降低热 key 对数据层查询压力。

京东开源,牛逼哄哄的 JD-hotkey 到底有多强?8993 作者: 来源: 发布时间:2024-8-17 04:35

对任意突发性的无法预先感知的热点请求,包括并不限于热点数据(如突发大量请求同一个商品)、热用户(如爬虫、刷子)、热接口(突发海量请求同一个接口)等,进行毫秒级精准探测到。然后对这些热数据、热用户等,推送到该应用部署的所有机器 JVM 内存中,以大幅减轻对后端数据存储层的冲击,并可以由客户端决定如何使用这些热 key(譬如对热商品做本地缓存、对热用户进行拒绝访问、对热接口进行熔断或返回默认值)。这些热 key 在整个应用集群内保持一致性。

核心功能:热数据探测并推送至集群各个服务器

适用场景:
  • mysql 热数据本地缓存
  • redis 热数据本地缓存
  • 黑名单用户本地缓存
  • 爬虫用户限流
  • 接口、用户维度限流
  • 单机接口、用户维度限流限流
  • 集群用户维度限流
  • 集群接口维度限流

性能指标


该框架历经多次压测,性能指标主要有两个:
  1. 探测性能:8 核单机 worker 端每秒可接收处理 16 万个 key 探测任务,16 核单机至少每秒平稳处理 30 万以上,实际压测达到 37 万,CPU 平稳支撑,框架无异常。
  2. 推送性能:在高并发写入的同时,对外推送目前性能约平稳推送每秒 10-12 万次,譬如有 1 千台 server,一台 worker 上每秒产生了 100 个热 key,那么这 1 秒会平稳推送 100 * 1000 = 10 万次,10 万次推送会明确在 1s 内全部送达。如果是写入少,推送多,以纯推送来计数的话,该框架每秒可稳定对外推送 40-60 万次平稳,80 万次极限可撑几秒。

京东开源,牛逼哄哄的 JD-hotkey 到底有多强?7936 作者: 来源: 发布时间:2024-8-17 04:35

京东开源,牛逼哄哄的 JD-hotkey 到底有多强?7283 作者: 来源: 发布时间:2024-8-17 04:35

这或许是一个对你有用的开源项目,mall项目是一套基于 SpringBoot + Vue + uni-app 实现的电商系统(Github标星60K),采用Docker容器化部署,后端支持多模块和微服务架构。包括前台商城项目和后台管理系统,能支持完整的订单流程!涵盖商品、订单、购物车、权限、优惠券、会员、支付等功能!
  • Boot项目:https://github.com/macrozheng/mall
  • Cloud项目:https://github.com/macrozheng/mall-swarm
  • 视频教程:https://www.macrozheng.com/video/

项目演示:
京东开源,牛逼哄哄的 JD-hotkey 到底有多强?9016 作者: 来源: 发布时间:2024-8-17 04:35

实战检验


京东 APP 后台热数据探测框架,历经多次高压压测和 2020 年京东 618、双 11 大促考验。

在上线运行的这段时间内,每天探测的 key 数量数十亿计,精准捕获了大量爬虫、刷子用户,另准确探测大量热门商品并毫秒级推送到各个服务端内存,大幅降低了热数据对数据层的查询压力,提升了应用性能。

在大促期间,hotkey 的 worker 集群秒级吞吐量达到 1500 万级别,由 hotkey 探测出的热 key 进而产生的本地缓存占应用总访问量的 50%以上,使得大部分请求进行的是本地查询,减轻了 redis 层一半以上负担。

架构设计


该框架没有依赖于任何定制化的组件,与 redis 更是毫无关系,核心就是靠 netty 连接,client 端送出待测 key,然后由各个 worker 完成分布式计算,算出热 key 后,就直接推送到 client 端,非常轻量级。

京东开源,牛逼哄哄的 JD-hotkey 到底有多强?1630 作者: 来源: 发布时间:2024-8-17 04:35

该框架主要由 4 个部分组成:
  1. etcd 集群:etcd 作为一个高性能的配置中心,可以以极小的资源占用,提供高效的监听订阅服务。主要用于存放规则配置,各 worker 的 ip 地址,以及探测出的热 key、手工添加的热 key 等。
  2. client 端 jar 包:就是在服务中添加的引用 jar,引入后,就可以以便捷的方式去判断某 key 是否热 key。同时,该 jar 完成了 key 上报、监听 etcd 里的 rule 变化、worker 信息变化、热 key 变化,对热 key 进行本地 caffeine 缓存等。
  3. worker 端集群:worker 端是一个独立部署的 Java 程序,启动后会连接 etcd,并定期上报自己的 ip 信息,供 client 端获取地址并进行长连接。之后,主要就是对各个 client 发来的待测 key 进行累加计算,当达到 etcd 里设定的 rule 阈值后,将热 key 推送到各个 client。
  4. dashboard 控制台:控制台是一个带可视化界面的 Java 程序,也是连接到 etcd,之后在控制台设置各个 APP 的 key 规则,譬如 2 秒出现 20 次算热 key。然后当 worker 探测出来热 key 后,会将 key 发往 etcd,dashboard 也会监听热 key 信息,进行入库保存记录。同时,dashboard 也可以手工添加、删除热 key,供各个 client 端监听。

项目地址


https://gitee.com/jd-platform-opensource/hotkey


Github上标星60K的电商实战项目mall,全套 视频教程(2023最新版) 已更新完毕!全套教程约40小时,共113期,通过这套教程你可以拥有一个涵盖主流Java技术栈的完整项目经验,同时提高自己独立开发一个项目的能力,下面是项目的整体架构图,感兴趣的小伙伴可以点击链接 mall视频教程 加入学习。

京东开源,牛逼哄哄的 JD-hotkey 到底有多强?4845 作者: 来源: 发布时间:2024-8-17 04:35

整套 视频教程 的内容还是非常完善的,涵盖了mall项目最佳学习路线、整体框架搭建、业务与技术实现全方位解析、线上Docker环境部署、微服务项目学习等内容,具体大纲可以参考下图,你也可以点击链接 mall视频教程 了解更多内容。

京东开源,牛逼哄哄的 JD-hotkey 到底有多强?767 作者: 来源: 发布时间:2024-8-17 04:35

推荐阅读

  • 69K Star!这是我见过最强的开源电商系统 !!
  • Github标星60K!一套完整的项目实战教程来了,主流Java技术一网打尽!
  • 看了我项目中购物车、订单、支付一整套设计,同事也开始悄悄模仿了...
  • 订单系统就该这么设计,稳的一批!
  • 支付系统就该这么设计,稳的一批!
  • 权限系统就该这么设计,稳的一批!







上一篇:CSDN落户:由“长沙等你”变成“长沙的你”
下一篇:做了十五年的 WordPress 系统架构升级、改造带来的痛苦和启示.

鲜花

握手

雷人

路过

鸡蛋

评论

您需要登录后才可以发表言论 登录立即注册
创宇盾启航版免费网站防御网站加速服务
投诉/建议联系

discuzaddons@vip.qq.com

未经授权禁止转载,复制和建立镜像,
如有违反,按照公告处理!!!
  • 联系QQ客服
  • 添加微信客服

联系DZ插件网微信客服|最近更新|Archiver|手机版|小黑屋|DZ插件网! ( 鄂ICP备20010621号-1 )|网站地图 知道创宇云防御

您的IP:18.116.86.160,GMT+8, 2024-11-22 12:38 , Processed in 0.240381 second(s), 42 queries , Gzip On, Redis On.

Powered by Discuz! X5.0 Licensed

© 2001-2024 Discuz! Team.

关灯
扫一扫添加微信客服
QQ客服返回顶部
返回顶部