   大数据产业创新服务媒体 ——聚焦数据 · 改变商业 数据的价值逐年增长，数据库几乎可以称为各企业的瑰宝之源，著名的数据库厂商Oracle、IBM和开源型数据库MySQL等在20世纪70年代至20世纪末期如雨后春笋般浮现，至今实力强劲。Gartner发布的2023年度全球《云数据库管理系统魔力象限》报告中提出，2023年全球数据库市场规模首次突破1000亿美元。中国信通院预测中国数据库市场规模将从2023年的522.4亿元，增至2028年的930.29亿元。一、技术春笋——数据库 20世纪80年代，中国数据库正值技术萌芽期，1977年，中国计算机学会在黄山召开第一次数据库研讨会，1982年起，中国计算机学会每年组织一次数据库研讨会，同年又编写了中国第一部数据库教材《数据库系统概论》；然而在20世纪90年代左右，国外厂商进入中国，形成垄断局面，一大批传统企业以Oracle为核心开始转型；到了21世纪初期，国产数据库厂商逐渐增多，人大金仓、武汉达梦、南大通用等公司成立；随着互联网与云计算的发展，许多云厂商开始涌入数据库市场，比如2012年腾讯推出自研数据库TDSQL。  （注：图表由数据猿根据相关咨询报告及数据制作） 数据库作为融合创新的重要部分，国产化进程越来越紧迫。根据国家要求，要在2027年时完成一些关键行业数据库的百分百国产化。 那么，国产数据库现在发展的怎么样了？下面将以腾讯云数据库TDSQL（以下简称TDSQL）为例，来详细了解数据库国产化的进展和未来也许会面临的挑战。 目前来看，关系型数据库与非关系型数据呈交融发展之态，多模数据库应运而生，各家数据库百花齐放。OLTP事务类数据库更适合联机交易、轻量数据分析、简单事务、高并发的业务场景，分析能力较弱，是传统关系型数据库的主要应用场景；OLAP分析类数据库则是适合复杂分析、非实时查询的业务场景，分析能力较强，侧重决策分析。各家企业为了支持不同类型的业务能够并行处理，逐渐转向选择既能适应业务系统运行、又具有较强分析能力的HTAP混合型数据库。 为了测试各数据库在OLAP或OLTP场景下的运行状况，国际事务处理性能委员会推出了数据库“决策支持类”性能测试TPC-DS，专门针对数据库管理系统分析性能进行测试。TPC-DS模拟一个大型零售商销售数据的OLAP场景，通过 99 个不同类型的分析任务，考察底层数据库的处理耗时、并发性能和导数性能等指标，是数据库产品分析处理能力和技术先进性的金标准，TDSQL在这一金标准下登顶世界第一。 二、腾讯云数据库TDSQL展现“青春状态”：分布式架构的极致弹性与性能 如何充分发挥每个算力单元的极致潜力，并确保每个任务之间不等待、不阻塞，一直是数据库领域的重点攻关方向。就像盖楼一样，既要有好的钢筋水泥来把地基打牢固，又要有足够多的工人同时运转以保证按时交工。TDSQL在分布式交互、并行计算、单核极致性能三个方向深度自研，保障了计算从多核到多进程再到多节点，能充分并行无阻塞运行，实现了性能的大幅提升。 1、单核算力优化与软硬件协同 TDSQL追求极致的单核计算效率，自研列式存储和向量化执行引擎，在算法、结构、新一代CPU结合等方面深度优化单核任务执行效率，实现单核效率提升1倍以上，充分利用了最新CPU和专用协处理器的强大计算能力，通过精细的算法和调度策略，确保每个CPU单元在处理任务时都能发挥出极致性能。并且在提高单个任务处理速度的同时，还降低了整体系统的能耗和成本，这些都是TDSQL在软件层面做出的优化。 TDSQL还非常重视软硬件协同的深度整合，与腾讯自研的星星海服务器等硬件设备的紧密配合，为自身提供了强大的性能保障和扩展能力。 2、智能调度与运维管理的升级 数据库任务变幻莫测，TDSQL必须提升任务的并行度，充分调度、升级和充分利用并行资源。TDSQL通过自研MPP执行框架，优化了主流 OLAP 数据库应用“pull”模型存在的数据传输“拥堵”瓶颈，保证所有计算任务全速顺畅运行，通用性能提升40%。而在性能无法线性跟随CPU核数增加的业界难题上，TDSQL通过自研并行执行框架，彻底去除并行进程间阻塞依赖，CPU 利用率提高至 95% 以上，能充分利用多核资源。 此外，通过将TDSQL与AI大模型深度结合，更好的实现了资源调度、智能运维和流量优化等方面的创新实践，进一步为客户提供更加智能化、自动化和高效的数据库解决方案。具体来看，数据库本身作为大模型的一部分存储它的数据结构并支撑运行，反过来大模型又帮助数据库快速归因服务中发生的问题、降低客户成本和管理效率成本，提升与用户间的数据交互，最终给客户一个最优化的推荐。 TDSQL通过分布式交互技术，确保所有计算任务能够流水线式全速运行，多种兼容、性能卓越、业务能力混合的支持以及多部署形态架构上的能力组成了TDSQL的核心能力。 三、腾讯云数据库TDSQL畅游蓝海 1、循序渐进的全链条产品业务 从2012年起，腾讯的产品研发是循序渐进的，第一阶段主要以支持公司内部业务为主，支持超大规模、解决高并发的问题，包括腾讯内部的大数据、微信支付、微信广告、腾讯音乐等；第二阶段更多的是对接政务平台，例如数字广东粤省事在TDSQL帮助下实现流程再造和决策优化，实现民众少跑路，数据多跑路；“第七次全国人口普查”以“OLTP+OLAP”技术融合架构支持了十亿级用户数据、七百万个终端和百万级峰值TPS。这一阶段的政务客户群体的数据规模庞大，他们既要求事务，又要求分析。针对这些场景，TDSQL会升级产品能力，包括自研链式存储、分析引擎，以做到更好地支撑到不同规模大小、不同复杂场景的政务核心场景；直到最近三年，开始帮助第二阶段已完成的业务进行融合创新，从业务和性能两个层面实现去“O”。 2、满足金融行业的复杂性 总的来看，金融行业选择数据库时具有更强的排他性，需要综合考虑数据量、查询复杂性、实时性、安全性等因素，最终选择适合自身的数据库产品，以满足客户在不同场景下的高可用需求。2023年IDC报告提到TDSQL在金融行业的市场占有达到了20%，获得了中国的第一，TDSQL凭借混合部署和高可用架构的能力成为金融、政企等领域首选的数据库解决方案。 从金融行业下的不同类目来讲，大致分为国有大行、商业银行、保险。于国有大行，TDSQL要保证大行高并发的场景稳定、数据一致性和较高的运维效率；于商业银行，TDSQL要与他们的ISV进行适配，完成商业银行的核心替换；于保险而言则较为特殊，每个保险业务下又可以拆分多个小任务，业务逻辑复杂，需要有不同的技术响应。 未来，存储和数据库技术将更加紧密地结合。 3、公有云增量市场可观 在业务市场方面，公有云和私有云所面临的问题并不一样，私有云更多的是考验数据库的底层能力，比如吞吐、分析，公有云更多的是考验对资源的调度能力。腾讯云通过TDSQL-C这款产品，发布了Serverless云原生的数据库架构，给客户提供极致的弹性体验，弹性解决了公有云最重要的一个点。 所谓弹性解决是指TDSQL-C把计算节点和存储节点进行结合，当公有云数据库需要扩容时可以快速提供需要的资源。常规来讲，数据量越大时需要的弹性越大，可能会出现业务抖动，但当计算节点不再有数据量拥堵时就可以快速提供服务。 总体来看，在公有云数据库市场中，以阿里云、腾讯云为代表的国产数据库厂商份额已远超海外数据库厂商。根据IDC的报告，在关系型数据库中，公有云数据库的市场份额有望从2021年的55%增长至2027年的73.2%，市场份额将远超私有云。这也表明公有云数据库在未来几年内将保持快速增长态势。 四、国产数据库需要持续创新，实现生态共赢 在数据库领域，长期以来国外厂商占据主导地位，尤其是在高端市场和核心应用领域，国内数据库厂商正加大研发投入，努力打破国外厂商的技术垄断，为国产软件发展做出贡献。 1、解决行业数字化转型的特有问题 目前国内的数据库厂商竞争激烈，完全实现国产化仍有大量工作需要做。在严格意义上，Oracle、MySQL这几个行业内排名靠前的都是海外产品，要想真正做到国产化仍然面临着各种复杂问题。最基础和最难的，就是要在技术方面做出突破，TDSQL在一定程度上取得了阶段性突破。 国产化意味着最终产品要完全适应我国特有的现实问题和行业需求，例如“双十一”“抢红包”，这是实现数据库国产化必须要面对的难点之一。当然，这个问题的解决也并非一朝一夕，只有当完全摸清过往道路中的泥洼和实际情况，才能在这基础上进行创新，TDSQL作为国产品牌，在这一探索过程中也应承担起相应责任。 2、挑战Oracle的传统业务逻辑 中国互联网产业的发展势必带来数据库需求的增加，腾讯云数据库从最初的开源关系型数据库以解决内部业务高并发问题的技术选型，到利用分布式数据库来满足国内逐渐提升的数据库需求，带来的也是公有云业务的增长。然而公有云业务面临的行业窘境之一是无法满足金融这类具有较高排他性行业的业务需求，私有化又成为腾讯云的业务方向之一。 于是，传统业务逻辑与数据库的矛盾在私有化过程中愈加明显。 追根矛盾，就要再次回溯Oracle，二十世纪九十年代左右开始进入乃至逐渐垄断中国市场，导致那时我国很多传统企业的技术转型都以Oracle为基础，其业务逻辑和技术逻辑相互依赖，简而言之，“企业的核心业务逻辑必须在与之对应的Oracle数据库中执行，二者不可分离”。 进而，国产数据库的另一技术难点出现了，这便是“如何在不需要变动企业原本业务逻辑的情况下将Oracle数据库从中抽离替换”，帮助企业节省许多人力、时间和经验成本。为了满足不同客户的技术选型需求，TDSQL支持多种语法兼容模式，包括开源的MySQL和PostgreSQL引擎，以及传统的Oracle语法引擎。这种多语法兼容能力使得TDSQL能够轻松接入各种现有的业务系统，降低客户的迁移成本和风险。同时，TDSQL还针对TP和AP场景进行了专门的SQL优化，提高了查询性能和数据处理效率。 3、数据库牵头开源社区 腾讯云积极参与开源社区的建设和推动工作，通过将TDSQL的核心代码捐献给开放原子开源基金会并成立OpenTenBase项目，吸引了众多有志学子、开发者和企业的加入。这种开源共建的方式不仅促进了数据库技术的交流和进步，还为客户提供了更加灵活和多样的选择空间。腾讯云将继续深化与同伴的合作关系，共同推动数据库生态的建设和发展，持续参与开源社区的建设和推动工作。 当了解上述内容后，你会发现，国产软件要解决的不单单是技术问题，还要改变Oracle这类厂商留下的运维理念和技术，也就是要通过国产数据库来改变传统企业决策者的思维，这是一件实际做起来比预想还要困难的事情。 数据库厂商们理应常常盯着后视镜，倒退着走向未来，吸取过往经验、接纳过去优势，持续稳定数据库、打消客户疑虑、快速解决问题，靠完整的企业级的售后服务体系做支撑，在数据库国产化进程的篇章中留下浓墨重彩的一笔。毕竟，预言未来最好的方式就是创造未来。 文：离离 / 数据猿 责编：凝视深空 / 数据猿     上一篇：哈尔滨这些老板急招:高铁餐吧乘务员、办公室保洁缝纫工、送货员、司机、店员、饲养员、库管、快递员信息汇总! 下一篇：【浐灞第十六小学】禁毒知识进校园,无毒无忧千万家——西安市浐灞第十六小学禁毒宣传月活动 |
