腾讯云数据库TDSQL ,数据库国产化替代的关键先生
大数据产业创新服务媒体
——聚焦数据 · 改变商业
在某大型银行的总部,该银行CEO王阳与CTO陈晓民坐在一间宽敞的会议室里,面对着一个满是图表和数据的大屏幕,讨论一个关键的挑战:如何用国产数据库来替代Oracle,更好地支撑公司业务的发展。
王阳:"晓民,在2027年前我们必须实现数据库的100%国产化,时间已经不多了,现在进展如何?另外,我们现在的Oracle数据库是否仍能满足业务需求?业务部门经常反映数据库无法支撑他们的需求,尤其是大规模数据的实时处理和分析。我们正处于数字化转型的关键时期,底层IT系统必须能够满足业务创新的需求,不能拖后腿。”
陈晓民:"王总,的确,除了国家政策对国产化的要求,我们的Oracle数据库也越来越难以支撑业务需求。目前,我们的数据库已经达到性能和容量的极限。我们的业务数据不仅容量庞大,而且种类多样,涵盖客户交易记录、风险评估和市场分析数据等多方面。同时,业务部门对实时数据处理和分析能力的要求日益提高,Oracle数据库已经力不从心。而且,如果通过采购更多的Oracle数据库来存储日益膨胀的数据,成本也越来越高,有点吃不消。”
王阳:"那就要着手寻找新的技术解决方案。我们需要一款崭新的数据库,不仅仅替代Oracle,还必须更加强大,以满足未来业务发展的需求。我们不能仅仅达到最低标准,而是要追求卓越。”
以上是模拟的一个场景,但类似的场景其实已经很普遍了。中国企业、机构尤其是党政和金融、能源等核心产业,都有紧迫的数据国产化需求。
中国数据库市场呼唤“新物种”
需要指出的是,我国的数据库国产化还有较长的路需要走。根据2022年9月国资委79号文件,截止到2027年“2+8+N”党政与八大行业要实现数据库的100%国产替代。现在已经2023年了,还有不到四年时间,我们的数据库国产化进展到哪一步了呢?
根据IDC数据,2022年上半年,在国内关系型数据库市场中,Oracle、微软、SAP、IBM份额总和近45%。其中,金融、电信等重点行业,国外数据库份额占比更高,金融领域甚至达到了90%。以Oracle为例,虽然几年前就在提替代Oracle,但其依然占据最大的市场份额。当然,从趋势上看,Oracle、微软、SAP、IBM等国外数据库厂商的市场份额基本都在下降,国产数据库厂商在快速补位。
DBEngine排名
需要指出的是,要完成数据库的100%国产化,是一个非常艰巨的任务,这项任务的难度体现在两个层面:
首先,Oracle等数据库的国产替代并不是那么容易的,这些老牌国际数据库厂商,在语法丰富度、性能、运维以及软硬件生态方面,依然实力雄厚。对于银行、电信等企业而言,保证业务的稳定运行是生命线,国产数据库厂商要替代Oracle,必须证明他们的产品跟Oracle数据库一样可靠。
更进一步,市场并不是静态的,而是处在快速的动态演变进程中,这为数据库的国产化替代带来了更大的难度。中国各行各业正在经历快速的数字化、智能化转型升级,市场本身对数据库也提出了更高的要求。这就像是在高速路上的汽车要换轮胎,不仅不停车就要把轮胎换了,还要换一个更好的轮胎,让安装了新轮胎的汽车可以开的更快更稳。
值得欣喜的是,在市场提出更高要求的同时,数据库产业本身也迎来了难得的变革性机遇。云计算、大数据、人工智能等技术快速发展,也推动了数据库的技术变革。其中,云计算与数据库结合,产生的云数据库,就是数据库的重要发展方向。
那么,云数据库有什么不一样呢?接下来,我们将以腾讯云数据库TDSQL为例,来说明云数据库的特点。
云数据库核心能力:分布式、高性能、高可用
相对于传统本地部署的数据库,云数据库在分布式、高性能、高可用等方面具备显著的技术优势。
1、分布式架构:实现数据强一致性
强一致性确保数据在不同地点之间的同步性,防止了数据不一致性可能引发的业务错误。对于金融、电子商务和医疗等领域的业务完整性至关重要,因为交易和操作的准确性是他们的核心。此外,数据一致性直接影响用户体验,因为不一致的数据可能导致错误或混淆,降低系统的可用性和可靠性。此外,强一致性还与法规合规性密切相关,许多行业法规要求数据的一致性和完整性。
因而,数据一致性问题在云数据库领域至关重要,分布式架构有效地解决了这个问题。强一致性、分布式事务和数据冲突解决等关键技术确保了数据的完整性和一致性。腾讯云TDSQL的分布式架构,不仅增强了数据库系统的性能、可用性和容错性,而且在保证数据一致性方面表现出色。分布式架构将数据库系统分解成多个分布式节点,每个节点可以独立工作,并通过一致性协议(这些协议定义了数据更新的顺序和过程)来确保数据在节点之间的同步,以保持数据的一致性。
2、高性能:多核融合与HTAP架构提升数据库性能
高性能是现代云数据库的关键特征之一,对于处理庞大数据和实时分析至关重要。腾讯云数据库TDSQL通过多核融合和HTAP架构升级、扩展列式存储、向量化分析引擎以及分布式MPP计算等技术手段,显著提升了数据库性能。
多核融合技术充分发挥了现代多核处理器的潜力,通过并行处理、资源优化和负载均衡,加速了数据库查询和事务处理速度。它支持垂直扩展,使数据库能够轻松应对不断增长的工作负载,降低了成本,提高了性能。
HTAP架构升级代表了混合事务/分析处理的发展方向,允许数据库在执行事务处理的同时进行复杂的数据分析,实现实时决策,提高了系统的实时性能和资源共享。
通过这些架构升级,腾讯云数据库TDSQL的性能得到了全面提升。例如,复杂查询效率提升了420倍,OLTP小数据量关联并发能力最高提升25倍,分布式事务优化重构OLTP性能提升20%,通用计算性能提升5倍。此外,TDSQL在TPC-C全量测试中也表现出色,构建了全球最大的分布式数据库集群,性能刷新了世界记录,达到8.14亿 tpmC。
腾讯云数据库TDSQL通过TPCC官方极限性能测试,性能峰值超8亿tpmC
3、高可用:升级容灾能力,保障业务连续性
腾讯云数据库TDSQL在容灾能力和业务连续性方面具有显著的优势,其多地域冗余、异地多活以及备份回档、跨级群回档、闪回等创新技术,为企业提供了强大的安全保障和业务稳定性。
例如,通过多地域冗余,云数据库确保数据的备份和实时同步,即使在一个地点发生故障时,也能够迅速切换到备用系统,保障数据的可用性。弹性资源和自动伸缩使数据库能够根据需求自动分配资源,确保高负载时的可用性。实时监控和警报功能使管理员能够及时发现并应对潜在问题,从而确保业务连续性。这些优势使得TDSQL成为保障企业数据安全和业务连续性的可靠选择,特别适用于对高可用性和容灾能力有高要求的行业。
腾讯云数据库TDSQL的容灾能力同样经受住了TPC-C的严格测试:在1个小时的容灾场景测试,进行了 2 次随机断电物理机器和1次 destroy 腾讯云实例的模拟故障,模拟故障之后,数据库18秒完成HA切换。
4、Oracle兼容
根据IDC的数据,2021年一季度,Oracle数据库在中国市场的份额占比29.5%,在企业级数据库市场更是达到了44.1%。可以说,数据库的国产化替代,很大程度上就是替代Oracle数据库。
然而,数据库往往是企业整个数字化系统的重要基础,替换新的数据库牵一发而动全身。为此,企业在采购国产数据库时,与Oracle数据库的兼容性就是一个重要的考量。只有新数据库跟Oracle数据库高度兼容,才更可能实现平滑替换,避免业务中断。
为此,腾讯云数据库TDSQL以内核兼容为基础,打造从驱动、工具、内核三个层面的Oracle兼容能力,这为企业将核心业务系统从Oracle数据库平滑迁移到TDSQL奠定了坚实的基础:内核层面,TDSQL从内核层面开始,模拟了Oracle数据库的SQL语法、事务管理、索引、触发器等核心功能和行为。通过这种方式,TDSQL能够理解和执行与Oracle兼容的应用程序的SQL查询和操作;驱动和工具层面,TDSQL提供了与Oracle数据库兼容的驱动程序和工具,使企业可以继续使用他们熟悉的开发工具和客户端应用程序。这降低了迁移的复杂性,减少了对员工培训的需求。
目前TDSQL具备高度的Oracle兼容度,可以做到金融行业平均达98%的Oracle数据库和应用可以平滑迁移到TDSQL数据库上来,其他行业兼容度也平均达95%,全量兼容度也再度提升。TDSQL不仅支持Oracle的各种SQL语法,还高度兼容Oracle PL/SQL, 帮助客户尽可能平滑地实现大量的存储过程迁移。此外,TDSQL提供了配套的TMT工具,有效地给出兼容度评估、全量增强迁移和数据校验能力,帮助客户Oracle数据库迁移做到心中有数、迁移后可靠可信。
许多企业长期使用Oracle数据库来支持核心业务系统,高度兼容Oracle意味着企业可以顺畅地将这些关键应用程序从Oracle迁移到TDSQL,无需大规模修改或重新开发代码。这节省了时间和资源,并降低了迁移风险。
腾讯云数据库TDSQL的实际应用案例场景
需要指出的是,数据库是支撑企业数据存储、处理业务的基础设施,因而一个数据库产品最终要能够经受住实际应用检验才行。在实际业务场景中的表现,也是评估一个数据库产品最重要的标准。
接下来,我们将分析腾讯云数据库TDSQL在实际业务场景和真实案例中的表现。
TDSQL可以应用于企业的核心交易场景,提供高并发、高可用、高性能、高安全的能力。此外,TDSQL可为海量数据的OLTP和OLAP混合负载处理场景,提供高并发交易业务和高效复杂查询处理能力。
以某大型国有银行客户为例,该银行正面临数字化转型的挑战,其Oracle数据库系统已无法满足快速增长的业务需求。数据量急剧增加、实时处理需求上升、数据多样性增加、安全性和合规性要求提高,都成为了业务的瓶颈,他们迫切需要一个强大的数据库解决方案来满足这些需求。
为此,该银行将业务系统迁移到腾讯云数据库TDSQL。TDSQL提供多地域冗余和异地多活的5级系统架构,目前已部署1000+服务器节点,确保高可用性和容灾能力。与此同时,他们采用了单元化和微服务的分布式应用架构,结合TDSQL的分布式数据库,以支持业务水平扩展。目前,该银行的核心信用卡、个人负债、智慧保险等关键业务系统都得到了强力支持。
需要指出的是,通过使用数据迁移工具DBbridge和数据库智能运维管理平台DBbrain等工具,可实现这个迁移过程的自动化和运维智能化。例如,支持自动化数据抽取、转换、加载,自动更新应用连接字符串,自动测试应用程序,自动监控性能,设置自动备份和恢复策略。DBbrain提供 7*24 小时数据库性能优化、安全防护、数据库管理的自治服务,各项高阶精准的分析模型,实时图形化汇聚的呈现方式,有效保障数据库服务的安全、 稳定及高效运维。
最终,通过Oracle数据库迁移到云数据库TDSQL,该银行在性能、可用性、成本、运维智能化等多方面都得到了显著的改善:
性能方面,TDSQL能够处理大规模数据的实时需求,确保了低延迟和高吞吐量,提高了用户体验。并且,大部分业务的CPU使用率降低到30%以下,与以前相比,业务指标有了显著的改善;
可用性方面,业务连续性得到了保障,即使在紧急情况下,也能够实现平滑切换,避免了服务中断;
成本方面,TDSQL使用的x86+TDSQL成本比使用大型机及小型机+Oracle+存储成本显著下降;
此外,TDSQL可实现自动备份和恢复、自动扩缩容、自动性能优化、自动故障检测和修复等。例如,TDSQL具备自动检测故障的能力,并能够自动触发故障恢复措施,这减少了停机时间和业务中断,提高了系统的稳定性。自动化运维功能减少了人工干预的需要,降低了运维成本。
数据库领域需要更多的中国智慧和中国力量
正如前面提到的,在中国数据库市场(尤其是金融、电信等核心行业),Oracle、微软、SAP、IBM等国外厂商依然占据主导地位。但从另一个角度看,只要中国数据库厂商能够提供过硬的产品,那数据库国产化替代的市场潜力巨大。
在接下来一段时期,企业原有的数据库产品面临旧设备到期、性能不足等问题,企业的扩容需求、信创替代需求强烈。目前,市场上已经出现了不少腾讯云数据库TDSQL这样的优秀产品,相信用不了几年,中国数据库的国产化替代将得到显著的提升。
需要指出的是,短期来看,是信创政策推动了国产数据库的发展。但是,长期来看,政策的作用有限,根本上还是要靠国产数据库本身的实力来说话。国产数据库厂商应该抓住技术变革机遇,优化产品性能,更好满足企业海量、实时、多源异构数据的处理需求,更好支撑企业的数字化转型升级进程。
国产数据库厂商已取得显著的成绩,但要继续提升并在市场竞争中保持竞争力,有必要在以下几个关键方面持续努力:
1、持续推进技术研发与创新
云数据库技术领域不断进化,国产数据库厂商需要不断投入人力和物力,推动技术的创新和改进。这包括研发更高性能、更安全的数据库引擎,以及积极采纳新兴技术,以应对未来的业务需求。腾讯云数据库在内核分支、云原生数据库、池化资源管理、极致故障转移系统、全链路服务监控、金融级备份恢复等核心技术领域持续投入,不断迭代优化。
2、完善产品及服务生态
云数据库不仅仅是数据库引擎,还涵盖了硬件基础设施、操作系统、安全性、性能优化、监控和管理工具等。国产数据库厂商应全面考虑生态系统,从芯片到上层应用,提供一体化的解决方案,同时提供全方位的售前和售后服务支持,以满足客户多样化的需求。
以腾讯云为例,其构建了从底层芯片、分布式云操作系统,到数据库、大数据、中间件、区块链、人工智能等完备的产品体系,腾讯云数据库TDSQL不仅能够提供高性价比的数据存储服务,还可以与腾讯云上的大数据、人工智能等应用无缝集成,为客户提供高度融合的一体化解决方案。
腾讯云产品体系
3、繁荣国产数据库社区生态
开源社区对于数据库技术的发展至关重要。国产数据库厂商可以积极参与开源社区,与国内外开发者和研究机构合作,共同推动数据库技术的进步。这种合作有助于构建良好的生态系统,促进知识共享和技术交流,为整个行业带来更多的创新。
综上,在数据库技术领域,正在发生着一场前所未有的革命。国产数据库厂商正勇敢迈出坚实的步伐,以应对这个时代的挑战和机遇。他们深刻理解,数据库不再仅仅是企业IT架构中的一个组成部分,而是数字化时代的关键支柱,是业务发展的命脉。
信创政策的引导和推动,为数据库国产化替代市场打开了一扇广阔的窗口。国产数据库厂商紧紧抓住这一机遇,以满足国内企业和机构的需求为己任,实现了从跟随者到领导者的华丽蜕变。他们的产品不仅具备了世界级的性能和可靠性,还在国内外市场上崭露头角。
在技术和市场需求的双重驱动下,腾讯云国产数据库厂商将迎来快速的发展,助力中国企业实现数字化转型,为世界数据库技术的未来发展注入了勃勃生机。我们对中国的数据库产业充满信心,期待着未来更多的创新和突破,为数据时代的繁荣贡献更多中国智慧和力量。
文:月满西楼 / 数据猿