金融数据库分布式改造方案如何选?
长明  2024-06-29 14:42   published in China

文 / 华为存储产品线OceanData解决方案总监 严浩

近年来,在自主创新与多云转型的驱动下,金融行业纷纷启动对传统数据库的改造。在目标数据库的选择上,分布式数据库呼声很高,然而实际落地情况并不理想。据《金融业数据库供应链安全发展报告》统计,分布式数据库在银行业使用占比仅有17.5%,在证券、保险业甚至不到4%,在金融核心场景的规模应用进展缓慢。

什么原因导致了这一现象?诚然,分布式数据库从架构上描绘了一幅美好蓝图,但3个技术层面的原因让金融行业分布式数据库改造还停留在浅尝辄止的水平:

一是可靠性不满足金融行业要求。金融业务重要性非比寻常,业务中断、数据丢失都会造成不可估量的损失。分布式数据库大多采用存算一体架构,服务器既提供计算资源,又要负责数据存储。由于服务器易故障,故障后业务中断和数据丢失同时发生,可谓是雪上加霜。当前,分布式数据库普遍通过多数据副本提高可靠性,但新问题接踵而至:多个副本间必须保持严格一致性,那么数据库性能势必受到影响;如果不严格一致,又可能出现数据丢失的情况。

二是性能与传统数据库差距过大。当前,分布式数据库的单机性能较差,所以才需要将过去的一个数据库拆分成多个数据库,依靠并发优势去提升性能。但传统业务数据量大,库表结构复杂,很难做到完美改造。此外,业务高峰期时,局部数据库访问量过大容易导致阻塞,从而使整个系统瘫痪。

三是改造成本过高,运维管理困难。分库分表改造是一个系统性工程,涉及应用的同步修改,费时费力;服务器和硬盘数量大增,改造成本很高。此外,不像专业存储能够提供良好的硬盘健康管理能力,服务器故障的风险往往需要运维人员来承担。更可怕的是,这种故障往往会连续出现,永远不知道哪一块盘会成为引发蝴蝶效应的“黑天鹅”。

基于以上原因,分布式数据库在金融行业始终难有突破。那么,破局之道在哪里?纵观IT行业发展,针对功能问题时,业界常通过软件开发来解决;针对稳定性和性能问题,则常常通过硬件技术革新来突破。分布式数据库当前面临的问题,归根结底是存算一体架构下,服务器硬件可靠性不足造成的。仅仅依靠多副本、分库分表这些软件层面的方案,无法彻底解决问题,提升硬件能力才是关键。因此,将分布式数据库升级为存算分离架构,由更加可靠的专业存储来保存数据,可以从根本上解决分布式数据库的可靠性问题。

首先,在存算分离架构下,数据被存放在高可靠的专业存储中,即使服务器损坏数据也不会丢失,因此多副本也没有存在的必要了,副本间的数据同步自然也不复存在,可以很好地解决分布式数据库的性能问题。其次,存储资源利用率的提升,也使硬盘数量大幅减少,再通过专业存储进行硬盘健康管理,可以更好地消除系统风险。再次,存算分离架构下计算与存储资源解绑,容量和算力分别按需扩展,可以从源头上减少服务器数量,从而降低采购与管理成本。

分库分表一直是使用分布式数据库的一大难题。从本质上讲,分库分表可以通过数据的分布式部署来弥补系统整体的可靠性与性能损失,但代价是改造成本高昂。其实,通过提升数据库单库性能、降低单机故障后的系统风险,是可以避免分库分表的。例如,Oracle数据库就通过存算分离架构保障了数据层高可用,允许服务器访问共享数据,并通过ASM(Automatic Storage Management,自动存储管理)实现了缓存区数据的共享访问,多个服务器可同时访问一个数据库,解决了单库性能和连续性的问题。无独有偶,华为OceanData分布式数据库存储解决方案,采用自研参天数据库加速引擎,也实现了存算分离架构下数据库服务器间的缓存共享,再加之OceanStor Dorado高性能全闪存存储加持,多个分布式数据库实例可以同时读写一个库并各自处理事务,使得数据库整体性能大幅提升。通过存算分离架构,分布式数据库可以达到高性能、高可靠,并大幅降低企业的使用门槛与成本。

华为OceanData分布式数据库存储解决方案正在积极适配多种应用场景。在核心应用场景,华为打造了GaussDB与OceanStor Dorado的联合方案,利用存储双活确保数据完整复制到容灾站点,工作站点性能不受影响,助力GaussDB实现工作站点和容灾站点的双集群容灾,满足金融核心级业务要求,在某国有大行的核心业务落地商用;在互联网应用场景,华为通过存算分离架构和自研容器存储解决方案,实现服务器故障、存储故障和站点故障后的容器应用可快速恢复,并和MySQL数据库共同打造优秀实践,在西南某城商行取得落地。

华为OceanData分布式数据库存储解决方案,以专业存储之力,助力分布式数据库改造更省心、更放心!面向未来,华为存储将与行业伙伴持续深化创新合作,推动数据库存算分离创新升级,全面提升性能、可靠性和可管理性,共同促进分布式数据库在金融行业的规模应用。

免责声明:文章内容和观点仅代表作者本人观点,供读者思想碰撞与技术交流参考,不作为华为公司产品与技术的官方依据。如需了解华为公司产品与技术详情,请访问产品与技术介绍页面或咨询华为公司人员。


Replies(
Sort By   
Reply
Reply
Post
Post title
Industry classification
Scene classification
Post source
Send Language Version
You can switch languages and verify the correctness of the translation in your personal center.
Contribute
Article title
Article category
Send Language Version
You can switch languages and verify the correctness of the translation in your personal center.