谢茜茜|某省级城商行 高级工程师
【摘要】为进一步提高中小城商行备份管理,实现信创系统备份对象全覆盖、备份数据高可靠、备份恢复高效率的目标,本文将从信创数据备份建设的难点、架构路线选型、交易系统信创数据备份的架构设计及落地等几个方面介绍我行国产化备份平台建设的实战经验,以期为同行提供参考。
随着云计算、大数据等新技术的应用,相关业务数据量爆炸式增长,尤其是非结构化数据正快速成为数据增长的主力,传统基于结构化数据为主的备份模式难以满足新变化、新需求。与此同时,国产化、自主化操作系统及数据库产品已在逐步推广应用,而传统备份系统对国产化、自主化的操作系统和数据库缺乏支撑。对于此类数据的备份和管理,需要进行系统性研究和设计,以弥补备份体系缺陷,从而对数据保障能力提出了更高的要求。
一、交易系统信创数据备份建设现状分析
在备份介质方面,银行交易系统备份经历了物理带库到虚拟带库,再向备份一体机演进的发展阶段。虚拟带库利用磁盘作为介质,模拟物理带库。相较物理带库,提升了数据备份和恢复效率。基于专业备份存储的备份一体机则将磁盘、集中备份软件服务器及相应网络设备集成在一起,并增强重复数据删除等备份技术,进一步提升了备份的经济性和可维护性。
当前城商行备份体系基本上实现了集中管理模式。由于部分系统和备份对象的多样性,少部分数据库、云平台、大数据等未纳入集中备份管理。在备份介质上,主流系统还是采用备份软件+物理带库或磁盘阵列结合的方式进行备份。在未建设国产备份平台之前,我行的交易系统备份现状如下:
1、 现有备份软件使用情况
以我行为例,与其他中小城商行类似,在过去的十几年里,主要采用国外主流的集中备份软件(如TSM、Veritas),建设了多个备份域,对所有结构化及非结构化数据进行本地集中备份,每日备份数据高峰15TB(15806GB),平均4TB(4120GB),记录文件合计约12亿个。以下是我行备份域规划和使用情况:
2、 备份对象和规模
目前我行的备份对象具体为:结构化数据和非结构化数据。备份数据保存时间为1周至1年不等。备份对象数量繁多,现有备份作业已有200个以上,集中于夜晚进行备份。由于备份对象范围的不同,备份数据量差异性比较大,单业务数据量最少GB级,最多则达到了TB级。
3、交易系统全备份及恢复时间
我行业务系统中,目前已备份的结构化数据为DB2数据居多,已备份的DB2中最大的的单数据库几十TB,单个备份作业的备份时间每天开销几个小时左右,由于一直未做过恢复演练,恢复时间未知。目前已备份的非结构化数据主要为海量小文件,从几KB到几十MB左右不等。由于文件数量多,备份效率一直都不高。由于一直未做过恢复演练,恢复时间未知。
4、备份介质和网络
我行备份系统目前主要采用磁带机、物理带库和磁盘阵列。网络主要采用专用网(LAN FREE)和混合网(LAN)的方式,结构化数据采用专用网架构较为普遍。
5、交易系统备份需求细化
我行主要交易系统备份需求如下:
二、交易系统信创数据备份建设问题及难点分析
1、备份对象没有完全覆盖
基于目前集中存储备份域的调研,针对于结构化数据和非结构化数据均存在备份对象覆盖不全面的情况,未能实现整体性的全面保护,且不支持国产环境备份。因此在进行交易系统信创数据备份建设时,最大的难点就在于如何实现全系统、全类型数据备份。
2、备份恢复效率低
随着各业务系统数据量变得越来越大,备份作业越来越多,而且增长速度越来越快,业务数据都达TB以上级别,备份恢复效率无法满足业务恢复时效性要求。因此,如何提升大数据量备份(大数据、数据仓库、数据集市、数据湖等)和海量非结构化数据备份的效率是交易系统信创数据备份建设亟需解决的问题。
3、备份数据恢复验证难
由于各业务系统软件平台存在差异,恢复演练时要具备不同的环境,硬件资源不足,投入成本高。当前我行在数据恢复验证时需花大量时间搭建基础环境,严重影响恢复效率,目前还未实质性开展备份数据恢复演练和验证工作。因此交易系统信创数据备份建设时,需要着重考虑数据快速恢复的问题,对备份数据进行周期性高效恢复演练,确保备份副本的可靠性。
4、缺乏统计分析和对比
目前基本都将重要数据库和部分非结构化数据纳入备份体系,但都存在缺少对备份数据的分析和对比的手段,难以对备份的历史数据增长趋势开展分析和预测。未来的备份系统不仅是保障数据安全的要求,更需提供数据服务能力和业务创新支撑。
三、交易系统信创数据备份的架构路线选型
现行信创备份平台主要有纯备份软件和软件+专用备份硬件两种架构路线,这两种架构路线各有优劣势,下面将具体阐释。
1、纯备份软件技术架构
纯备份软件技术架构是软硬件分离部署,将备份软件安装至通用服务器端(信创非信创皆可),实现常规操作系统、文件系统、数据库备份和恢复,并通过软件实现重删压缩和备份恢复管理,备份数据最终落到服务器本地盘组成的分布式存储、块存储或外置存储中,需要进带库的数据可以通过D2D2T或D2T的方式入库(需要备份软件支持)。
架构如下图所示:
这种架构的优劣势如下:
优势:
(1)降本增效,减少物理机资源投入,可虚机部署或者利旧服务器部署;
(2)扩容灵活度高,在物理机资源充足的情况下,仅需扩容软件授权;
(3)兼容性高,可同时使用不同厂商的硬件资源。
劣势:
(1)实施难度大,需要安排实施所需物理资源、环境等各种复杂工作;
(2)归档、复制、备份均通过备份软件转发,软件容易成为性能瓶颈;
(3)维护成本高,不利于维护,备份软件、物理机之间容易带来高额维护成本。
2、 软件+专用备份硬件技术架构
软件+专用备份硬件技术架构是从硬件层弥补了信创备份平台的不足,主要有两种实现方式:一是使用备份一体机,软硬件一体集中部署,设备到现场之后开箱即用;二是备份软件单独部署,存储层采用专用备份硬件设备,相当于计算存储分离,实现半一体化,有些备份存储也可以在存储层实现备份数据统一纳管。
架构如下图所示:
这种架构的优劣势如下:
优势:
(1)扩容灵活度更高,既支持横向扩展又支持纵向扩展,纯备份软件部署架构的只支持服务器横向扩展;
(2)硬件可靠性和密度的提升,2U节点具备2台以上服务器设备的可靠性,控制器之间的处理是Active-Active,1个节点2PB容量相当于服务器的4-5台设备;
(3)存储池统一管理,存放介质灵活配置,可根据不同的备份场景选择不同性能的磁盘介质,比如SSD+SAS HDD+SATA HDD多种磁盘,可实现硬件级重删压缩、灾备管理,副本数据的合成速度、读写效率都比软件层实现更快;
(4)存储硬件级WORM功能防勒索,WORM一次写多次读特性,备份数据存放后不能更改,具备防勒索功能;
(5)基于专用备份硬件底座,对备份业务做了端到端优化;
(6)可同时提供NAS空间和一体化备份能力,帮助业务平滑迁移。
劣势:
(1)与纯备份软件部署相比,价格成本高。
四、交易系统信创数据备份架构设计
交易类系统信创数据备份架构设计主要包括数据架构设计和业务架构设计。
1、数据架构设计
业务数据包括在线备份数据、近线备份数据、离线备份数据以及恢复演练数据,下面将针对备份技术与备份介质选择进行设计和评估。
除技术对比外,针对介质选型也进行了详细对比,如下表所示:
综上所述,在线备份适合使用块存储介质,近线备份适合使用备份一体机或对象存储,离线备份适合使用云存储或蓝光光盘介质。
2、业务架构设计
中小城商行交易系统信创备份平台业务架构包括备份软件、备份对象、备份管理控制、数据服务、备份数据格式、备份介质六个部分。
备份软件应具备数据重删、数据可用性校验、数据归档、备份策略管理、备份数据检索、安全访问、备份服务目录管理等业务功能。备份服务目录具备将业务需求转化为技术指标,评估备份工作结果是否达到预期目标,从而进一步指导备份工作。
备份对象包括文件(音视频、邮件、日志)、数据库、虚拟机、时序数据库、操作系统及应用程序、分布式存储文件、分布数数据库、配置管理数据、大数据等结构化和非结构化数据。
备份管理控制包括监控、分析和报告等功能,监控备份系统总体运行状态(CPU、内存)、备份进程运行状态、备份作业结果状态等,对备份容量分析和预测,分析备份策略是否合理、网络带宽是否满足等等,形成最终分析报告。
数据服务包括数据恢复演练、数据迁移和测试等业务,测试系统数据的完整性,提升运维人员的应急响应水平和快速处置能力。
备份数据格式包括块、文件、对象三种结构形式。备份介质包括光盘、带库、一体机、SAN存储、分布式存储、闪存等。如下图所示:
五、交易系统信创数据备份实践经验
我行为中小城商行,在进行信创数据备份平台选型时,不仅要求数据备份平台具备高扩展性和广泛的生态能力(特别是信创生态),满足IT技术持续创新演进的需求,还要保护现有投资纳管传统应用、分布式数据库和大数据平台,最终实现一套备份架构解决传统生态与新生态并行问题。基于此,我行采取了自底向上,先并行后整合统一的备份建设路径,主要分为以下两个阶段:
1、并行运行阶段
在并行运行阶段,原有IOE系统保持TSM备份,新建的国产交易系统,采用新建的信创备份平台进行备份;底层备份存储池统一管理,数据和硬件资源整合,高效利用资源,同时提供一部分空间给传统备份系统,标准NAS接口,实现传统应用传统软件保护,新兴应用新建备份系统保护,并行管理。我行采用了备份软件+专业备份存储的架构,在并行运行阶段落地了交易系统信创备份平台。具体架构如下:
该平台以国产化存储(华为OceanProtect X8000)为底座,主要以Lan-free、永久增量备份、合成备份、挂载恢复等灾备新技术为基础模块,以缩短备份时间窗口,提升备份恢复效率和数据验证的效率为建设目标。
通过信创备份平台和现有TSM并行方式,既可解决国产交易系统业务数据的有效备份与恢复,满足监管要求,同时在并行期内,又可逐步的完成历史备份数据的平滑迁移和转换,保护我行前期投资,实现国产和非国产业务数据备份的全生命周期的管理。实现思路如下图所示:
2、整体保护阶段
整体保护阶段将实现全系统统一备份平台管理。随着传统平台软硬件过保,生产平台整体替换,统一切换到新的平台上来。新建的信创数据备份系统随着老系统的自然退出,逐步接管原有备份系统能力和备份空间。对于确需长时间保存的数据,如需恢复,可保留原有备份软件设备,仅用于定期测试和恢复历史数据使用。
3、交易系统信创备份平台建设收益及总结
该项目建设并运行以来,覆盖了我行所有已上线的国产业务系统,包括部分交易类业务系统和重要管理类系统(主要是国产数据库备份)。一是通过永久增量备份技术,解决了长久以来大容量数据库备份窗口时间长的问题;二是通过快速挂载技术,解决了恢复效率慢的问题;三是通过副本管理技术,在数据脱敏后,可快速恢复出多个与生产环境一样的测试平台,大大提高了开发测试中心的测试效率。具体实现以下收益:
(1) 满足国产应用备份诉求
能够实现包括国产操作系统银河麒麟V10的数据备份与恢复、基于海光/鲲鹏硬件平台的KVM虚拟化平台备份、传统Windows、Linux和AIX操作系统备份、DB2及Oracle数据库的备份等。
(2) 核心数据库快速恢复
在备份与恢复的基础上,采用挂载恢复备份技术(CDM)实现重要业务系统数据的分钟级快速恢复,包括交易系统DB2和Oracle数据库的分钟级快速挂载恢复,提升资源有效利用。
(3) 统一备份存储底座
存储后端实现统一的磁盘备份加速,重删压缩提升可用空间,分级到物理带库、分布式对象存储等多种存储方式。
(4) 从硬件层保障安全
通过存储资源池统一纳管,实现了硬件层级数据安全,主要包括存储层WORM防篡改、安全快照,加密存储,以及备份链路安全、用户数据安全、平台架构安全等。
最后,总结我行在数据备份国产化替换的5个词:统一备份底座,一池两用,增强安全,稳步进化,降本增效。通过一套备份系统数据共存的方式,实现新老应用备份衔接,新老系统更替演进,保障数据安全备份和高效恢复,尝试副本利用新兴技术,实现空间复用,达到降本增效的目的。
*本文收录于《话数》用户专刊第2期
原文链接:https://www.oceanclub.org/cn/discuss/info/3775