金融科技产业联盟-金融开放平台数据库转型白皮书-2023

金融开放平台数据库转型白皮书2023年09月2 1 1 2 3 (四)转型挑战 4 6 6 7 8 8 82、业务流量变化大的业务 83、可用性要求高的业务 8 9(二)国产化数据库技术路线分析 9 2、分布式 2、高可用容灾 20 4、运维方案规划设计 24 25 25 (四)上线割接 1、割接演练 28 29 1、运维保障 (六)风险防范 2、路径上先外围后核心 3、漏洞及安全 32(一)现状(GRAM应用?) (三)路径选择 2.分布式改造 2.部署架构选型 (五)迁移和同步，单/并轨 38 401.待工行补充实践 40 40 41 41 41 42 42 42 43 4 45 12数据来源：金融信息化研究所图3金融业集中式数据库占比情况示意图图3FC网络 计算层部署多个无状态0racle实例(RAC),通过缓存融合技术(C4大，大量基于Oracle数据库的应用面临数据库国产化转型的压力日益增大，而大型业务应用的0racle数据库具有请求峰值大、数据量以工行为例，目前使用0racle数据库的总行应用接近200个，其中AB类应用超过90个，合计使用了超过36类Oracle对象、24类基础数据类型、166个系统内置函数、67个系统高级包和168个系统视图，存储过程总行数超过2亿，数据库对象总数量超过3000(四)转型挑战567试),怎么选(按场景目标架构以集中式+分布式集中式为主)8应用9关系分为SharedStorage/ShareNothing/Sh本文的集中式数据库的共同特点是，数据库访问同一份数据(或数据副本),数据集中存储在一起。从使用体验上看，应用看到的数传统集中式数据库包括主备HA,主备多副本，共享存储多写等架构，在去0过程中，出现了一些引入分布式技术或从分布式数据库(1)传统集中式外置存储只读/异步读写只读/异步12(2)精简模式主实例备实例备实例存储(可选)(1)分布式中间件中间件分布式中间件架构由分布式中间件+单体数据库组成。分布式中间件实现数据的路由、分布式事务等操作，单体数据库多为单个集中式数据库。(2)原生分布式数据库原生分布式数据库DN1主Rafn原生分布式数据库由分布式事务调度管理和数据库引擎等组成，通过分布式一致性协议保障副本数据一致性。相对分布式路由架构对acle、SQLServer到开源数据库My制约系统性能容量综合使用成本图6数据库综合使用成本示意图点级/园区级异常故障场景下保证数据服务可用性，还需充分考虑新(一)规划设计(1)规划设计原则(2)数据库规划业务特征支撑能力是是sQL使用量基本未用不影响西通过存算分离架构和企业全闪存储，数据库可支持>10T存储容服务器日志复制集中式存储RoCE网络集中式存储服务器本地盘(3)业务改造规划数据库驱动(jdbc、python等)替换、数据库工具(客户端、(1)迁移评估(2)迁移规划设计(停机)或全量+增量(在线)。(3)迁移实施(4)迁移验收能测试互补，完成真正的E2E测试。(三)数据迁移(1)全量数据迁移自带的数据导出和导入工具，如Oracle的数据泵，这种方式比较高源库●不同数据库提供了不同的数据导出/导入接口，如pg的copy接口可以把数据导出成csv格式，也可以把csv格式的数据导入到pg库。(2)增量数据迁移目标库目标库(3)全量+增量迁移接，如0racle数据库提供了scn点机制，可以在进行全量迁移的时候指定scn,当全量迁移完成后，再指定scn去进行增量同步。目标库(1)割接要求(2)割接演练1)先中断业务(如果业务负载非常轻，也可以尝试不中断业3)监控数据同步时延是否为0,若为0则必须稳定保持一段(1)数据库巡检(2)数据库管理(3)数据库监控(一)现状(GRAM应用?)36类Oracle对象、24类基础数据类型、166个系统内置函数、67前期工具自动化转换率只有70%,改造改造成本非常高。数据同步挑战大：大型业务系统高峰期超过300G/小时数据归档1.原位替换，平滑迁移业务占70%以上。2.分布式改造这类业务总量不到30%。(四)方案规划1.精简模式性能、容量和高可用能力增强容量在10T以内，无法满足大型业务系统Oracle数据库10T以上的案，对GaussDB承载大型业务系统Oracle数据库转型的多集群方案信贷应用控期部腔测a应用(备)容灾集群步，形成了GaussDB多中心多活的部署方案，实现了同城园区级和R2、通过存算分离架构+华为Dorado集中式全闪存储，突破了GaussDB数据库10T存储限制，增强了本地数据可靠性，具备了承接大3、采用业界通用的TPC-C关系型数据库性能测试模型对GaussD性能呈现线性增长的趋势，在物理服务器CPU资源使用率为60-70%时，TPMC达到68万(约2.5万TPS),具备了承接大型业务系统0racle数据库转型的性能基础，满足平台核心和应用性能需2.部署架构选型精简模式部署(70%)分布式部署(30%)(重要)35片台其号301地住Du(非重)2381对7申st9不同数据库版本，支持业务不中断灰度升级，用于要求最高的5级及5+级业务但不支持故障隔离和灰度升级，用于3-4级业务(五)迁移和同步，单/并轨2.应用各类型Oracle对象语法转换成功率平均为96.69%3.应用各类型0racle对象平均编译通过率为99%4.存储过程手工修改率为1.25%,平台核心的数据库代码涉及1688个修改点，每个修改点平均约修改10行。整体修改代码约16880行，修改率2.11%。5.平台核心各类型0racle对象语法转换成功率平均为99.05%6.平台核心各类型Oracle对象平均编译通过率为98.23%,7.平台核心应用存储过程手工修改率为1.65%,平台核心的数据库代码近199万行，涉及1642个修改点，每个修改点平均约修改10行。整体修改代码约16420行，修改率0.83%。2.提升异构数据库数据迁移工具能力参照Oracle原有的UTPlugin自动化测试工具，基于W行自动化案例97个(其中35个核心功能批量),案例执行率和通基于存储过程比对、存储过程分支比对和SQL语句对比研发自动每个案例对应一个存过；二期测试针对Gram应用所有存储过程的所有分支，比对测试工具自动生成57947个案例，每个案例对应一个分支；三期测试针对Gram应用中涉及到转换对象的SQL语句，比对测测试人力，为Oracle应用迁移提供自动化验证方案。研发通过打桩方式统计存储过程测试覆盖率的工具，结合比对测试工具，Gram应用存储过程的测试覆盖率100%,分支覆盖率75%,达到了预期的覆盖目标，有效解决了测试过程中测试覆盖率统计问通过技术攻关研发了交易录放工具，通过抓取0racle数据库的流量抓取：通过在交换机上配置端口镜像，使用旁路模式把0ra信息，以json格式存储到ElasticSearch中。(七)运维1.待工行补充实践1.提升GaussDB性能容量及高可用能力2.提升异构数据库数据复制工具的数据同步能力通过技术攻关最终实现300G/小时的增量数据同步，解决了大型业务系统Oracle数据库转型后的双向数据同步问题，降低了应用迁成GaussDB数据库对象，转换正确率和编译通过均达到95%以上，为证方面，研发流量回放工具，抓取0racle数据库运行的SQL在Gaus“来源：华为云GaussDB数据库(二)基于内存池的HTAP,释放软硬协同的潜能断领针扣断领针扣生命周期管理性能趋劳预支律基础ExplorationCleanlng