易鲸捷国产数据库在银行核心系统的应用

易鲸捷国产数据库在银行核心系统中的应用实战技术创新，变革未来数据库技术发展趋势分析12易鲸捷数据库架构简述目录CONTENTS3银行核心业务应用实战国内厂商大举进军数据库市场产+学+研开源技术、成熟社区企业+高校+政府投资由无到有基础信息安全核心电子器件、高端通用芯片及基础软件产品传统厂

商①互 联 网②科技公

司③初创公

司④应用厂

商⑤以技术创新推动产业发展大量应用系统厂商开始布局数据库产品研发informixDB2PostgreSQLNonStop

SQLSQL

ServerGreenplumverticaHadoop，HbaseMongoDB，RedisElasticsearch、SolrNeo4j，JanusGraphTeradataMysqlGE-IDSIBM-IMSIngresIBMSystem

R1961 1968 1973 1974Oracle1977 1981 1983 1986 1987 1988 1992 19952003200620072015易鲸捷孕育、诞生发展、成熟多架构演进InfluxDB、OpenTSDB201020131976年，JimGray发表了《Granularityof

Locksand

Degreesof

Consistencyinashared

database》1970年，Edgar

F.

Codd发表了《

大型共享数据库数据的关系模型》互联网

崛起大 数 据爆 发分布式No

SQL数据库KV存储格式非结构化数据Scale-Out海量数据开源弱事务性传统集中式关系型数据库以“表”为单位结构化数据Scale-Up数据规范化事务性ACID分布式关系型数据库大数据场景关系型标准Scale-Out高性能SQL引擎ACID国产厂商进军数据库华为中兴阿里腾讯数据库历史与发展趋势2019数据库历史与发展趋势2014年Gartner的一份报告中使用混合事务分析处理(HTAP)一词描述新型的应用程序框架，以打破OLTP和OLAP之间的隔阂，既可以应用于事务型数据库场景，亦可以应用于分析型数据库场景。支持实时业务决策。这种架构具有显而易见的优势：不但避免了繁琐且昂贵的ETL操作，而且可以更快地对最新数据进行分析。这种快速分析数据的能力将成为未来企业的核心竞争力之一。HTAPHybrid

Transaction

and

AnalyticalProcess，混合事务和分析处理OLTP HTAP OLAP海量存储大数据分析OLTP核心交易处理OLAP高性能分析非结构化数据存储、查询HTAP新一代 融合型分布式数据库技术技术创新

“换道超车”，以分布式架构实现对金融核心交易系统提供支撑能力。金融核心交易能力仅需对接一个数据库厂商，维护一个数据库专家团队，使用统一的开发框架，降低项目开发周期与综合成本。综合成本降低四合一的数据处理能力，去除传统IT架构中，数据库软件能力边界狭窄，对业务功能产生的限制。突破服务“同质化”支持高并发的数据采集，同时海量数据分析能力，突破传统IT架构数据迁移成本，实时数据分析。实时分析易鲸捷以分布式融合技术，开创数据库发展新纪元数据库技术发展趋势分析12易鲸捷数据库架构简述3银行核心业务应用实战目录CONTENTS易鲸捷信息技术有限公司数据库核心研发经验核心研发人员是来自HP的整建制大数据研发团队，曾创建、参与研发了NonStop

SQL、Neoview、SeaQuest等先进的数据库产品。30年23%政府投资占比易鲸捷是贵州大数据综合试验区致力于数据库研发的重点企业，贵州各级政府投资占股约23%，是不折不扣的混合所有制企业易鲸捷信息技术有限公司成立于2015年，总部设在贵州，并成立北京分公司和上海分公司，在贵阳、北京、上海三地均设有研发中心，各地具备完整的技术支持服务团队。易鲸捷是一家服务于全球市场的数据库软件研发公司，已经成功进入金融、电信、能源、互联网等重要行业，提供数据库技术支撑服务；贵阳北京上海三地研发中心与完整技术服务团队易鲸捷产品架构——

Apache

基金会开源版顶级项目，供技术学习与探索2018年1月，由易鲸捷公司贡献的开源数据库Trafodion，在Apache社区成功毕业成为顶级项目，是一款具备高并发事务处理能力的分布式数据库，证明易鲸捷的研发能力已经得到世界权威技术机构的认可。Migration数据迁移工具KafkaCDC数据同步工具Designer数据开发工具DBmanager数据库管理工具产品名称定义增强功能面向业务场景QianBase金融高级版事务能力增强Oracle语法兼容99%金融核心交易系统金融级事务需求的其他业务场景EsgynDB企业基础版分布式融合能力OLTP+OLAP+海量存储+非结构化数据海量数据分析、查询，非结构化数据存储高并发数据采集与实时分析的HTAP融合型业务智能融合计算引擎数据库

主执行器智能编译优化器事务管理器子执行器行存储表列存储表列存储表易鲸捷数据库技术架构分 布 式 文 件 系 统OLAP

并发执行子执行器子执行器子执行器OLTP操作OLAP

并发执行多租户资源管理器无论是高并发的交易处理，还是海量数据分析业务，用户都可以通过一种数据库架构提供支撑。数据库内部会通过“智能优化器”自动识别不同类型的SQL，分配合适的执行策略，保证任何业务都能快速、高效的进行响应。同时通过事务管理器与资源管理器配合，保证事务的一致性，不同用户之间的计算任务资源隔离。高并发事务处理业务 海量数据分析业务 混合实时分析业务ODBCJDBC驱动程序/数据库连接服务原生分布式并行计算设计应用系统Node

1Node

2Node

3Node

4MXOSRVR主执行器DTM事务管理器存储

层TRX事务日志CMP编译器ES

PES

PES

PES

P计算

层MXOSRVR主执行器DTM事务管理器存储

层TRX事务日志CMP编译器ES

PES

PES

PES

P计算

层MXOSRVR主执行器DTM事务管理器存储

层TRX事务日志CMP编译器ES

PES

PES

PES

P计算

层MXOSRVR主执行器DTM事务管理器存储

层TRX事务日志CMP编译器ES

PES

PES

PES

P计算

层虚拟IP

原生分布式：完全扁平化架构负载均衡：数据库内部实现高可用：涉及所有功能组件Dcs-master 连接

层Dcs-serverDcs-masterDcs-server连接

层Dcs-master 连接

层Dcs-serverDcs-server连接

层完全透明的数据分片大表进行分片存储表A 表

BSalt

keySalting

/

分区

(随机,

范围分区,

…)GDCEFGEF按主键排序分散到集群小表不分片BAC含有多个列的集群主键自动数据分布，无需分库分表对业务完全透明、无侵入易鲸捷数据库数据分片结构Datanode

02Datanode

03Datanode

0416543Datanode

012164531264325第一副本第二副本第三副本RegionServerRegionMemStoreStoreFileHfileStoreLogHfileStore

MemStoreStoreFile……DFSclient12345

6Data

BlockRegionServerRegionMemStoreStoreFileHfileStoreHfileStore

MemStoreStoreFile……DFSclientData

Block…存储引擎分布式文件系统性能保障：Memstore

+

Hlog

即为写成功;数据均衡：以“数据块”为单位，均匀的分布存储到集群中，对应用ogL 完全透明;数据安全：多副本跨节点、跨机柜分布，保证数据安全，硬件故障容灾,保证业务连续性;易鲸捷数据库技术特性兼容Oracle语法支持标准SQL92/99、2003

OLAP分析函数，兼容90%以上的Oracle操作语法。

易用 可视化工具提供一键迁移工具，可视化运维管理工具。扁平化架构，无主设计无需配置单独的管理节点、事务节点，支持无限扩展，不存在性能瓶颈，内部负载均衡，无需LVS/F5等

原生 完全自主研发计算引擎不依赖Mysql、PostgreSQL等任何开源技术。数据分区自维护以分布式架构实现技术创新、思维创新，无需维护复杂的分区表，降低开发、运维工作量。

透明 数据分布透明无需用户设置复杂的数据分布策略，减少人为操作造成的性能影响。打破业务“同质化”困局去除传统IT架构中，数据库软件能力对业务功能的限制。

融合 HTAP四合一融合能力应用仅需连接一个计算引擎。即获得核心交易、分析查询、大数据，以及影像数据存储能力。同城双活两中心双写双读，RPO为0，支持异步复制、两地三中心灾备。

安全

多副本，高可用支持跨机柜故障容错，并行备份，基于时间点的恢复，数据全局一致性。易鲸捷数据库生态认证数据库技术发展趋势分析12易鲸捷数据库架构简述3银行核心业务应用实战目录CONTENTS贵阳银行核心交易系统‘沙箱’

项目-国产数据库银行核心交易应用验证以QianBase为支撑，构建新核心“沙箱”系统，开发报文转换器，将核心系统报文同步到新核心，100%并行执行现有银行核心业务；验证易鲸捷分布式数据库在银行核心交易系统稳定性、准确性、性能是否达标。构建沙箱1Qianbase与Oracle并行支撑，通过报文转换平台能够秒级切换；初期以Oracle为主库，Qianbase为备库运行；稳定运行后，进行切换，Qianbase为主库，Oracle为备库；在运行一段时间之后，进行Oracle下线，实现易鲸捷数据库替换。双库运行2实现全行业务系统基于易鲸捷分布式数据库的落地支撑。全面支撑3核心系统-“沙箱”系统并行解决方案切换双库并行-对原核心业务系统“零”影响的“沙箱”验证方案现核心业务系

统ADR报文表新核心应用系统新核心应用系统新核心应用系统新核心应用系统硬件负载均衡-F5QianBase易鲸捷分布式数

据库报文转换平台新核心

“沙箱”系统原核心系统新核心应用系统新核心应用系统新核心应用系统新核心应用系统硬件负载均衡-F5QianBase易鲸捷分布式数

据库新核心

“同城灾备中心”同

城

双

活

前置系统

图

形

前

端

Json报文Xml报文原核心系统数据库采发追核补控支持varchar*varchar，字符串类型的数值计算；支持systimestamp(n)；支持listagg()

within

group

()over()语法；支持order

by

..nullsfirst/last语法；支持oracle

to_char(xxx,‘99999999999999.99’)及相关语法；支持to_date('17-07-2018

09:44:57.196000',

'dd-mm-yyyy

hh24:mi:ss.ff’)及相关语法；支持to_char(,‘hh24miss’)

，to_char(,‘hh24missffn’)，to_char(,‘ff‘)等语法项目实施358天； 研发投入50

人； 功能兼容超过460次；从数据库层面对应用兼容，完成99%

Oracle操作语法兼容对象兼容：存储过程、触发器、函数、外键、序列…函数兼容:

to_date/listagg/sys_guid/正则表达式…语法兼容：Connect

By层次查询、For

update…关键字兼容：rownum、rowed…事务隔离级别兼容：Read

committed、Repeatable

Read锁支持：分布式锁、悲观锁、表锁、region锁、行锁项目实施过程项目实施成果2

0

20

年

4

月

1

日，

贵

阳

银

行核

心

交

易

系

统

“

沙箱

”

项

目

正

式上

线

运

行沙箱系统将交易平均耗时从500毫秒降低到200多毫秒，联机实时交易处理效率比行方现有核心高3倍以上，批量业务处理效率比行方现核心高2倍以上，充分验证了易鲸捷数据库在核心系统的技术能力。运行情况稳定运行超过200天自2020年4月1日，项目正式上线，稳定运行至今，未出现任何故障。200天交易成功率达到99.999%自选项上线后，系统保持稳定，交易成功率满足实际业务需求.99.999%交易准确率达到100%新核心QianBase数据库，所有数据处理与原核心系统保证完全一致。100%核心系统账户数近2000万贵阳银行总资产规模达到5600亿，在2019年末全国城商行中排名第八。2000万新核心系统非功能性指标（性能、稳定性）交易名称交易配比平均响应时间(秒)平均TPS(笔/秒)成功率1账户信息查询30.00%0.209399.313100%2通用记账21.00%0.64989.111100%3交易明细查询13.00%0.313117.537100%4交易成功性查询6.00%0.044376.657100%5内部账户信息查询12.00%0.058552.851100%6个人现金取款4.00%0.53220.892100%7个人现金存款4.00%0.47223.241100%8卡凭证信息查询5.00%0.24157.808100%9子账户序号查询5.00%0.148100.428100%故障测试持续施压300并发25002000150010005000450040003500300051020108120234139线性扩展5000

TPSSQL平均响应时间

<

2ms1000并发条件下，响应时间小于500ms性能100%线性扩展随着集群规模增加，TPS线性增加模拟账户数10亿进行账务类交易，平均超过200条SQL语句/次交易，20%写操作TPS业务办理ES

B电子渠道自助终端其它系统OracleQianBaseADDAL主核心业务系统综合柜面OracleQianBaseADDAL统一支付支付外联报文转换平台备（新）核心业务系统配置库OracleQianBase报文采集代理MQ/ES

B中间件支付前置核心交易系统统一支付平台图形前端第一阶段：该阶段采用Oracle和易鲸捷数据库双库并行，支持双库相互切换，该阶段账务数据以Oracle为主，易鲸捷为辅。备库1第二阶段：该阶段采用Oracle和易鲸捷数据库双库并行，支持双库相互切换，该阶段账务数据以易鲸捷为主，Oracle为