稳筑基石云帆万里 - 构建极速稳定多元异构数据库云化底座

稳筑基石，云帆万里构建极速稳定多元异构数据库云化底座趋势挑战：行业变化、客户转型、产业升级带来的新挑战行业变化：多元、国产、上核心客户转型：集中化、云化产业升级：新硬件潜力有待挖掘多元数据库百花齐放多资源池，管理难国产数据库百花齐放，据墨天轮统计，品类总数近300自主可控部署要求硬件架构多，适配难政策驱动，全栈国产自主可控国产软硬件适配复杂，管理成本高，问题频发国产数据库上核心要求高性能高可靠的承载环境本地盘等部署方式，系统可靠性难以支撑国产数据库上核心的诉求集中化建设系统A系统B 系统C统一资源池规范业务、打通流程，离散业务集中化、标准化外部压力不变，内部压力倍增云资源池7.5X每百万用户计费话单量1.2亿

>>

7.5亿云化建设高性能、灵活扩展应对外部爆炸式的业务并发和数据增长10X省级网元运维数据量13.7PB>>

111.5PB2-4周银行业务办理秒级IT栈硬件全线升级，性能倍增过去，硬件慢，软件慢点无所谓现在，硬件快，软件慢点大问题利用新技术，软硬件深度整合，充分挖掘整机性能成为当务之急实事求是：从一个用户的案例看国产数据库承载架构需求数据库架构现状：1、使用某大厂分布式数据库集中式部署版本。2、当前业务分了4套数据库（按地市进行区分），每套数据库一主两备，一共12台主机；数据库存储在服务器本地盘，当前数据量较小，仅1-200G。【数据量很少，国产库为什么都建议用本地盘？】3、服务器配置：全闪SSD，10T左右空间；CPU为鲲鹏920，64核；768G内存

【存储资源浪费严重，磁盘故障率高】4、2023年12月底开始上线，购买了2个月原厂服务，经过几个月磨合，目前系统运行正常，CPU使用率一般处于20-30%之间，偶尔40%。【为什么会出现数据量很小，但是CPU占用还不低？】数据库承载架构思考：1、存算分离是架构设计的基本原则，也是解放单机架构下CPU能力的关键一环。2、本地盘性能好，但资源浪费，冗余性差，资源浪费？要实现既安全可靠又高性能，同时能实现存储资源的共享？资源共享，降本增效？3、国产数据库引擎相对Oracle还有一定差距，如何弥补？同样的车，高速VS国道？1km、100km抽丝剥茧1：决定数据库性能的一些关键考核指标性能指标概念IO：Input-Output，读写请求IO大小：如4K、8K、1M，读写数据大小，交易型（OLTP）系统一般为小IO，分析型（OLAP）系统一般为大IOIOPS：系统每秒可以处理的IO数量，考察IO的并发处理能力，一般小IO才考察该能力。时延：每个IO执行的时间，一般小IO才考察该能力带宽：系统每秒可以处理的IO带宽总数，一般大IO考察该能力性能考察方法（见右图）假设系统对每个IO的处理时间是1ms，系统可同时排队的IO数量是8个。则该系统的IO并发处理能力是8（如果计算IOPS，则需要计算1秒内的IO处理能力），因为队尾的IO要等前面的IO执行完，所以队尾的IO时延更大（可能达到7ms），整体平均时延也会更大。因此，考察一个系统的小IO性能，要同时考量IO并发能力和单IO处理时延，单独考察其中之一都是没有意义的。一个高性能系统，要在低时延的情况下，观察IO并发能力（IOPS）。有些系统IOPS很高，但是时延也很高（甚至不可容忍），也说明系统性能较差。IO-1IO-2IO-3IO-4IO-5IO-6IO-7IO-8IO-9IO-11IO-10IO-12每个IO处理时间系统可以同时排队的IO数量性能关键指标99%和99.99%的时延：时延从低到高排序，排在第99%和99.99%的IO时延。这两个时延是考察存储时延的通用指标。相当于中位数（这里是99%位数）。举例来说，小部分时延很高，大部分时延很低，平均时延则会很低。但存储系统往往要考察这小部分高时延的表现，所以会观察99%、99.99%位数的IO时延，这两个时延越低，说明系统的IO处理能力越强。抽丝剥茧2：数据库常用存储协议类型：块、文件、对象协议层存储层FC/iSCSI/NVMe-oF硬盘读/写NFS/CIFS/Posix文件打开/修改/保存/删除S3/SWIFT对象上传/下载/查询/删除块存储文件存储对象存储对比场景：数据库、虚拟化特点：二进制方式直接访问存储，性能最高，数据无法共享；用于结构化数据的存储场景：企业OA、HPC特点：通过文件系统访问，实现局域网内共享数据；用于非结构化数据的存储场景：大数据、备份归档、海量非结构化数据特点：通过HTTP承载对象存储语义，实现远距离共享数据；用于非结构化数据的存储刨根问底1：传统部署范式难以应对企业发展新挑战单机服务器传统集成架构ERP系统报表系统SCM系统FC交换机FC交换机磁盘阵列ERP系统报表系统SCM系统小型机小型机小型机本地盘本地盘本地盘传统运行环境不够快不够稳不好用集中化、云化，要求极致性能数据库种类多，要有海纳百川式的高性能本地盘虽快，但牺牲了稳定性（盘故障，数据库节点切换20秒，业务中断；硬盘卡IO，系统挂起几分钟）硬件无监控，运维靠人工0.5+0.5<1：国产数据库本身还在夯实稳定性，基础设施容错能力弱，上核心难的的••的的的的本地盘、集中式存储扩展性弱（盘故障本地盘盘位有限，无法扩容）分层适配国产化，适配周期长，问题多多元数据库，运维难（DBA对国产数据库技能还在学习中）刨根问底2：集中式存储

vs

分布式存储（通用/专用）集中式存储对比分布式存储块/文件协议数据库/虚拟化场景块/文件/对象数据库/虚拟化/大数据/海量非结构控制器2-16个

化数据

硬盘框1-12个

扩展性

1024个节点低时延性能高并发更丰富存储特性较丰富TCO专用硬件，采购 通用硬件，维护成

维护成本高 本低

RAID+BBU电池

可靠性

多副本纵向增加硬盘框横向增加存储节点集中式存储：传统火车，强劲的火车头，但车厢没有动力，全靠车头带动，火车头成为瓶颈。适合数据量较小，扩展性要求不高的场景。分布式存储：新型动车，每节车厢都有动力，车厢越多，速度越快。适合数据量大，扩展性、IO并发要求高的场景。范式创新：面向数据库，提供快、稳、易的一体化资源池快极速车组，无论VIP乘客、普通乘客还是货物，都可极速送达目的地每节车厢都提供动力，车厢越多，跑得越快易车组弹性扩展，满足承运高峰期开放多元，拉人亦拉货监控中心全面管控，动车状态实时掌握稳运行平稳不颠簸，乘客体验好，货物保护好紧急情况，快速制动处理，保障运输安全满足各类业务负载的卓越性能保障数据库运行的稳定可靠面向多元数据库的开放易用恩墨实践：zData

X

多元数据库一体化运行平台高速交换机存储节点存储节点存储节点存储节点……zStorage分布式存储软件存储节点……计算节点计算节点计算节点计算节点数据库层计算节点RoCE交换机全自研分布式架构满足关键业务负载的业界领先性能多重可靠性保护机制，全栈国产保障数据库运行稳定可靠卓越性能 稳定可靠灵活弹性，全栈全生命周期管理面向多元数据库的开放易用架构开放易用一体机全栈管理平台软件数据库管理自动化部署监控告警智能巡检高可用管理性能容量分析设备管理硬件管理资源管理卓越性能：数据库一体机产业性能TOP表现卓越性能 稳定可靠

开放易用提供产业TOP的性能表现，满足数据库各类严苛的负载要求280万IOPS

@

0.3ms60万IOPS

@

1ms15万IOPS@

3ms友商Ceph典配3节点存储性能对比4K

随机读写zDataX卓越性能：全面优化，30+项专利多线程无锁内存页管理方

法一种增强Raft的三副本模

式一种多线程无锁缓存方

案分布式存储种leader重均衡控

制一种保证快照一致性的方

法基于RDMA的PM的一致性算

法。。

。软件瘦身专为数据库设计，相比传统架构（支持多协议），软件架构更精简，性能更强数据处理单元由变长改为定长，处理机制更简单；写IO处理流程减少1/3高速协议支持NVMe-oF、RDMA高速协议，充分发挥高速硬件性能调度优化专核专用，保障关键业务资源无锁化设计，核心绑定资源对象驱动用户态，处理流程更短轮询调度框架，降低切换时延数据库分布式存储AtomicWriteHigh-priority iSCSI NVMe-oFLog-writeNVMe

overTCPCloneEnhancedRaft(consensus

algorithm)Snapshot 2/3rep ChecksumCompressSlowFaildetectionSub-healthdetectionData

ScrubEuler

OSTRIM THINEnhanced

TaskSchedulerUserSpace

DriverKunpengRDMA

NIC

一体机管理平台DBManagerDeviceManagerhttphttpsServicePrometheusEtcdMogDBMySQLDMKingbaseRoCE

v2openGauss关键挑战架构优化，充分发挥硬件潜能多并发下，保证数据一致性zData

X

申请专利30+项卓越性能 稳定可靠

开放易用卓越性能：无锁化设计的挑战及解决卓越性能 稳定可靠

开放易用50%时延缩短实现原理：核心绑定资源对象，避免资源争抢，引起性能下降CPU1 CPU2 CPU3硬盘1PG1Cache1网络2挑战：如何解决资源均衡分配的问题资源分配不均会影响性能CPU核心数越来越多，分配不均问题更为突显故障场景下，如何重新均衡成为难题解决：自研调度算法，确保资源分配尽量均匀CPU1CPU2CPU3CPU4

CPU5算法优化：自研调度算法，采用局部优化，多次迭代，逼近最优均衡；已申请专利《一种非对称分布的负载均衡方法》自动化看护：资源均衡性超过3%的偏差时，用例不通过，需人工分析解决，确保实现效果无误优化后，每IO节省30-50微秒Cache5PG5硬盘5网络5Cache6硬盘6PG6网络6Cache3硬盘3PG3网络3Cache4硬盘4PG4网络4Cache2硬盘2PG2网络2卓越性能：优于本地盘的性能表现卓越性能 稳定可靠

开放易用本地盘1计算+

3存储节点：CPU：2x24CoresIntel(R)Xeon(R)Platinum8260CPU@2.40GHz内存：计算（8

x64GB），存储（8

x32GB）存储节点数据盘：6

x1.92TB

NVMeSSD数据冗余：3zData

X单节点：CPU：2x24coresIntel(R)Xeon(R)Gold6240RCPU@2.40GHz内存：8

x64GB存储节点数据盘：2

x3.84TB

NVMeSSD数据冗余：Raid18.4115.2625.9920.916.71911.03218.90426.90426程16线程32线程64线程128线程本地盘与zData

X性能对比（MySQL）QPS（万）23.55本地盘zData

X使用sysbench进行测试，zData

X

相比本地盘，低并发场景性能弱于本地盘，高并发场景优于本地盘，最高提升25%稳定可靠：多重可靠性保护机制卓越性能 稳定可靠

开放易用③

解决方案级高可靠数据库高可用管理②

部件级高可靠硬件冗余设计、故障切换亚健康检测节点级/机柜级安全①

IO级高可靠快照/克隆/保护组数据校验及数据一致性巡检极速重构机柜组件数据节点稳定可靠：无损快照和双模克隆，满足各类业务场景需求卓越性能 稳定可靠

开放易用基于ROW构建快照数据对象在某一时间点的只读“虚拟”副本，为业务快速提供在线备份恢复与可用数据副本源卷快照1 23实测性能：连续对同一个卷执行2000次快照后，性能平稳，基本无下降持续快照，性能平稳性能无损秒级快照克隆快照/克隆保护组定时快照/克隆Ø 快照与源卷共享索引，空间开销小Ø 基于ROW，性能损耗小索引共享 空间利用最大化双模克隆 级联快照/克隆稳定可靠：重构性能15min/TB，保障业务可靠性卓越性能 稳定可靠

开放易用节点1节点2节点3节点4全局重构节点1节点2节点3增量同步集中式存储zData

X1TB数据重构时间>1小时15分钟故障场景所有硬盘参与数据重构，充分发挥各节点的算力，提升重构性能临时离线场景硬盘或节点临时离线，因变化数据较少，仅同步差异数据，防止全局重构对业务性能的影响稳定可靠：针对亚健康组件提前预警，事前预防卓越性能 稳定可靠

开放易用运行时间故障亚健康健康节点亚健康亚健康：组件尚未故障，但出现慢速、寿命不足等降级问题，影响业务性能，有中断业务的风险系统风险度网络亚健康硬盘亚健康IB降速亚健康处理①

检测并告警：系统发现IB降速，并给出告警②

可视化查看：监控中可以查到IB降速情况③

亚健康处理：网口组件处于亚健康状态，为保证系统不降速，自动禁用该网口，系统正常运行④

处理后告警：禁用网口时，触发告警卓越性能 稳定可靠 开放易用开放易用：灵活按需扩展，组件开放兼容计算 存储 网络灵活扩展性能性能、容量线性增长1024节点3节点容量全分布式架构，存储节点3节点起配，并可轻松扩展至1024节点性能随容量线性增长开放兼容数据库操作系统物理硬件开放架构，支持各类架构数据库、操作系统、物理硬件*卓越性能 稳定可靠 开放易用开放易用：事前事中事后全面数据库安全操作管控统一监控，精准告警100%问题0%问题事前分析预防提前规避80%问题事中精准监控问题发现效率提升10倍事后快速恢复快速故障分析分钟级主备切换性能容量分析，高可用管理智能巡检，健康度评估围绕数据库及基础设施，进行全栈全生命周期管理全面精准的采集指标项，包括数据库状态、性能、容量，构建精准数据库画像准确收敛告警，避免海量告警风暴场景化告警模板，精准、全面的设计告警内容告警响应，精准控制传播路径和范围，全程可追溯告警下钻：从告警就可深入查询、分析相关属性，而不是简单的发出告警就结束全面分析：多维度、多属性记录SQL性能事件一键查询到底：无需从多个入口查找关键性能事件，一次就能查询到所有内容一键部署高可用数据架构，实时探测和自动故障诊断，快速进行高可用切换，保障业务的连续性预制专家巡检项、自定义场景化巡检，灵活自定义巡检项，满足各类巡检需求批量巡检，统一汇总查看，提升巡检效率，方便查看巡检结果及问题巡检结果跟踪闭环业界认可：全栈国产，金奖方案，打造业务第二平面单平面第一平面第二平面国产他国OracleWindows/Linuxx86业务系统业务系统Oracle国产数据库Windows/Linux国产OSx86鲲鹏/海光业务层数据库层OS层服务器层网络层荣获华为

主办“2023鲲鹏应用创新大赛”鲲鹏一体机解决方案创新（泛政府）赛道

金奖国产生态圈获得鲲鹏最高级别Validated认证行胜于言：助力某省卫健委构建全栈国产数据库资源池18台国产架构服务器

+

zData

X构建全栈国产数据库资源池高速互联交换机升级替换磁盘阵列原系统数据库环境FC交换机基卫医疗基卫综合基卫医疗基卫综合……Kunpeng Kunpeng

… Kunpeng

…zData

X数据库一体机Hygon

… Hygon

…高速互联交换机Kunpeng Kunpeng Kunpeng

……zData

X数据库一体机Hygon

… Hygon

…主备容灾客户痛点差设备老旧滞后（10年）原有设备使用已10年，故障频发，系统运行风险极高，设备替换迫在眉睫；慢难性能难以满足（高并发）业务压力倍增，系统并发高，要求新的架构必须满足高性能的要求；国产信创要求（重点需求）要求实现全栈国产化，对整个系统改造难度极大；既要满足系统高性能、高可用的改造需求，又要满足国产信创的要求客户收益：性能超预期，方案获大奖性能全面提升IOPS

157万，带宽

31GB/s2023第六届智慧医疗创新大赛全国总决赛“医疗信创赛道一等奖”“最佳实践应用奖”行胜于言：池化整合，助力某证券公司架构创新升级数据库种类多核心业务采用传统数据库，部分业务系统逐步采用国产数据库承载。传统架构性能差数据库量爆炸式增长，传统架构无法满足需求，严重时会影响部分业务性能。资源利用率低各个业务系统形成烟囱式体系，优质资源无法整合，IT成本居高不下；集中式存储架构，无法横向扩容。客户痛点高速互联交换机X86X86X86X86X86X86X86X86zData

X

构建多元数据库资源池承载Oracle、MySQL等在整体性能上远超X86+集中存储架构，IOPS合计超过百万。zData

X上线后，各项性能指标显著提升。DB

Time降低至原来的1/20，SQL语句执行时间及I/O响应时间均有大幅提升！服务关系管理模块改造前(秒)改造后(秒)提升倍数转岗人员统计>

50.2>

25人员岗位月报统计>

150.5>

30业务办理情况统计>

100.3>

33人员职位信息变动>

50.2>

25执业资格每日变动>

60.3>

20转岗人员每日变动>

50.2>

25员工考核角色设置>

60.3>

20从业务角度上来看，常用业务功能的查询速度大幅提升，多项业务模块查询速度提升20倍以上！前端客户体验效果显著。行胜于言：某交通行业客户核心数据库自主创新改造项目缘起采用

zDataX一主两备架构部署，同城双中心；4+5（全栈鲲鹏服务器）做生产及同机房容灾，2+3（全栈鲲鹏服务器）做异机房容灾；采用存算分离的基础架构，提供高性能、高可靠、高扩展能力；通过一体机内置的监控管理平台提供数据库及硬件设备的全面运维管理能力；通过云和恩墨

zStorage

采用多台服务器构建数据库存储资源池，实现资源集约化管理。方案架构交换机冗余部署，高速互联SSDSSDSSD鲲鹏服务器网络层NVME

SSD提供高性能、大容量存储资源存储层计算层TOSECSTOS备库ECS备库主机房TOS备库ECS备库数据同步SSDSSDSSD容灾机房鲲鹏服务器鲲鹏服务器鲲鹏服务器鲲鹏服务器SSD鲲鹏服务器SSD鲲鹏服务器鲲鹏服务器交换机冗余部署，高速互联NVME

SSD提供高性能、大容量存储资源数据库1234保障数据安全技术创新顺应自主创新趋势成本优化基础设施1234