稳筑基石云帆万里 - 构建极速稳定多元异构数据库云化底座

构建极速稳定多元异构数据库云化底座演讲人：胡自贵@云和恩墨l趋势挑战：行业变化、客户转型、产业升级带来的新挑战客户转型：集中化、云化产业升级：新硬件潜力有待挖掘客户转型：集中化、云化产业升级：新硬件潜力有待挖掘行业变化：多元、国产、上核心系统A系统B系统C系统A系统B系统C统一资源池•应对外部爆炸式的业务并发和数据增长银行业务办理银行业务办理云资源池1、使用某大厂分布式数据库集中式部署版本。2、当前业务分了4套数据库（按地市进行区分每套数据库一主两备，一共12台主机；数据库存储在服务器本地盘，当前数据量较小，仅1-200G。【数据量很少，国产库为什么都建议用本地盘？】3、服务器配置：全闪SSD，10T左右空间；CPU为鲲鹏920，64核；768G内存【存储资源浪费严重，磁盘故障率高】4、2023年12月底开始上线，购买了2个月原厂服务，经过几个月磨合，目前系统运行正常，CPU使用率一般处于20-30%之间，偶尔40%。【为什么会出现数据量很小，但是CPU占用还不低？】1、存算分离是架构设计的基本原则，也是解放单机架构下CPU能力的关键一环。2、本地盘性能好，但资源浪费，冗余性差，资源浪费？要实现既安全可靠又高性能，同时能实现存储资源的共享？资源共享，降本增效？3、国产数据库引擎相对Oracle还有一定差距，如何弥补？同样的车，高速VS国道？1km、100km性能指标概念性能考察方法（见右图） 性能关键指标这两个时延是考察存储时延的通用指标。相当于中位数99%位数）。协议层★块存储硬盘读/写文件存储对象存储存储层对比特点：二进制方式直接访l刨根问底1：传统部署范式难以应对企业发展新挑战传统运行环境单机服务器FC交换机FC单机服务器FC交换机FC交换机磁盘阵列小型机本地盘小型机本地盘小型机本地盘不够快不够快不够稳不够稳不好用不好用•0.5+0.5<1：国产数据•本地盘、集中式存储扩展性弱（盘故障本地•多元数据库，运维难（DBA对国产数据库技能纵向增加硬盘框刨根问底2：集中式存储vs分布式存储（通用/纵向增加硬盘框集中式存储集中式存储对比分布式存储块/文件块/文件RAID+BBU电池可靠性VS快卓越性能稳易开放易用开放易用稳定可靠恩墨实践：zDataX多元数据库一体多重可靠性保护机制，全栈国产保障数据库运行稳定可靠灵活弹性多重可靠性保护机制，全栈国产保障数据库运行稳定可靠灵活弹性，全栈全生命周期管理面向多元数据库的开放易用架构全自研分布式架构满足关键业务负载的业界领先性能数据库层计算节点高速交换机数据库层计算节点高速交换机存储节点…计算节点计算节点计算节点计算节点…数据库管理设备管理RoCE交换机存储节点存储节点存储节点存储节点…口RACLE硬件管理4K随机读写X280万IOPS@0.3X280万IOPS@0.3ms关键挑战一种增一种增强Raft的三副本模式一种多线程无锁缓存方案分布式存储种leader重均衡控制一种保证快照一致性的方法基于RDMA的PM的一致性算法充分发挥硬件潜能,保证数据一致性RoCEv2数据库分布式存储 EnhancedRaft(consensusalgorithm) CloneSnapshot2/3repChecksumCompress EulerOSEnlskUserSpaceDriverManager MogDBopenGaussKingbaseDMMySQL多并发下多线程无锁内存页管理方法DeviceManager一体机管理平台PrometheusRDMANIChttphttpsKunpengServiceEtcd软件瘦身•专为数据库设计，相比传统架构（支持多协议软件架构更精•数据处理单元由变长改为定长，处理机制更简单；写IO处理流程减少1/3调度优化•专核专用，保障关键业务资源•无锁化设计，核心绑定资源对象•驱动用户态，处理流程更短•轮询调度框架，降低切换时延高速协议•支持NVMe-oF、RDMA高速协议，充分发挥高速硬件性能挑战：如何解决资源均衡分配的实现原理：核心绑定资源对象，避挑战：如何解决资源均衡分配的实现原理：核心绑定资源对象，避免资源争抢，引起性能下降分配尽量均匀CPUCPU1CPU2CPU3•资源分配不均会影响性能•CPU核心数越来越多，分配不均问题更为突显•故障场景下，如何重新均衡成为难题•算法优化：自研调度算法，采用局部优化，多次迭代，逼近最优均衡；已申请专利《一种非对称分布的负载均衡方法》Cache5硬盘5网络5Cache3硬盘3网络3Cache2Cache5硬盘5网络5Cache3硬盘3网络3Cache2硬盘2网络2Cache6硬盘6网络6Cache4硬盘4网络4Cache1硬盘1网络2CPU1CPU2CPU3CPU4CPU5优化后，每IO节省30-50微秒50%时延缩短使用使用sysbench进行测试，zDataX相比本地盘，低并发场景性能弱于本地盘，高并发场景优于本地盘，最高提升25%3023.5526.90426.1742015.2625.9920.918线程16线程32线程64线程128线程本地盘zDataXVSVS机柜组件数据节点•数据校验及数据一致性巡检•硬件冗余设计、故障切换基于ROW构建快照121233持续快照，性能平稳 故障场景临时离线场景集中式存储zDataX集中式存储zDataX亚健康：组件尚未故障，但出现慢速、寿命不足等降级问题，影响业务性能，有中断业务的风险节点亚健康网络亚健康节点亚健康网络亚健康硬盘亚健康IB降速亚健康处理1024节点性能、容量线性增长性能、容量线性增长3节点数据库数据库操作系统操作系统物理硬件物理硬件OFUSION计算存储A网络围绕数据库及基础设施，进行全栈全生命周期管理口RACLE事前分析预防提前规避80%问题事后快速恢复快速故障分析事前分析预防提前规避80%问题事后快速恢复快速故障分析分钟级主备切换问题发现效率提升10倍•••件荣获华为主办“2023鲲鹏应用创新大赛”l行胜于言：助力某省卫健委构建全栈国产数据库资源池18台国产架构服务器+zDataX构建全栈国产数据库资源池基卫医疗基卫综合基卫医疗基卫综合………………高速互联主备容灾基卫医疗基卫综合基卫医疗基卫综合………………高速互联主备容灾…………高速互联“医疗信创赛道一等奖”“最佳实践应用奖”l行胜于言：池化整合，助力某证券公司架构创新升级数据库种类多传统架构性能差资源利用率低zDataX构建多元数据库资源池X86X86X86X86X86X86X86X86X86X86X86X86X86X86在整体性能上远超X86+集中存储架构，IOPS合计超过百万。zDataX上线后，各项性能指标显著提升。DBTime降低至原来的1/20，SQL语句从业务角度上来看，常用业务功能的查询速度l行胜于言：某交通行业客户核心数据库自主创新改造项目缘起数据库基础设施数据库基础设施4保障业务连续性方案架构鲲鹏服务器鲲鹏服鲲鹏服务器鲲鹏服EEEEEEEE司主机房容灾机房数据同步容灾机房TOSTOS计算层网络层鲲鹏服务器鲲鹏服务器