21中国系统架构师大会专场

1、去哪网数据库架构发展历程Qunar数据库架构师黄勇自我20072011, Oracle DBA：智联、淘宝去IOE大潮下的改变2011now, MySQL DBA：、去哪thunderbird.huangwx: elnino_1114Contents12345早期的Qunar数据库 - MMM自我革新的开始 - PXC另一把的诞生 - QMHA多种数据技术我们的平台 - 补天Qunar数据库的四个跨机房QMHA架构2015底nowQunar平稳期异地机房部署保证高可用和安全性同机房PXC架构2013底now Qunar飞速发展期用PXC保证集群强一致性单机房内的MMM20112013Qunar

2、发展期简单的VIP高可用单机房内的MySQL20052011Qunar萌芽期“小作坊模式”Qunar数据时间历程大事记HBase数据库单机MySQL SATASASRedis提供缓存和实时写入和SATA/SAS192GB内存/网卡2015201320142011前20112013底QMHA高可用SAS/PCIe-SSDPXC高可用PCIe-SSDMMMSATA/SAS跨机房高可用容灾Qunar数据库架构的组成Qunar数据库架构MMM的基本架构MMM架构的缺点MMM缺点新特性的支持2012已经停止版本新 MySQL5.6以上版本新特性的支持落后的高可用无法匹配新技术的发展网络分区Master“

3、假死”导致误切换 数据库双写，导致数据错乱VIP没有漂移或者漂移失败运维复杂绑定VIP部署和修改配置文件周边工具匮乏PXC的基本架构PXC架构特点PXC的性能PXC单节点可达5W qpsPXC单节点写入可达15K qps以7:3的读写比，单节点可达3W qpsPXC的缺点多节点写入相互校验，写入性能下降切换时影响前端写入但尽要长时间多写Flow Control节点间木桶短板流，客户端容雪崩0104集群节点跨机房机房间网络延迟高影响客户端QPS节点越多QPS影响越大大事务大事务和密集事务PXC节点压高，fc产生PXC缺点0205且0306DBA运维起点高PXC和MGR等新兴结构DBA学习成本高长

4、期的学习和经验DDL操作DDL杀死其他事务DDL能取消QMHA的基本架构QMHA的技术特点Semi-SyncGTIDGTID于维护和切换主从节点间可知数据差异提高数据节点一致性的同时提高集群安全性和可用性多线程且可以跨机房和网段部署SentineldZooKeeper分布式哨兵减少误切换和网络分区raft算法，自动切换全局namespace 通知客户端新配置QMHA/PXC解决的问题跨机房网段QMHA的特点，多机房部署提高节点间的同步效率房容灾的安全性无网络分区多机房的分布式哨兵MySQL实的健康情况0事务丢失在failover和switchover时， 没有事务丢失且PXC的集群数据强一致性

5、，QMHA的弱之但性能较好，而且越多同步越快QMHAPXC快速切换failover切换只需要8-16s且没有误切换switchover只需要2秒内切换逻辑可控切换逻辑可以由情况和参数而定， 大事务或者主从延迟时发生switchover和提供线上服务等集中配置管数据库配置中心 和维护线上所有PXC和QMHA后续改进的问题自动补全binlogMHA可以自动补全binlog，PXC可以ISTQMHA需要能在failover后自动补全binlog给原master节点某个从库因为某种出现延迟时，需要特殊处延迟处所有从库都出现延迟又该如何？PXC和QMHA都需要做到：只读数据源可以根据权重配比进流控，有助于对特殊的特殊处权重MMM、PXC和QMHA的对比各个架构对比MMM/ MHAPXCQMHA一致性一般强一致较好可用性一般，受网络影响一般，受网络影响很好，网络影响小，可数据丢失主从切换可能会数据丢0数据丢失semi-sync时0数据丢失运维成本至少2台，运维要求低至少3台，PXC运维门至少2台，运维要求低两手抓，两手都要硬关系型数据库PXC和QMHA非关系型数据库Redis和HBase我