开放平台下数据库高性能高可用方案

1、我们是谁l 沃趣科技成员l沃趣科技概况成立于2012年6月，由原阿里巴巴DBA/SA团队的技术骨干组成的创业团队 多年运维经验，技术领域涉及Oracle、MySQL、系统和运维自动化ll服务ll数据库和系统的架构设计、优化、实施开放平台技术推广：开源数据库，Linux，中间件，FlashQData for Oracle 高性能数据库一体机QData for MySQL 高性能数据库一体机lll优势lllllQMonitor 数据库平台十年互联网运维理念 百TB数据高效处理能力千套数据库和系统综合能力万台服务器架构设计能力研发的数据库运维成员¡ 陈栋（grassbell）创始人CEO阿

2、里巴巴工作8年，任DBA团队资深经理。经历了Oracle从PC Server+磁盘阵列 到IBM小型机+高端的升级，也经历了从集中式Oracle 到分布式MySQL的变迁。¡ 李建辉专注系统曾在阿里巴巴从事系统、等维护、管理工作9年。经历阿里巴巴从百万到亿级PV，熟知在各种时期下架构、性能优化。¡ 罗春 专注Oracle数据库原阿里巴巴高级数据库，Oracle DBA团队技术Leader，负责上百套Oracle数据库的运维。擅长数据库优化设计，方案架构，提倡数据库运维自动化。¡ 熊中哲 专注运维自动化原阿里巴巴高级数据库工程师，参与过阿里云RDS内部运维自动化的开

3、发工作，负责数据仓库Oracle RAC数据库运维。专注于Oracle和MySQL的线上自动化运维方案的设计与实现。¡ 李春 专注MySQL数据库原阿里巴巴MySQL DBA团队技术leader，管理超过3000个MySQL实例。实现阿里第一个将3亿从Oracle+小型机到MySQL+PC Server的平滑迁移。阿里数据库那些年l 从丝到土豪l 从集中式Oracle到分布式MySQLl 如今l 为什么要去IOE那些年，从丝到土豪04年：阿里的数据库没几台，都运行在PC服务器上， 已经变成习惯增长很快，宕机l05年：中国互联网界第一台IBM小型机在阿里落户，从此阿里数据库都逐渐变成了

4、IBM+Oracle+EMCl07年：这几年，阿里业务增长非常迅猛，但数据库一直很稳定，DBA的生活很安逸，技术没有太多l08年：突飞猛进的业务，使得小型机和高端了不断扩容，成本l巨大。我们突然，被那些年，从集中式Oracle到分布式MySQL09年：开始尝试把一些不重要的业务迁移到MySQL上，业务开始梳l理接口，为未来迁移到MySQL做到分库分表做准备，同时培养MySQL人才10年：对MySQL的信心越来越足，一些应用逐渐迁从Oracle移到lMySQL，中文站3亿Offer，淘宝的收藏夹（分别是阿里和淘宝历史上最大数据量的业务）。基于MySQL的分布式管理系统诞生，奠定了今后数据库水平扩

5、展及高可用的架构。数据库PC服务器超过400台11年：淘宝最的用户中心、商品完成从集中式到分布式的迁移，连交l易系统也开始向MySQL迁移。数据库PC服务器超过1300台12年：hbase，oceanbase，mongodb，greenplum，hadoopl如今整个阿里全面去掉了小型机和高端，数据库全部运行在PC服务器l上，配置SSD或者PCIe Flash除了支付宝账务系统依然使用Oracle数据库，其他所有业务l全部使用分布式MySQL海量数据分析业务，运行在阿里基于对Hadoop改造的云梯平台，接近2万台服务器l研发关系型数据库OceanBase，其他nosql的尝试l阿里超过100个

6、DBA，1/3负责系统，2/3负责应用支持l为什么去IOEl 成本l Oracle license虽然签署了ULA协议，但平均下来也是每年超过千万的费用l 淘宝双11额：10年9.36亿，11年33.6亿，12年191亿，13年350亿l 09年小型机和高端预算是nkw,如果还是这个架构,到2013年双十一.l 计算能力、扩展性的局限l IOE架构很难满足业务高速扩张带来的对性能和扩展性的要求l 避免商业、硬件设备的l 技术团队需要具备将数据可以迁移到任何一种数据库平台的能力l 技术领先性的驱动l 阿里要成为互联网企业中的技术领头羊l 100+的DBA团队，5000+ 的技术团队如何去IOEl

7、 传统数据库架构l 小型机 vs PC服务器l 高端vs Flash技术l 共享Redo+Flash的架构l QData for Oracle数据库一体机架构l QData Oracle RAC双节点 FREE-SAN架构l Oracle vs MySQL or NoSQLl QData for MySQL一体机架构传统数据库架构· 主数据库· 主数据库··DG数据库存放主数据库Online Redo的一组Member， 保障切换DG后数据0丢失···物理HA备机实时Dataguard 延时Dataguard稳定；成本高；黑

8、盒子；难扩展小型机 vs PC服务器l X86 cpu与Power cpu的对比(spec)l HP ProLiant DL560 Gen8(2.70 GHz,32core, Intel Xeon E5-4650) SPECint_rate2006 =1240l IBM Power 750 Express(3.3 GHz, 32 core)SPECint_rate2006 =1010l 稳定性是l 中国问题大型机宕机4小时l 阿里小型机稳定运行7年后，宕机5小时l 不能依赖于硬件本身l 基于PC服务器高可用方案l Dataguard HAl 共享架构HAl 共享Redo+Flash的架构Dat

9、aguard HAQGuard HA系统QGuard HA系统3.ping网关确定不是孤岛gatewaygateway2.检查备库恢复延迟1.自动切换数据库，可能丢数据1.update xdual(heartbeat)3.情况下可强行poweroff 服务器2.漂移VIPVIPVIPDataguardDataguardPrimary DBPrimary DB发生切换正常状态Maxium Avaliable高端vs Flash技术互联设备EthernetSANInfinibandBandwidth110Gb/s816Gb/s4056Gb/sLatency10us2us200nsSAS磁盘SSDP

10、CIe Flash设备IOPS1502006,000100,000Throughput150MB/s250MB/s1.5GB/sLatency10ms100us30usPCIe Flashl 可用性 类似Raid5+hotspare MLC 10000次擦写320G 可写 4PB 受PC服务器影响l 扩展性 容量单卡超过3TB 受限于PCIe插槽数量l TCO 服务器数量缩减8：1 省机架、省电 管理方便，运维成本降低VSIOPS吞吐成本高端（200块磁盘）5万700MB超过百万PCIe Flash10万1.5GB1/10Infiniband的高带宽，低延迟共享Redo+Flash的架构-支付

11、宝QGuard HA系统QGuard HA系统2.备库将的datafile，3.ping网关确定不是孤岛gateway2.检查备库恢复延迟1.update xdual(heartbeat)VIP应用原主库onlineredoctrlspfile恢复，保证数据零丢失，将备库切换到主库4.poweroff原主库服务器VIP3.新主库接管VIP， 提供数据库服务1.将共享挂DataguardPrimary DB载到备用服务器· 主、备库数据文件存放于本地flash设备上获得高IO· 共享，只存放主库online redo、ctrl、spfile正常状态发生切换Maxium Ava

12、liableQData for Oracle数据库一体机架构计算节点高配PC服务器，运行Oracle 11g R2，支持单实例和RAC架构，提供数据运算服务. 经过验证的OS及版本：· Linux (RHEL 5.*,6.3)··CentOS(RHEL 5.*,6.3) SUSE(11.1,11.2)QLinkQLink高速互联基于Infiniband的低延迟（端到端延迟200ns以内）、高带宽互联技术，用于将节点的Flash和磁盘输出到计算节点，供数据库使用。QLinkQLinkQLink节点配置Flash卡和SAS磁盘，提供数据服务。输出方式：· Q

13、Link基于rdma相关的Infiniband 40/56Gb输出协议实现·FC 4/8Gb，FCoE 10GbInfinibandInfinibandQLink高性能组件RDMA（Remote Direct Memory Access）: 通信绕过OS和CPU，CPU利用率低，IO延迟低全RDMA实现：带来的好处：l 在IO、心跳方面的开销大大降低之间的rdmall RAC之间GC的rdmal RAC 集群可以有的节点QLink运维自动化计算节点 多路径管理 磁盘状态管理 链路状态管理 磁盘attach 磁盘detach节点 磁盘属性修改 动态增删磁盘磁盘智能管理 从ASM发现坏盘

14、，到节点更换磁盘， 数据rebalance，整个流程无需人工干预。 通过自动化软件实现了磁盘的hotspare，磁盘更换，build功能。平衡、可扩展的架构 单卡100000随机iops 800MB以上吞吐每个端口40/56Gb 纳秒级别延迟 最多达240coreQLink RDMA 高性能组合高可用的架构全冗余架构基于所有硬件不可靠性设计的全冗余架构Oracle高可用RAC自身实现数据高可用通过ASM/Veritas Volume Manager/cLVM 等实现的数据多份写入设备全冗余节点、交换机、链路全冗余QData与传统架构对比传统架构QData计算能力IBM Power6：（4 cp

15、u×8 core×16线程，4.7GHz） SPEC 得分206Intel X5570：（4cpu×8 core×16线程，2.93GHz）SPEC 得分：243网络互联设备：FC SAN 带宽：816Gb 延时：2µs级别设备：Infiniband 带宽：主流为40Gb 延时：200ns左右（通过IB解决RAC节点互联）性能介质：SAS机械磁盘延时：6ms吞吐（单块盘）：150MB左右IOPS（单块盘）：160左右配置200块磁盘的，可提供5 万IOPS及700MB/s吞吐能力介质：Flash卡技术延时：10µs级别吞吐（单块盘）：

16、1.5GB/s IOPS（单块盘）：20w左右最低配置3个节点即可提供14万IOPS和4GB的吞吐能力整体投入非常高价格透明，50%以内QData for Oracle 一体机配置配置与技术指标组件类型硬件详细配置数量CPU内存磁盘计算节点服务器Intel E5-2640*2 或AMD Opteron 6274*296GBSAS 15K 450GB*62服务器Intel E5-2600*1 或AMD Opteron 6212*124GBSAS 15K 450GB*63节点Flash卡PCIe Flash卡3交换机IB交换机Mellanox 36-port Grid Director 4036

17、Series Switches2HCA卡ConnectX®-3 VPI adapter card, dual-port QSFP7IB数据线Mellanox copper cable16QLink软件沃趣QLink高速互联软件3容量、性能指标总揽可用容量(TB)混合IOPS (75/25 r/w)吞吐量延迟RAC GCFlash 卡磁盘1400004GB/s<2ms600MB1.926.75数据库 Failover指标总揽链路切换节点切换计算节点切换<2s<15s<3sQData一体机优势¡ 开放使用x86通用平台、PCIe Flash高性能卡替代封

18、闭体系的小型机l、高端¡ 定制l 基于用户需求提供定制化的计算性能和容量¡ 高性能l 510倍于传统架构的性能提升，在OLTP场景下性能不低于OracleExadata¡ 高可用l 计算层、互联层、¡ 高性价比层无单点，全冗余l 低于传统架构50%的成本，专业的服务团队QData案例一：中国移动浙江阅读基地¡ 与传统架构对比测试l 基于QDATA架构的Oracle数据库的IOPS最高可达12.98万，每秒SQL语句的 执行数超过11万。l 在同等环境下，其IOPS和SQL执行数分别为传统架构的9.7倍和4.1倍¡ 小库整合项目l 移动

19、学习DB（300G）l 云书架DB（1.5T）报云端DB（300G） 报（200G）lll 等共超过10套小库¡ QData上线效果l 3个计算节点、3个节点、7TB Flash容量l 实现在10GB/s吞吐，50万IOPS的l 数据库处理能力得到10倍以上的提升l 管理成本急剧降低性能QData案例二：平安金融科技通¡ 项目背景通平台，主要用于，活动兑换ll 原数据库采用HP小机加阵列¡ 客户的困境l 设备维保到期，续保还是新购？预算成本受到极大l 业务l 传统急增，系统IO出现瓶颈，期达1.5W IOPScache不够，单个IO响应时间高达13ms，应用连接池

20、暴增l 业务促销对数据库是，如何应对现有规模2倍以上的冲击l 项目周期短，新采购设备到货周期能否尽量缩短¡ QData上线效果l 2个计算节点、3个节点、5TB Flash容量，4GB/s吞吐，14万IOPS的性能l 整体QPS提升300%，事务处理能力提升200%期IO响应时间稳定在1ms，系统余量足够支持业务促销l¡ 用户反馈“QData上线后，系统IO的响应速度明显提升，现在业务期延迟在1毫秒，并发lIOPS上升到2W，即使是在活动促销期间，我们的数据库也可以稳定运行，这确实是个低成本，高的方案，我们在后续的，杭州容灾体系里面也引入了这套架构。”QData案例二：平安

21、金融科技通¡ 上线前后对比上线前上线后急增但响应时间降低到1ms传统IO响应时间QDataIO响应时间QData案例三：宁波市政务云计算中心宁波市政务云计算中心：l 市主导建设，统一的政务信息共享和政务应用支撑、孵化平台。建设目标：l QData数据库一体机为政务云的DaaS层提供技术支持l 全市的电子政务数据架构体系，规范和引导应用项目建设l 全市电子政务数据的深度融合共享，为综合管理、协同工作奠定基础l 有效的数据挖掘，为城市的综合管理与公共服务提供必要的决策支持l 提供标准的数据服务，为智慧城市建设各项应用提供数据服务支撑技术参数：l 配置：2个计算节点，4个节点，6.4T可Q

22、LinkQLink用Flash空间l 性能：可支撑31.5万8K IOPS，3.4GB吞吐l 高可用：在高下，进行断链路、poweroff的破坏性测试，数据库表现稳定QLinkQLinkQLinkQLinkInfinibandInfinibandQData Oracle RAC双节点 FREE-SAN架构物理架构图逻辑架构图l 高性能PCIe Flash、Intel x86 新一代CPU配置大内存QLink实现高效无损性能传输双40Gb链路及HAIP的双机高性能互联l 高可用Oracle RAC + ASM2条链路的voting，fencing机制确保正常工作l 低成本无需SAN Switch

23、、l 可扩展可完成到QData 三层架构的扩展Oracle vs MySQL or NoSQLl Oraclel 商业软件，数据库巨人l 稳定，功能强大，代码严谨，极少低级bugl license很贵，软件黑盒子，属于重量级数据库l 适合传统行业，业务场景复杂，对数据库稳定性要求非常高的业务（运营商、l MySQLl 开源），轻量级数据库l 开放、活跃的社区，优秀的开源分支Percona、MariaDBl 扩展性好，可定制，地雷多l 适合于变化非常快的互联网，业务场景简单，数据量急剧膨胀，但数据的重要 性相对不那么carel NoSQL特定场景，社区不成熟，运维问题，昙花一现l常用MySQL架

24、构一主多从数据恢复Dead MasterLatest SlaveSlave(i)masterslave112slave23slave34主备切换：a. 尽可能保存master的binlogb. 寻找Latest Slave，应用其差异binlog到其他Slave c.将保存的master的binlog应用到所有slaved.选定某个slave为新master，修改其他slave指向它数据恢复：1.等待Slave的SQL thread执行完所有的events 2.补齐Partial Transaction，并应用3. 将Latest Slave新于其他Slave的数据应用4. 将Dead Mas

25、ter新于Latest Slave的数据应用到所有slave5.6 Global Transaction ID常用MySQL架构阿里ShardingAPPDB proxydb1技术点 DB proxy，数据路由+HA 牺牲跨库join和事务 SQL都要有分库键条件db2db1'db3单机多实例db2' Flash， Flashcache、Flashdisk。 Numa、CGroup，分配CPU内存 网卡软中断db3'QData for MySQL一体机架构l QLink主备高速互联，binlog数据共享，确保主备之间数据零丢失，且备库可读l 对于一主多从架构，主库可自动

26、故障切换，对所有从库透明，并继续l 多年运维经验的配置最佳实践，集成QMonitorl 嵌入高性能PCIe Flash技术提升IO性能平台，QGuard高可用系统数字化运维l QMonitor数据库平台QMonitor数据库平台¡ 实警l 支持多个数据库项，根据用户设置及时有效地将数据库的异和邮件方式通知用户及运维常进行，通过¡ 状态曲线l 支持140多项指标，6种粒度和三种对比方式，动态实时的将性能数据通过图表的方式呈现给用户，方便用户进行性能优化分析¡ 报表中心l 对空间，性能， 呈现给用户，运行时间等各个维度绘制报表，关键数据¡ 特色功能l 例如A

27、WR报告自动，自动分析，备库的延时性能和监控，自动巡检，性能智能推荐等QMonitor数据库平台¡ 支持的数据库及OS列表l Oracle 9i11g/MySQL 5.05.6/Percona /MariaDBl IBM AIX ;HP-UX; Linux:REHL, CentOS, Federa, SUSE, SunOS¡ 软件优势l 零客户端：对目标零侵入，性能影响极小l 分布式架构：通过水平扩展,可1000个以上数据库实例l 功能实用：功能设计是DBA多年运维经验的结晶l 运维自动化：自动巡检、性能异常自动捕获，极大降低人力成本l 低学习成本：简单实用，快速掌握l 高

28、度可定制：根据用户需要增加个性化功能l 服务：多年互联网运维经验的数据库运维团队提供专业服务QMonitor数据库平台QMonitor数据库平台l 超过210个用户Demoll客户案例l 案例一：浙江电信Siebel数据库优化l 案例二：南方航空MySQL读写分离l 案例三：电信院线通l 案例四：浙江移动阅读基地案例一：浙江电信Siebel数据库优化¡ 客户的困境l 集中式小型机+架构，性能遇到瓶颈，无法通过线性扩展满足未来增长l 传统硬件架构投入巨大，基于该架构的分库分表不现实l HP-UNIX上OGG存在BUG，读写分离方案无法实施¡ 我们的服务l 将现有的小型机+架构

29、首先过渡到x86 PC Server+架构，实现去Il 配合应用，分地市进行数据分离，实现一定程度的水平拆分l 通过OGG将数据到多套QData，实现读写分离方案，部分程度去E¡ 对客户的价值l 引入开放x86架构，替换封闭的小型机及部分，节约硬件投入的风险l 数据库拆分成小库，分流，降低集中高l 利用迁移拆分，可以整理并初始化现有表的数据，大幅收缩空洞数据l 解决HP-UNIX上OGG不能实时传输的问题案例二：南方航空MySQL读写分离¡ 客户的困境l 数据库软硬件成本巨大l 从封闭架构到开源架构的尝试与技术积累¡ 我们的服务l 将在AIX平台和Window平台的Websphere逐步替换成Linux REHL+apache+tomcatl 提供Oracle向MySQL全量同步和增量同步的方案和软件¡ 对客户的价值l 数据库性能得到最大