海量数据库平台运维实践

1、海量数据库平台运维实践解密数科数据库运维攻守之道京东金融金融科技运维概述备战准备618进行时目录案例复盘DBA团队数据库运维架构搭建、性能优化、故障排查、安全防 护、备份与恢复、部署与下线、变更查询自动化智能化运维产品运维平台、性能诊断平台、数据查询平台、 数据建模平台、数据复制平台、数据库变 更平台、归档平台、数据库中间件科技输出分布式事务数据库、自动化运维产品、数 据库解决方案、私有云运维目标海量数据架构转型服务可用率数据安全水平拆分数据服务1、DB数据容量大2、每日增量快速3、多模数据存储4、字段和数据变更慢1、业务发展催生架构 转型2、性能瓶颈寻求架构 变革3、成本和安全优化促进转型1

2、、故障风险分摊2、高可用方案，可用 率保障3、合规要求，多数据 中心技术保障1、数据一致性2、事务一致性3、安全加固方案4、备份策略1、对业务透明、 研发改动小2、数据均匀分布， 风险分摊 3、二次缩扩容4、分布式事务1、运营报表类聚 合查询2、数据迁移同步 能力和效率性能保障1、慢查询2、TPSQPS3、连接数持续规范价值服务精细保障高效运维体系数据一致性容灾可用性安全合规管控运维自动化数据治理应用层中间层数据库层大数据层运维组件产品数据建模平台DBCM数据库中间件CDS、SS数据库运维管理系统 Mega数据库性能展示平台 CleverDB数据复制平台DBRep核心目标业务层级业务需求水平拆

3、分弹性扩容资源管控自动部署 HA切换 资源回收备份恢复任务调度DB迁移 数据接口空间分析会话分析性能分析慢查询分析数据抽取复制订阅读写分离分布式事务SQL自助建模SQL自助查询SQL自助变更查询机MyDB工单流程平台MagicFlow大数据计算与分析平台备战准备案例复盘618备战巡检容量评估优化改造数据归档压力测试切换演练变更管控大促调整监控大屏应急处理事件管理案例分享经验总结表分区Top SQL连接数业务梳理自增主键单表21亿 全局自增主键备份时间维度的分区 时间维度的拆分活跃连接数 max_connectionsSQL 频次SQL 效率备份作业 有效性检查慢查询SQL 消耗 优化改造硬件&

4、机房磁盘Raid卡出口带宽 机柜超电 双电链路温湿度数据库依赖程度 事务读写逻辑上下游调用逻辑磁盘空间热点表容量评估系统相关 DB相关数据量大 拆分不均匀 影子表硬件容量 性能容量备战巡检定时调度业务跑批ETL抽取 信息采集 备份调度巡检通道 - CleverDB参数评分第一档第二档第三档第四档权 重SQL质量QPS容量（CPU）qps/cpu_percent015001500500050008000800099999910QPS容量（IO）qps/io_percent03000300060006000100001000099999910TPS容量（IO）tps/io_percent01000

5、1000300030005000500099999910参数评分第一档第二档第三档第四档第五档权重资源利用率CPU使用率cpu_percent60100053060515153015IO使用率io_percent8010001050801025255015磁盘利用率磁盘使用率disk_percent80100055080515155030容量评估容量评估50%100%分数0%50%100%30%70%分数缩容扩容归档缩容优化、扩容读写分离磁盘使用率CPU使用率0% 5% 10%20% 30%容量评估选型多实例单实例CDS orSS容量1SQL优化SQL采集、执行计划、sql解析、统计分析、索引

6、优化、优化推荐2配置优化模板固化、动态调整、变更流程（连接）3数据优化归档、冷热数据、表结构4架构优化r2m、Hcenter、 MQ、硬件扩容代码优化逻辑、事务、降级开关5优化改造中国数据智能管理峰会数据同步冷备份数据管道dbrep主从同步缩扩容流程容量评估QPS/TPSCPU/DISK/MEM历史增长率硬件配置资源评估硬件需求数量预期增长量预算情况峰值预估迁移方案提高硬件配置（切换）多库架构拆分（垂直）单库多表拆分（垂直）单表拆分（水平）资源申请工单系统申请DB环境初始化代码逻辑改造测试环境验证数据校验权限校验网络校验一致性校验切分规则校验切换迁移Online切换（透明）修改连接池（集群）d

7、nsvip调整（重启）旧资源回收下线容量评估QPS/TPSCPU/DISK/MEM历史增长率硬件配置迁移方案DB下线（工单回收）降低硬件配置（切换）单库多表拆分（垂直）水平拆分+hdb资源申请工单系统申请DB环境初始化代码逻辑改造测试环境验证扩容缩容数据归档21归档规则冷热数据划分归档条件筛选归档时间节点和频率归档数据访问规则数据归档结转对性能影响的追踪结转效率的评估数据删除机器级别实例级别库级别表级别空间分析1、备份删除2、历史表33、归档库 4、大数据平台应用缓存 DB API压力测试切换演练迁移前沟通+公告 搭建从库 一致性检查 HAcheck 应用check 网络check迁移中原主库

8、只读变更指向或vip漂移 访问流量check研发check 新主库读写 元数据变更迁移后去除复制关系 备份策略调整 资源回收下线检查高可用系统提升团队协作能力提升团队应急处理能力中国数据智能管理峰会流程繁琐 审批麻烦 工单描述 处理周期研发数据源不准确SQL语法错误 没有where条件 需要回滚数据 操作复杂时间长DBA变更管控核心业务数据一致性 备份恢复时间长任务跑批无法完成关闭半同步关闭数据库信息采集 关闭数据库全量备份ETL抽取推迟2小时 数据推送推迟2小时业务跑批任务推迟2小时降低IO 消耗调整后的代价大促调整监控大盘监控大盘监控大盘应急预案硬件故障n 主库容灾方案n 从库容灾方案n

9、机房容灾方案链路故障n 连接数满n 权 限n 防火墙端口n 读写分离n 网络抖动性能故障n 慢查询n 带宽流量n 事务锁n 事务未提交服务组件故障n 监控故障n 计算平台故障事件标题事件管理发生时间响应时间解决时间影响范围事件描述事件等级部门归属解决方案、改进项：1、2、3、4、5。负责人事件原因业务架构运维安全合规持续追踪案例分享一故障描述：业务主库写入性能下降故障原因：读写分离，15个从库，多个从 库获取主库binlog，导致主库推送binlog 时系统上下文切换频繁，负载升高，写性能 下降。解决方法：关闭多个从库案例分享一1、从库扩容超过5个，使用级联复制，或者使用dbrep复制2、从库

10、扩容后，都要进行性能压测，验证扩容合理性3、自动识别Sending binlog event to slave 过多的现象4、实现自愈，下掉从库以及保障从库高可用5、资源扩容要有从库数量提醒6、接口应用增加容错机制，可自动降级案例分享二故障描述：业务从库异常重启故障原因：DBA开启半同步时，正处于某事务在binary log group commit的flush阶段， 会触发bug,导致MySQL重启解决方法：升级版本-06-1823:45:361015NoteSemi-syncreplicationswitched OFF.-06-1823:45:361015NoteSemi-syncrep

11、licationdisabled on the master.-06-1900:18:251015NoteSemi-syncreplicationinitialized for transactions.-06-1900:18:251015NoteSemi-syncreplicationenabled on the master.mysqld: /mysql-5.6.26/plugin/semisync/semisync_master.cc:792: int ReplSemiSyncMaster:commitTrx(const char*, my_off_t): Assertion entry

12、 failed.16:08:2250U1TC9 - mysqld got signal 6 ;案例分享二Flush StageSync StageCommit Stage将每个事务写入binlog缓存中将binlog缓存内容刷到磁盘根据顺序调用存储引擎提交事务Semi sync 会通过activetransaction这hash表，记录提 交事务的name、pos和entry 标识，缓存这些信息的目的是 在发送binlog时判断要不要等 从库返回的ACK。这个entry的 意义就是告诉从库这个event需 要返回ACK设置binlog的相对位置 trx_wait_binlog_name trx_wait_binlog_pos当从库返回ACK时，会和wait的pos 进行对比，如果比wait的值大于等于 就提交，否则等待 rpl_semi_sync_master_enabled=on当事务已经处于flush阶段，但半 同步没有打开，此时entry 标识 没有生成dump进程已经发送事务给从库,主 库在等待从库返回ACK时出现了 assertion failure如果是after_commit 则对比的逻辑在coommit 阶段进行。Bug fix之前是只判断是否enabled，