新浪数据库运维平台演进

新浪数据库运维平台演进李涛@litaosmile2009.7—>now()SinaDBA负责所有产品数据库运维管理负责新浪数据库运维平台设计与实现目录自动化运维系统iDB自助系统新浪数据库平台概况总结自动化运维系统iDB自助系统新浪数据库平台介绍总结微博上线，博客托管,MySQL端口300+MySQL端口900+，自动化运维系统上线托管99.99%业务，MySQL端口1300+，6000+实例孵化于动态平台MySQL和Redis端口900+端口MySQL端口1100+，maya中间层，Hbase服务iDB自助服务系统上线平台规模15个IDC数据中心4000＋台服务器600+项目在使用数PB级的数据量MySQL400+亿hits/天,峰值150+万hits/秒Redis6000+亿hits/天,峰值1000+万hits/秒Hbase100+亿hits/天Memcached万亿hits/天新浪数据库平台概况2008200920102011201220132014DBA的工作春晚微博整体情况。告诉我微博关注数据库运行情况。听说刚才微博相册数据库有问题？汇报下数据库微博马航热点事件情况业务数据库集群的部署情况及成本？我们数据库现在运行情况是什么样的？（sb问法）微博用户数据库的访问质量如何？数据库每次查询得到数据不一样，是什么问题？最近发现页面好慢，帮忙分析下慢sql？提供下昨天14点数据备份。业务紧急上线，2048张表要加急改字段！！DBA的挑战沟通重复实时复杂决策数据我们不是数据的制造者，我们也不是产品的搬运工天天pk和扯皮，DBA不是律师DBA>SA+NE+PM+…只能故障了才去想办法解决吗“犯罪现场”已经被破坏业务和老板要各种数据；优化也需要数据支撑数据库运维平台组成自动化运维系统iDB自助服务系统面向DBA解决DBA绝大部分重复、复杂的运维工作面向业务开发满足业务对数据库信息查询和快速变更需求，加快开发速度和产品迭代8资源管理计算单元任务调度消息服务数据传输API部署/迁移数据存储数据采集DNS实例管理报警/展示数据分析配置管理域名服务监控服务工单服务报修系统资产管理访问统计统计报表元数据备份还原安全审计日志系统移动运维系统过载保护数据存取自动缩扩容中间层高可用水位系统应用服务体检服务基础组件基础服务iDB自助服务系统数据库运维平台整体框架自动化运维系统自动化运维系统iDB自助系统新浪数据库平台介绍总结特色：监、控、报分离报警策略多样化，可定制：分级、分组、分时、分类报警方式丰富：短信、常规邮件、汇总邮件、电话、私信自动化运维系统－监控系统监控服务配置管理11服务注册A服务注册B服务注册C公共配置报警组报警策略报警方式报警展示根据模版注册metrics数据采集管理根据模版注册servicestatusmetrics采集status采集数据存储管理HbaseMySQL分析模块数据分析与处理展示模块智能处理模块报警与展示展示：报表、dashboard报警：短信、邮件、微博私信、电话移动客户端特色：池化管理自动状态转换预约功能智能推荐自动报修

自动化运维系统－资产管理线下全新线下报修报修管理线下池自动、手动报修备用空闲备用部署备用池线上线上部署线上池线上空闲节点管理报修完成推荐与预约线下重用CMDBAPI服务下线校验校验自动化运维系统－资产管理自动化运维系统－备份管理特色：备份方式备份存储备份还原数据校验自动化运维系统iDB自助系统新浪数据库平台介绍总结故障巡检智能修复服务体检访问统计响应时间拓扑结构元数据信息数据库内部状态自动建表、改表自动授权自动托管数据库导入导出资源使用关键数据集群信息iDB自助服务系统功能组成信息展示系统工单系统iDB系统统计报表体检系统iDB自助服务系统－工单系统自助改表、建表，后端机器人自动执行；自动授权；服务自动托管；自助导入导出。自动建表、改表自动托管数据库自动授权导入导出工单系统：iDB自助服务系统－信息展示系统访问统计响应时间拓扑结构元数据信息数据库内部状态信息展示系统：拓扑展示：实时在线、同步状态直观展示元数据展示资源与IDC展示port3303nodeAport3306Agent:Tcpdump＋Pt-query-digestDatabaseCentralProcessornodeBtcpdump-r+Pt-query-digestrsyncwritewriteiDB自助服务系统－信息展示系统数据采集、分析、存储agent采样：12s/m或3wpackageTcpdumpPt-query-digest性能的影响Pt-query-digest改进计数时间统计力度资源限制RLIMIT_CPU：程序执行的最大CPU时间RLIMIT_RSS：最大驻内存集的字节长度RLIMIT_FSIZE：可以创建文件的最大字节长度访问统计响应时间拓扑结构元数据信息数据库内部状态信息展示系统：iDB自助服务系统－信息展示系统iDB自助服务系统－体检系统主动对数据库的运行状况进行体检；常见问题自动修复；体检报告；支持报告自动发送功能。体检：巡检：自定义设定体检范围、指标、频度；定期主动智能分析巡检；数据库运维平台的三个阶段数据库运维平台发展阶段自动化平台化较成熟的规范和流程基本实现自动化运维子系统众多第二阶段规范化脚本化初步建立运维规范运维工作脚本化缺少运维系统第一阶段智能化服务化统一的运维平台运维服务化运维智能化第三阶段23资源管理计算单元任务调度消息服务数据传输API部署/迁移数据存储数据采集DNS实例管理报警/展示数据分析配置管理域名服务监控服务工单服务报修系统资产管理访问统计统计报表元数据备份还原安全审计日志系统移动运维系统过载保护数据存取自动缩扩容中间层高可用水位系统应用服务体检服务基础组件基础服务iDB自助服务系统数据库运维平台整体