数据库性能展示平台介绍

1、数据库性能展示平台介绍京东金融金融科技 CleverDB产品背景CleverDB功能介绍CleverDB设计实现CleverDB最佳实践目 录CleverDB需求背景保证数据库架构的高可性保证数快速响应数据库服务数据的高一致性快速感知并处理故障隐患弹性调配硬件资源全面、智能的性能诊断实现数据共享和治理大促期间数据库性能容量必须撑日常510倍的峰值压力服务器数量 4000个四个IDC5000次每年DB优化次数需求服务 30000个每年变更需求数高可组 2500个集群个数6000个实例个数 300次每年切换次数数据库数量 15000个 7PBDB个数数据量CleverDB需求背景应层水平拆分读写分

2、离弹性扩容资源管控备份恢复动部署任务调度DB迁移 数据接口HA切换资源回收空间分析会话分析性能分析慢查询分析数据抽取复制订阅中间层数据库层大数据层产品组件查询机单助系统中间件Sharding-Sphere运维管理系统Mega性能展示平台CleverDB数据复制平台业务层级产品需求SQL助查询SQL助变更CleverDB需求背景消除DBA经验运维，消除运维差异，提升整体数据库运维能力。资源利率审计，合理资源评估，全面的资源信息展示。DBA技术等级分布1221，依赖经验运维服务体验差，法一对一服务疲于应急，需要学习空间扫除研发盲区，研发赋能，推崇主优化。离不开DBA：大促、升级变更、跑批、压测、排

3、障沟通成本高，主动关注数据库，驱优化减少报警，加强预警DB服务器使率考核,成本分摊资源申请提供准确的评估参考资源信息真实透明CleverDB功能介绍采大数据计算和机器学习技术，对数据库性能进行全面诊断，以户视角，进行性能指标的多维展 示，帮助户快速了解数据库运行状况、动定位问题和故障解决 。多维度、细粒度诊断通过会话、空间、性能、慢SQL等维度分析实现对数据库进行全位诊断智能分析全面诊断推出智能优化服务，多个功能利神经络、机 器学习和大数据计算等技术 实现智能化解决案户视角化繁为简，所有资源信息、性能状态和问题隐患直观展示， 定期推送巡检报告SQL诊断会话分析锁分析SQL优化DB画像性能曲线概

4、览空间分析大盘统计概览cleverdbCleverDB功能介绍实例热力图可以直观展 现db实例评分高低，直 击存在性能隐患的db实 例实例信息表格可以查看 机器ip、机房、业务线、高可角色等基础信息点击注册可以查看主从 关系表，显示主从连接 情况，例如延迟、是否 正常连接以及评分等概 览信息CleverDB功能介绍 - 页热力图实例列表资产列表实例详情会展示不同维度评分状态实例与机器信息可以让户知道数据库基本信息评分图展示了历史评分和预测评分Qps/tps、会话信息曲线可以让户在就能看到实例运行情况CleverDB功能介绍 详情实例评分概述实例指标详情硬件及核心参数配置性能趋势概览Clever

5、DB设计实现统一认证平台性能概览空间分析性能分析慢查询优化CleverDB Portal巡检报告智能评分SQL分析性能预测智能优化智能平台神经络 深度学习 模型训练计算平台Kafka Spark StormBinlog 慢查询 Err log 系统志会话 锁 参数 状态CPU MEMDisk NET信息概览户信息 评分展 核指标 故障诊断系统容量志件 DB容量 表件 索引件性能容量 性能趋势 系统性能 实时状态维度展 分析报表 优化推荐动优化信息概述 性能报告 隐患分析 优化建议会话分析访问链路 会话状态 事务状态 锁分析CleverDB设计实现 数据采集CMDB硬件信息软件信息实例信息库表信

6、息户信息状态信息系统负载VariablesStatus数据量 日志信息秒级监控心跳检测、uptime并发线程、连接数、lockCom_、innodb_rows_Load、带宽复制状态慢查询采集执行计划 SQL解析抽象LVSClinet数据接收Tracker清洗计算合并入库MegaParser评分系统秒级监控系统巡检性能展示MongowebmsgmailAPI上报中转节点采集失败影响采集数据存储CleverDB设计实现 数据采集户视全诊断多维展隐患量化智能分析用户反馈 多次迭代 专属DBACleverDB设计实现 智能评分Mega加权评分列表区间列表权重实例分级业务分级Mongo机器学习智能评分

7、评分 模型模型训练评分API综合评分单项评分评分输出热力图DB画像 动态图 优化建议Mega WEB11个系统指标24个数据库指标CleverDB设计实现 智能评分1234CleverDB设计实现 慢查询SQL采集执行计划SQL解析统计分析索引优化优化推荐CleverDB设计实现 慢查询slowlogslowlogslowlogKafkaSpark StreamingpostAnalyzebackHbasestorageMax/min/avg 扫描行数Max/min/avg 执行时间Max/min/avg 返回行数发生次数执行计划统计信息慢查询细粒度时间分布慢查询top tableTop SQ

8、L慢查询分级（警告/严重）分析信息SQL分解SQL改写SQL优化优化建议CleverDB设计实现 慢查询增率类型占异常点清除策略扩容依据排障参考CleverDB设计实现 空间概览1余量2Top 排序增分布索引分析碎回收联动CleverDB设计实现 空间概览345库级别表级别机器级别总容量当前实例占可天数机器级 实例级别实例级别日志件数据件备份件增率表级别Top表增曲线冗余/效索引空间碎分析库级别Top库增量增率CleverDB设计实现 空间概览高并发uncommit大事务索引复杂SQL大分关联字段类型不一致应扩容夯住CleverDB设计实现 会话分析大部分会话问题都和应有关异步写，缓存读，结果

9、集，逻辑完整，索引合理CleverDB设计实现 会话分析活跃会话多维度分析历史曲线实时会话告警指示连接总数历史曲线多维度展示多时间区间展示可导出统计数据锁分析未提交会话事务锁MDL锁CleverDB设计实现 会话分析CleverDB设计实现 性能趋势数据容量库数据量增 表数据量增日志大增 磁盘空间增性能容量服务器峰值压力DB性能上限 实例评分是否需要扩容增率连接数活跃并发数LOAD、带宽 TPS、QPS故障诊断PID应IP USER库表SQLlock、事务CleverDB设计实现 性能趋势数据说明CPU利情况以QPS查询数据为考核指标，同样CPU资源下QPS越高说明SQL语句效率好，QPS低说

10、明SQL逻辑复杂IO利情况读IO以QPS为考核指标，同IO资源情况下，QPS低说明数据访问不合理，过多的查询冷数 据，或者SQL不够优化，扫描了过多的不必要数据行。写IO以TPS为考虑指标，同IO资源情况下，TPS低说明单个事务过大，操作数据行过多。计算式第一档第二档第三档第四档CPU利情况qps/cpu percent0150015005000150080008000读IO利情况Qps/(write iops + read iops)/30000 percent030003000600060001000010000写IO利情况Tps/(write iops + read iops)/30000 percent0100010003000300050005000CleverDB设计实现 容量评估CleverDB设计实现 实时服务CleverDB设计实现 户赋能锁等待未提交会话终确保binlog已经备份确保binlog已经被从库拉取Binlog清理确保回收期间主从事务一致性可随时终守护进程确保不影响db服务碎回收流量镜像