机器学习在数据库运维上的应用

1、机器学习在数据库运维上的应用技术创新 变革未来Agenda介绍简介诉求需要解决的问题SmartDBS探索SmartDBS关键技术一些问题的探索Q&AQ&A相关相关产品介绍Agenda介绍简介诉求需要解决的问题SmartDBS探索SmartDBS关键技术一些问题的探索Q&AQ&A相关相关产品介绍作为京东零售的技术基础设施，技术架构部专注于大规模分布式系统的设计开发与工程实施，重点建设数据中心集 群管理和大规模计算资源调度、商品图片系统以及智能化、 分布式存储与数据库系统、消息队列与服务框架、日志平台 与监控系统等，持续推进京东零售整体系统架构的技术突破 与创新。介绍Agenda介绍简介诉求需要解

2、决的问题SmartDBS探索SmartDBS关键技术一些问题的探索Q&AQ&A相关相关产品介绍京东数据库运维过程中的诉求场景交易支付型数据库(OLTP)诉求稳定持续用户无感知业务高速增长，数据库快速及时扩缩容自动化，智能化任务调度繁重，数据库尽快提供服务分布式调度海罹性能和运维数据智能诊断传统方式的局限性被动优化(监控/报警/慢SQL/应用报错等)耗时耗力且低效，较难形成闭环受限于人的局限性，复杂场景缺乏扩展性决策过程中数据价值缺失，决策标准主观性较大DBA专家紧缺与数据库服务要求之间的矛盾更加突出Agenda介绍简介诉求需要解决的问题SmartDBS探索SmartDBS关键技术一些问题的探索

3、Q&AQ&A相关相关产品介绍诊断数据库瓶颈各项指标综合预测实时分类肃清数据分布式调度深度决策，智能识别Smart-DBS解决方案-SmartDBSSmartDBS价值专家系统专家决策，降本提效， 免去入员维护的主观性智能诊断多维数据建模分析 全而诊断数据库预测分析单指标特征预测多模型数据校验分析SmartDBS价值分类提取数据特征 按照特征分类分布式调度综合利用资源 单点痛点问题数据流图系统架构智能诊断目标影响目标系统正常的有效指标集决定目标系统正常与否的绝对指标集目标系统出现问题的根本原因智能诊断阳解智能诊断流程响应 延迟定口 异常指标 判断修复异常 刀大异常SQLLockConnectio

4、n异常分类目标单一数据链特征的普遍性数据库多重维度之间共同的特征数据库服务分类数据库服务分类流程特征 检验周 期 检 验概 率 分 布仙 线 分 布时 司 序 列特征 永类降维页l目标未来一段时间内数据的可能走势筛选准确的数据特征反馈调节数据的分类预测预测流程获取 特征周 期 检 验概 率 分 布仙 线 分 布时 司 序 列特征 生成预测 校验预测算法优化示例： arima优化前后对比算法优化前算法优化后决策的目标资源的合理分配反馈调节专家系统决策决策的流程优先 级别代价 模型代价 模型抉择 处理调度的目标解决单点故障充分利用现有资源调度调度的架构Agenda介绍简介诉求需要解决的问题Smar

5、tDBS探索SmartDBS关键技术一些问题的探索Q&AQ&A相关相关产品介绍待优化的场景调度延迟的连锁反应分类细化， 聚合难度增大决策准确率待提升Agenda介绍简介诉求需要解决的问题SmartDBS探索SmartDBS关键技术一些问题的探索Q&AQ&A相关相关产品介绍BinLake是一个集群化的数据库Binary Log管理、采集和分发系统， 并且透明集成JMQ和Kafka等消息分发和订阅系统。BinLake介绍Github 也扛: /jd-tiger/binlakeBinLake价值业务价值提高研发效率实现技术和资源共享技术价值优化资源使用数据流集群的管理分布式场景下如何能够继续保持服务的高效稳定Github 也扛: /jd-tiger/binlake数据图谱介绍数据图谱自动识别数据库的元数据主体，运维主体以及各个主体之间 的关系。元数据主体主要包括项目、逻辑库、逻辑表，分库名，分表 名等；运维主体包括Docker、物理机、集群、机架、机房等信息。 数据图谱将原来散落的元数据信息转化为知识网络，不同节点通过关 系组