腾讯云数据库的AI技术CDBTune实践

1、腾讯云数据库的AI技术实践CDBTune：目 录智能调参背景01强化学习方法02CDBTune03性能评估04智能调参背景智能调参背景为什么需要数据库参数调优服务？参数非常多：例如MySQL，有几百个配置项，调优难度大人力成本高：需要专职DBA，依靠专家经验，人时成本高工具普适性：现存工具功能有限，耗时久效果一般云上新需求：部分用户没有专职运维团队，参数调优很难实现CDBTune：CDB团队研发的参数调优工具，使用深度强化学习方法（ Reinforcement Learning）自动调优数据库参数相比于现存方法，CDBTune无需细分负载类型，无需积累大量样本，可智能学习参数调优过程，获得较好

2、的参数调优效果调参方法对比采用方法训练时间推荐时间效果Search-Based Algorithm-长参数离散化，可能局部最优每次推荐耗时较长Pipelined ML长短需要大量高质量样本DNN长短需要大量高质量样本调整参数有限Heuristic SearchPipelined MLDeep Neural Networks强化学习方法强化学习(Reinforcement Learning)强化学习（Reinforcement Learning）通过学习如何把当前的情 境映射成动作，才能使得数值化的收益最大化模型抽象：智能体 Agent 环境 Env动作 Action / 状态 State /

3、回报 Reward强化学习强调 Agent 与环境进行交互的整个问题；利用已有经 验选择动作，并以一定概率探索未知动作，在两者之间权衡学习过程：在 t 时刻，Agent 观察到环境的状态 st ，并获得上一步中动作的回报rt Agent根据观察到的状态执行动作 at 作用于环境环境接收到动作 at，产生相应的状态变化 st+1，并产生相应的回报深度强化学习方法（Deep RL）Deep Q Network(DQN)DQN能否满足需求？解决状态空间大问题假设状态有63个维度，每个维度100个离散状态10063 使用神经网络替代固定的Q-Table，适应巨大的状态空间这也是我们的第一个版本的实现离

4、散控制方法，无法连续控制许多参数值域非常大（INT64_MAX），是连续正整数 DQN只能将这些参数离散化假设参数有64个，每个均分为1000份 100064 动作空间巨大，无法做到精确控制深度确定性策略梯度（DDPG）Deep Deterministic Policy Gradient(DDPG)通过随机探索 策略 -greedy，降低陷入局部最优的可能性NNNN直接输出连续参数，可以做到连续控制参数被归一化到 0, 1空间，模型直接输出实值参数StatesActionsStatesExploration & ExploitationDDPGValue(Score)解决状态空间大问题使用神经

5、网络替代固定的GQu-idTaeble，适应巨大的状态空间Each Knob 0, 1ActionsDDPG算法123Pseudo-code for DDPGReward FunctionCDBTuneCDBTune基于深度强化学习（DDPG）的，端到端的数据库参数自动调优系统CDBTunePolicyMapping from state to actionAgentCDBTune Agent0102关键元素映射ActionKnob Configurations (at)03EnvironmentCloud Database (CDB)04StateInternal Metrics (st)0

6、5RewardA scalar calculated by a reward function from latency and throughput06CDBTune基于深度强化学习（DDPG）的，端到端的数据库参数自动调优系统CDBTune负载（Workload）作用于数据库的业务流量01训练过程规则（Rule): Try-And-ErrorAgent以一定时间间隔调整数据库参数，并 记录数据库状态信息、TPS以及RT回报（Reward）基于回报函数，计算回报值；性能提升 带来正的回报值，性能下降则带来负的 回报值；通过正负回报值寻找调优方向目标（Goal）在尽可能少的时间里，获得更高的回报020304性能评估性能评估MySQL (CDB，4C/8G/RAM/100G Disk)ThroughputLatencySysbench RWSysbench ROSysbench WODRL智能调参优势化繁为简，无需对负载进行精确分类，实现端到端的推荐自我学习，探索各