CN115827239B 一种基于深度强化学习的动态频率和深度学习模型卸载联合调节方法及系统 （哈尔滨工业大学）

US2022255790A1,202一种基于深度强化学习的动态频率和深度本发明提出了一种基于深度强化学习的动态频率和深度学习模型卸载联合调节方法及系缘设备的能耗和端到端延迟；再构建基于DRL的备的计算频率和特征图的卸载比例来减少边缘21.一种基于深度强化学习的动态频率和深度学习模型卸载联合调节方法，其特征在任务的计算能耗Ef取决于边缘设备的本地计算时间ci和计算功率rf，表示为Ef=,和计算频率fi，即，rfv2·f；CPU的频率为ff，GPU的频率为ff，内存的频率为，则计算频率f=(ff,ff,fy)；任务的卸载功耗E?与网络带宽B、卸载特征图的大小m以及卸载功率r?有关，记为，；步骤2，基于步骤1建立的边缘设备能耗最小化模型，构建基于步骤3.1，将步骤1建立的边缘设备能耗最小化模型中的优化目标转化为DRL中的奖励为S={p,d,B}；表示为A={f,}，其中f=(ff,ff,fy)；3之前的动作ct-Htta已经滑动到一个新的未观测状态st+tas，即并发环境中的状态捕获和所述基于DVFS的边云协同推理框架包括边缘设备的本地推理和云服务器的远使用局域网LAN上的WiFi作为通信介质以将DNN的特征图从边缘设备卸载到云服务在时刻t，智能体会在离散时间的并发环境下捕获到状态st，同时智能体会根据并发用公式(3)计算并发环境下的Q值，并根据梯度下降更新网络参数，最后将离线训练好的46.一种基于深度强化学习的动态频率和深度学习模型卸载联合调节系统，其特征在所述联合调节系统包括边缘设备能耗优化模块、边云协同推理框架搭建所述边缘设备能耗优化模块用于建立边缘设备能耗最所述边云协同推理框架搭建模块基于边缘设备能耗优化模块建立的边缘设备能耗最所述DVFS优化算法构建模块根据边云协同推理框架搭建模块构建的DVFS的边云协同所述卸载模块用于建立卸载机制，以解决特征图的卸载瓶颈问题，所述处理器执行所述计算机程序时实现权利要求1至5中任意一项所述方理器执行时实现权利要求1至5中任意一项所述方法5[0002]边云协同推理以及传统的动态电压和频率调节(DVFS)技术能够有效平衡边缘设备的功耗和推理延迟。边云协同范式将深度神经网络(DNN)的部分特征图从本地设备卸载小型神经网络将两部分推理结果融合以得到最终输出。DVFS是一种应用广泛的低功耗技[0004]本发明提出了一种基于深度强化学习的动态频率和深度学习模型卸载联合调节[0015]任务xi的计算能耗Ef取决于边缘设备的本地计算时间ci和计算功率rf,表示为6[0017]CPU的频率为ff,GPU的频率为ff,内存的频率为则计算频率fi=(f,ff,f#):rvc·f:pti⃞t(1)[0025]所述基于DVFS的边云协同推理框架包括边缘设备的本地推理和云服务器的远程[0026]使用局域网LAN上的WiFi作为通信介质以将DNN的特征图从边缘设备卸载到云服动作空间表示为A={fi,引,其中f=(ff,ff,f州):[0041]所述DRL中的智能体在时刻t观测到环境的状态si，当它选择一个动作lt+tas的同7时，之前的动作已经滑动到一个新的未观测状态st+tas"即并发环境[0059]所述联合调节系统包括边缘设备能耗优化模块、边云协同推理框架搭建模块、[0061]所述边云协同推理框架搭建模块基于边缘设备能耗优化模块建立的边缘设备能[0062]所述DVFS优化算法构建模块根据边云协同推理框架搭建模块构建的DVFS的边云8[0067]本发明用于云边协同推理中的DNN特征图卸载，以最小化边缘设备的能耗。使用“边移动边思考”并发策略的强化学习算法为每个任务计算特征图的最佳卸载比和边缘设[0071]图4为不同数据集上的能耗和端到端延迟比较图，其中(a)为EfficientNet_B0在耗和平均延迟对比图，(c)为EfficientNet_B0在PASCALVOC_2012数据集上的平均能耗和9[0085]任务xi的计算能耗Ef取决于边缘设备的本地计算时间ci和计算功率rf,表示为[0088]CPU的频率为ff,GPU的频率为ff,内存的频率为则计算频率fr=(f,ff,f):例，分别表示为(f,ff,f)和ξ。本发明还假设边缘设备执行完推理和卸载后立即转为具[0097]所述基于DVFS的边云协同推理框架包括边缘设备的本地推理和云服务器的远程[0098]使用局域网LAN上的WiFi作为通信介质以将DNN的特征图从边缘设备卸载到云服这是基于rooflinemodel实现的，即利用计算密度评估当前DNN属于计算密集型还是内存[0110]工作负载xi的类型φi和当前测量的网络带宽B这三个离散度量构成了状态空间s,表示为[0112]例如(1500，900，1200，50)意味着在将CPU、GPU、和内存的时钟分别设置为的最小频率和最大频率之间均匀设置10个频率级别。[0115]如图2(a)所示，大多数DRL通常假设智能体在做出决策时所处的环境状态是静止作负载特征和网络带宽实时调节边缘设备的计算频率和特征图的卸载比例，因此减少DRL并发环境中的状态捕获和策略决策可以并发执行；其中H是从状态st到srxtu的动作轨迹的特征评估器得到的DNN特征图类型和当前网络带宽作[0129]在时刻t，智能体会在离散时间的并发环境下捕获到状态st，同时智能体会根据个时刻的状态作为一个动作轨迹存储到经验[0141]上述设计可以自动为不同类型的DNN选择合适的分区策略，以缓解卸载的特征图[0144]所述联合调节系统包括边缘设备能耗优化模块、边云协同推理框架搭建模块、[0146]所述边云协同推理框架搭建模块基于边缘设备能耗优化模块建立的边缘设备能[0147]所述DVFS优化算法构建模块根据边云协同推理框架搭建模块构建的DVFS的边云率和特征图的卸载比例来减少边缘设备的整限，在推理过程中将批处理大小设置为1。此外，本发明选择EfficientNet_b0和VisualTransformer(ViT_B16)来分别代表内存密集型和当前最先进的云边协同方法(ApplealNet和D来决定任务使用边缘设备上的轻量级模型还是云服务器中的复杂模型。这里在云端部署EfficientNet_b1和VisualTransformer(ViT_B32)两个复杂度更高的DNN分别对应边缘端利用轻量级的带宽控制工具trickle将网络带宽的传输速率设置为5Mbps。图4展示了在不同数据集上分别利用本地和云边协同方式推理EfficientNet_B0和VisualTransformer[0164]DVFO引入了额外的运行时开销(即利用DRL确定适当的计算频率和卸载比)，这对[0165]表1是边缘设备和云服务器的具体参数。本发明使用一个NVIDIAXavierNX作为贪心策略的DQN的网络和目标网络均使用Adam优化器进行训练。整个网络由三个隐藏层和示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(staticRAM，DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(doubled