CN114328291B 一种工业互联网边缘服务缓存决策方法及系统 （中国科学院深圳先进技术研究院）

一种工业互联网边缘服务缓存决策方法及本发明实施例中的工业互联网边缘服务缓存决策方法通过基于分布式深度强化学习方法构建2S1.基于只有服务器中缓存了相应的服务数据才可以执行服务相对应的任务对工业互S3.根据边缘服务器之间和边缘服务器与云服务器之间数据传输的功率，以及边缘服务器与云服务器的计算功率对所述工业互联网系统的其中，以优化目标求解出最优的服务缓存策略，达到最小化上，服务缓存策略为如果t时刻边缘服务器n上缓存了服务S51.将多个并行深度神经网络DNN与强化学习算法Q-learning相结合，构建一个并行3S52.在训练阶段中依据当前状态以贪婪策略选择S53.在决策阶段中通过多个并行的深度神经网络生成多个缓存决策并存入动作集合动作执行为并行执行，所述深度神经网络DNN包括两个具有相同结构但参数不同的神经网7.一种采用如权利要求1-6任意一项所述方法的工业互联网边缘服务缓存决策系统，所述数学建模模块基于只有服务器中缓存了相应的服务数据才可以执行服务相对应根据边缘服务器之间和边缘服务器与云服务器之间数据传输的基于系统模型、延时模型和能耗模型，建立达到最小化的服务访所述服务缓存决策模块基于分布式深度强化学习方法构建能够实现所述优化目标的所述算法构建单元将多个并行深度神经网络DNN与强化学习算法Q-learning相结合，所述训练单元在训练阶段中依据当前状态以贪婪策略选择一个动作执行所述决策单元在决策阶段中通过多个并行的深度神经网络生成多个缓存决策并存入4两个具有相同结构但参数不同的神经网络结构；一个是用于预测所述强化学习算法Q-5[0006]S1.基于只有服务器中缓存了相应的服务[0008]S3.根据边缘服务器之间和边缘服务器缘服务器与云服务器的计算功率对所述工业互联网系统的能耗进行数[0011]本发明还提供一种采用如上述任意一项所述方法的工业互联网边缘服务缓存决[0012]所述数学建模模块基于只有服务器中缓存了相应的服务数据才可以执行服务相6务器与云服务器的计算功率对所述工业互联网系统的[0016]所述服务缓存决策模块基于分布式深度强化学习方法构建能够实现所述优化目员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范N个边缘服务器组成，表示为N=1,2,…N,每个边缘服务器都可以为传感器设备和工7限的，边缘服务器n的计算能力和存储能力分别表示为和Me.令Fcloud表示云服务[0025]参见图1-3，根据本发明一实施例，提供了一种工业互联网边缘服务缓存决策方[0026]S1.基于只有服务器中缓存了相应的服务[0028]在工业互联网系统中，产生的服务集合表示为本发明假设不同的服务有不同数据量，需要不同计算资源和存储资源来处理，分别用fl和ml来表示，其中leL。每个边缘服务器都可以缓存一个或者多个服务。本发明定义一个二进制变量xl,nl,n,μl,c的值可以采用多种不同的策略来进行设置，但总体需要满足以下条8[0050]S3.根据边缘服务器之间和边缘服务器缘服务器与云服务器的计算功率对工业互联网系统的能耗进行数9[0067]S51.将多个并行深度神经网络DNN与强化学分别表示边缘服务器n的存储和计算能力，到达的服务请=Υt。[0077]设置m个并行的神经网络单元与Q-learning相结合来产生动作。每个神经网络动a',观察获得的奖励R,(s,a;)和得到新的状态st+1。[0096]S53.在决策阶段中通过多个并行的深度神经网络生成多个缓存决策并存入动作DNN包括两个具有相同结构但参数不同的神经网络结构；一个是用于预测强化学习算法Q-[0110]本发明还提供一种采用如上述任意一项方法的工业互联网边缘服务缓存决策系[0111]数学建模模块基于只有服务器中缓存了相应的服务数据才可以执行服务相对应务器与云服务器的计算功率对工业互联网系统的[0117]算法构建单元将多个并行深度神经网络DNN与强化学习算法Q-learning相结合，[0119]决策单元在决策阶段中通过多个并行的深度神经网络生成多个缓存决策并存入[0120]进一步的，算法构建单元将服务最优化缓存问题描述为一个的动作执行为并行执行，深度神经网络DNN包括两个具有相同结构但参数