CN115866787B 融合终端直传通信和多接入边缘计算的网络资源分配方法 （国网吉林省电力有限公司）

融合终端直传通信和多接入边缘计算的网本发明提供一种融合终端直传通信和多接先训练好的基于DDQN的深度强化学习框架的资2根据选择的设备，利用预先训练好的基于DDQN的深度强化学习框架迭代选择终端直传通信的设备，根据资源优化策略选择卸载位置从ExperienceReplay中取样数据进行网络训练；每隔一段时间更新TargetQ_第m条设备到基站传输链路的传输功率；p"表示第k条设备到设备传输链路的传输功耗；m个设备能提供的最大发射功率；表示第m个设备到第m9个设备的传输链路的传输功32.根据权利要求1所述的融合终端直传通信和多接入边缘计算的网络资源分配方法，比γm与设备到设备传输链路的频谱资源23.根据权利要求2所述的融合终端直传通信和多接入边缘计算的网络资源分配方法，D是所有设备到设备传输链路共享相同资源块的总干扰功率；4其中表示频谱复用系数，表示第n个设备到基站传输链路和第m个巡检设备的第i个接收机共享同一频谱，否则是第n个设备到基站传输链路的干扰功率n为设备到基站传输链路传输功率；4.根据权利要求3所述的融合终端直传通信和多接入边缘计算的网络资源分配方法，mm表示设备的CPU频率；5学习的融合终端直传通信和多接入边缘计算的分布式[0002]第五代移动通信技术(5thGenerationMobileCommunicationTechnology,5G)器学习算法实现变电站智能化、高效巡检具有重要的实际意义。其中，终端直传通信有效提升5G服务智能电网的能力，但是需要解决D2D频谱复用和干扰条件下的通信资源优[0003]MEC可在靠近终端设备的无线接入网内提供下沉的云计算能力。应用程序和服务为基础研究D2D用户接入蜂窝网络的模式和资源分配问题，实现了D2D总用户数据速率最6[0005]本发明的目的在于提供一种基于深度强化学习的融合终端直传通信和多级边缘[0007]本发明提供一种融合终端直传通信和多接入边缘计算的网络资源分配方法，包[0014]从ExperienceReplay中取样数据进行网络训练；每隔一段时间更新TargetQ_个设备到设备的传输链路重复使用第m个设备[j,m,][m,i]＝1表示第j个巡检设备的第m,个接收表示第k条设备到设备传输链路的传输功耗；表示第m个设备任务卸载时的功耗；P,示第m个设备到第m,个设备的传输链路的传输功率；是第j个巡检设备到第m,个巡检设7信干噪比γm与设备到设备传输链路的频谱资设备到基站(D2B)链路和第k条设备到到基站传输链路信道的功率增益，hk表示[0030]其中表示频谱复用系数，表设备的第i个接收机共享同一频谱，否则是第n个设备到基站传输链路的干8[0042]根据本地计算量和巡检设备的CPU参数，可计算设备任务卸载时的功耗为：a1＝pi表示为第i个分配功9语和科学术语)具有与本发明所属领域中的普通技术人员的一般理领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特和设备到基站(DevicetoBaseStation,D2B)链路集合定义为vme1,2,…,MO巡检设备[0074]无线资源的分配分为时域和频域两个维度。时域维度主要是每个传输时间间隔带宽子信道，需要进行子频道的分配。单个TTI与单个子信道构成系统资源块(Resource[0075]在已知发射功率和噪声功率σ2的条件下，第m个D2B链路的的第i个接收机的功率增益；是接收到的噪声功率，ρ是复用同一RB的D2B链路的干扰功D是所有D2D链路共享相同RB的总干扰功率。[0086]其中表示频谱复用系数，表示第n个D2[0089]其中是第j个巡检设备到第m,个检设备到第m,个巡检设备的D2D链路干扰功率增益；χ[j,m,][m,i]也表示频谱复用系数，χ[j,m,][m,i]＝1表示第j个巡检设备的第m,个接收机和第m个巡检设备的第i个接收机使用相[0098]计算时延是任务处理另一个关键指标，与巡检设备或服务器的计算资源密切相中需要进行归一化处理。对原始数据x进行归一化后得[0120]深度强化学习综合强化学习的决策能力和深度神经网络强大的数据分析能[0126]D2B链路存在严格的延迟和可靠性要求，在DDQN中，这些约束直接表示为奖励函数。本实施例所提出的资源管理方案的目标是确保满足D2B链路的延迟约束，同时最小化[0129]令表示系统的能效，则系统奖励函数可简化为如下形:[0139]环境模拟器包括D2D设备和集成MEC服务器及其通道，其中D2D设备位置是随机生本实施例提出的DDQN算法具有一定的可靠[0158]本实施例研究了巡检设备数量和子载波数量d对卸载策略的影响，结果如图5所[0159]图6研究了不同算法的奖励的训练结果，可以看出DDQN算