CN115297508B 一种巨型星座卫星网络路由负载均衡方法及系统 （西安交通大学）

一种巨型星座卫星网络路由负载均衡方法本发明公开了一种巨型星座卫星网络路由经验值及压缩后的状态向量发送至地面管控中期更新Eval_Net；地面管控中心下发深度递归Q策略更新，实现巨型星座卫星网络路由负载均2首重新选取机制由当前簇首负责收集簇内各簇成员的剩余能量信息，完成簇首选举计算，其中，E,(i)为各卫星节点剩余能量，Eao(i)为簇内卫星节点平均剩余能量，Araaw,为S4、依据步骤S1建立的巨型星座卫星网络拓扑及步Target_Net的深度递归Q网络以及超网络的权重和偏置；Eval_Net负责实时路由决策，S6、基于步骤S5获取的与邻居节点的连接信息，S7、各簇首定期收集步骤S6由各卫星生成的经验S8、地面管控中心依据步骤S7中各簇首发送的经2.根据权利要求1所述的巨型星座卫星网络路由负载均衡方法，其特征在于，步骤S133.根据权利要求1所述的巨型星座卫星网络路由负载均衡方法，其特征在于，步骤S34.根据权利要求1所述的巨型星座卫星网络路由负载均衡方法，其特征在于，步骤S45.根据权利要求1所述的巨型星座卫星网络路由负载均衡方法，其特征在于，步骤S5模型构建模块，依据拓扑生成模块建立的巨型星座卫星网络拓扑及4Target_Net的深度递归Q网络以及超网络的权重和偏置；Eval_Net负责实时路由决策，路由决策模块，基于链路判断模块获取的与邻居节点的连接信息构建的多智能体深度强化学习模型中卫星节点星上的智能体依据当前观测空间做出下一经验发送模块，各簇首定期收集路由决策模块由各卫5巨型星座时，由于巨型星座的卫星规模问题，效率往往非常低下。传统路由算法如基于网络拓扑的可预测性和规律性的分布式巨型星座路由算法能够尽可能地减轻链路或节点的奖励值只取决于局部环境的观察。同时在结构上强制每个智能体的联合行动值是单调[0006]多智能体深度强化学习可以完成一组智能体之间的策略协同以实现全局奖励值6[0023]其中，Er(i)为各卫星节点剩余能量，Eav(i)为簇内卫星节点平均剩余能量，7模块构建的多智能体深度强化学习模型中卫星节点星上的智能体依据当前观测空间做出[0038]经验发送模块，各簇首定期收集路由决策模块由各卫星生成的经验值及负载信[0039]网络训练模块，地面管控中心依据发送模块中各簇首发送的经验数据及状态向8成实时路由决策，地面管控中心完成深度递归Q网络及混合网络的训练，有效降低星上开[0049]进一步的，建立Target_Net，训练时只对其进行参数更新，并定期传递参数只[0051]可以理解的是，上述第二方面的有益效果可以参见上述9[0058]图5为星座规模分别为6*6，12*12及24*24时的各路由方式的投递成功概率对比据包转发。通过巨型星座分簇完成网络状态信息的收集并集中至地面管控中心进行训练，[0077]各簇首收集簇内信息后回传至管控中心，完成多智能体深度强化学习模型的训d为当前任务的目标卫星节点轨内卫星编号。[0109]依据代价函数，进行反向传播并修正Target_Net的深度递归Q网络以及超网络的模块构建的多智能体深度强化学习模型中卫星节点星上的智能体依据当前观测空间做出[0124]经验发送模块，各簇首定期收集路由决策模块由各卫星生成的经验值及负载信[0125]网络训练模块，地面管控中心依据发送模块中各簇首发送的经验数据及状态向[0131](1)采用了多智能体深度强化学习模型完成了巨型卫星网络的分布式路由决策及[0132](2)集中式训练和分布式执行的策略，充分利用了计算资源较为丰富的地面管控[0133](3)多智能体深度强化学习模型对环境的适应能力较强，当空间链路变化较为剧现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0136]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一