CN116405904B 一种基于深度强化学习的tacs网络资源分配方法 （上海大学）

一种基于深度强化学习的TACS网络资源分本发明涉及一种基于深度强化学习的TACS所述通信场景中列车与列车间通信链路的最大先经验回放的深度确定性策略梯度算法对所述2针对列车自主运行系统构建隧道环境下的通信场景，并为在对所述通信场景中列车与列车间通信链路的最使用基于深度学习拟合、注意力机制和优先经验回放的深度确基于训练好的多智能体深度强化学习模型，获取最佳动所述的多智能体深度强化学习模型的构建过程包括将每个列车与列车间的通信链路作为智能体，各个智能体在状态空间中获取一个状由表示智能体在某一状态的情况下执行某一动作的概率动作价值,(T,-U)为传输所用的时间，Cc[m]为第m个列车与轨旁间通信链路的信道容量，为第n个列车与列车间2.根据权利要求1所述的一种基于深度强化学习的TACS网络资源分配方法，其特征在初始化多智能体深度强化学习模型中各个智能体的Actor深度学习神经网络，以及基重置车联网环境，更新列车位置，根据更新后的列车位从所述经验回放池中随机选取小尺寸的训练样本构成数据集，对各个智能体的Actor3.根据权利要求2所述的一种基于深度强化学习的TACS网络资源分配方法，其特征在4.根据权利要求3所述的一种基于深度强化学习的TACS网络资源分配方法，其特征在于，列车与列车间通信链路和列车与轨旁间通信链路的信道增益为：g,[m]=anh[ml，3其中h[m]为第n个列车与列车间通信发射机在第m个子带上的小尺度衰落功率分量，an5.根据权利要求2所述的一种基于深度强化学习的TACS网络资源分配方法，其特征在于，基于损失函数对所述智能体的Actor深度学习神经网络和Critic深度学习神经网络进6.根据权利要求1所述的一种基于深度强化学习的TACS网络资源分配方法，其特征在基于所述的最佳动作策略，获取最优的列车与列车间通信链路7.根据权利要求1所述的一种基于深度强化学习的TACS网络资源分配方法，其特征在8.根据权利要求1所述的一种基于深度强化学习的TACS网络资源分配方法，其特征在将列车自动运行、列车自动防护和列车自动监控业务划分为第4[0003]轨道交通车车通信的列车自主运行系统(TrainAutonomousCircumambulationSystem,TACS)模式存在列车与列车(Train_to_Train，T2T)以及列车与轨旁(Train_to_算法的普及，在TACS通信资源分配方案上面，比较先进的是采用深度Q_网络(DeppQ_Network，DQN)算法提出的一种基于多智能体深度强化学习(Multi_agentdeep[0004]本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于深度强化5略由表示智能体在某一状态的情况下执行某一动作的概率动作Ut)为传输所信链路的信道容量，M、N分别为列车与轨旁间通信链路数量和列车与列车间通信链路数[0018]初始化多智能体深度强化学习模型中各个智能体的Actor深度学习神经网络，以及基于多头注意力机制且去中心化的Crit[0020]从所述经验回放池中随机选取小尺寸的训练样本构成数据集，对各个智能体的Actor深度学习神经网络和Critic深度学习n[m]为第n个列车与列车间通信发射机在第m个子带上的小尺[0023]作为优选的技术方案，基于损失函数对所述智能体的Actor深度学习神经网络和6[0030](1)针对隧道环境的分配效果好：本方法基于隧道环境下的考虑信令优先级后的不必要的通信，从而提高信息交互的效率，更加准确地预测未来的状态和行为，此外，智能体深度确定性策略梯度(Multi_AgentDeepDeterministicPolicyGradient，7于通信的列车控制系统之上，但是原有的计算机联锁和区域控制器的功能集成到VOBC实nn8[0056]S4：将TACS通信中的频谱共享问题建模为一个MADRL问题。本步骤包括如下子步一个新的状态St+1选择执行的动作At+1。奖励Rt由T2T和T2W链路的系统容量以及相应T2T链9[0081]从经验回放池中随机采样m个训练数据构成数据集，发送给Actor现实网络、[0089]S61：深度学习拟合指本发明使用不同参数的深度神经网络来拟合确定性策略和[0095](3)每个智能体的注意力向量与其他智能体的输入向量进行点积运算，得到每个[0101]如图2所示，车载控制器(VehicleOn_BoardController，VOBC)通过基站_骨干网_核心网的方式与目标控制器(ObjectController，OC)、乘客信息系统(Passenger[0102]针对TACS通信场景中基于连续动作空间的多智能体深度强化学习的频谱共享问强化学习问题，提出一种基于分布式执行的多智能体深度确定性策略梯度(Multi_Agent能体算法可以实现分布式资源分配，有效提高了TACS系统的总容量以及降低了T2T链路的内储存有一个或多个程序，所述一