CN119428755A 一种基于双重交互感知的智能网联汽车协同决策方法 （天津大学）

一种基于双重交互感知的智能网联汽车协本发明公开了一种基于双重交互感知的智设计双重互感知协同控制策略DIACC；利用分布式的交互自适应决策模块D_IADM学习与周围车增强评价器C_IEC模块捕捉全局车辆交互与全局2利用集中训练和分布式执行多智能体强化学习框架，设计双重互感知协同控制策略利用分布式的交互自适应决策模块D_IADM学习与周围车辆的交互特征和交通环境信利用集中式交互增强评价器模块C_IEC捕捉全局车辆交互与全局交通动态之间的关2.根据权利要求1所述的一种基于双重交互感知的智能网联汽车协同决策方法，其特征在于：双重互感知协同控制策略DIACC包括一个集中式的评论家网络和若干个分布式的集中式的评论家网络通过访问混合交通系统的全局信息来行者网络利用集中式的评论家网络提供的全局信息最大化其个3.根据权利要求2所述的一种基于双重交互感知的智能网联汽车协同决策方法，其特设计多智能体强化学习框架下的状态空间包括每辆车的运动状态、eg＝1_ρ和wtp＝n_1+ρ是与智能网联汽车渗透率相关的每个奖励成分的权重；e,vgg3g,vg,v4.根据权利要求1所述的一种基于双重交互感知的智能网联汽车协同决策方法，其特5.根据权利要求4所述的一种基于双重交互感知的智能网联汽车协同决策方法，其特建立自身车辆与周围智能网联汽车的交互图，以自身车辆与周围智能6.根据权利要求5所述的一种基于双重交互感知的智能网联汽车协同决策方法，其特主动安全的动作过滤器PSAF以碰撞时间TTC作为主动安全评估指7.根据权利要求1所述的一种基于双重交互感知的智能网联汽车协同决策方法，其特8.根据权利要求7所述的一种基于双重交互感知的智能网联汽车协同决策方法，其特9.根据权利要求8所述的一种基于双重交互感知的智能网联汽车协同决策方法，其特4解的集中优化方法计算成本相当高；2.单智能体强化学习的方法更适合解决局部控制问[0007]利用分布式的交互自适应决策模块D_IADM学习与周围车辆的交互特征和交通环[0008]利用集中式交互增强评价器模块C_IEC捕捉全局车辆交互与全局交通动态之间的[0009]优选的，双重互感知协同控制策略DIACC包括一个集中式的评论家网络和若干个5g＝1_ρ和wtp＝n_1+ρ是与智能网联汽车渗透率相关的每个奖励成分的权re,vggg,vg,v6上下文信息以及上一时刻的决策指令得到综合特征，将综合特征输入到门控循环单元GRU[0037](1)本发明利用分布式的交互自适应模块D_IADM学习与周围车辆的交互特征和交[0039]图1是本发明一种基于双重交互感知的智能网联汽车协同决策方法实施例的整体[0040]图2是本发明一种基于双重交互感知的智能网联汽车协同决策方法实施例的混合[0041]图3是本发明一种基于双重交互感知的智能网联汽车协同决策方法实施例的静态[0042]图4是本发明一种基于双重交互感知的智能网联汽车协同决策方法实施例的轨迹[0043]图5是本发明一种基于双重交互感知的智能网联汽车协同决策方法实施例的碰撞7[0044]图6是本发明一种基于双重交互感知的智能网联汽车协同决策方法实施例的集成[0045]图7是本发明一种基于双重交互感知的智能网联汽车协同决策方法实施例的15辆[0046]图8是本发明一种基于双重交互感知的智能网联汽车协同决策方法实施例的25辆[0047]图9是本发明一种基于双重交互感知的智能网联汽车协同决策方法实施例的15辆[0051]如图1所示，一种基于双重交互感知的智能网联汽车协同决策方法，包括以下步[0052]集中训练和分布式执行多智能体强化学习框架，设计双重互感知协同控制策略部分可观察马尔科夫决策过程。多智能体强化学习模型可表示[0055]在设置中，每个智能网联汽车i在任意时刻t观察其局部状态ot,并根据其策略选择控制决策指令af,该策略由参数θ表征。所有智能网联汽车的集体目标是优[0056]根据混合交通系统演化特性和车辆交互需求设计多智能体强化学习框架下的状8g＝1_ρ和wtp＝n_1+ρ是与智能网联汽车渗透率相关的每个奖励成分的g[0068]全局奖励r反映了所有智能网联汽车在平均速度方面的整体表现，其具体形式gg,vg,v9[0074]利用分布式的交互自适应决策模块D_IADM学习与周围车辆的交互特征和交通环信息以及静态道路结构信息。邻近车辆集合M;包括在相同和相邻车道上的六辆最近的车联汽车i在过去不同时刻的状态信息；分别为相邻人工驾驶汽车1,…,Nn为相邻人工驾驶汽车l,…,NW在当前时刻的状态信息。首先连输入包括当前状态以及智能网联汽车i及其周围智能网联汽车的上[0088]自注意力机制量化了每个周围人工驾驶汽车对智能网联汽车i的相对重要性，这统计信息，自身车辆所在车道信息表示为F"、左侧车道信息表示为Fst,右侧车道信息[0091]然后，将综合观测嵌入特征和上一次的控制决策指令输入到门控循环单元(GRU)和决策层，以生成可学习决策指令a,GRU捕捉了不同时刻之间观测特征的时间依标车道前方车辆的相关指标表示为frrcf,adf},其中，rrcf为本车与前车的车间时距；df为本车与前车的相对距离。后方车辆的指标表示为TTcf为本车与后车令at,加速度或减速度设定为2m/s。根据智能网联汽车的当前速度以及计算出的加速度或[0097]利用集中式交互增强评价器模块C_IEC捕捉全局车辆交互与全局交通动态之间的别为交通流特征智能网联汽车运动特征ff和人工驾驶汽车运动特征然后将这些[0100]本发明将动态交通信息嵌入特征作为查询对象，将全局车辆交互特征作为键合透率为0.4的情况下使用MAPPO_IADM模型(融合本发明所设计的交互自适应决策模块D_IADM的多智能体强化学习算法)的混合交通；在智能网联汽车渗透率为0.4的情况下使用区。使用MAPPO_IADM和DIACC模型的混合交通场景相比使用SUMO默认模型的纯人工驾驶汽中，而在纯人工驾驶汽车交通场景中，车辆平均速度的分布范围更广。这表明，当使用用DIACC模型的混合交通则速度分布更为[0109]最后应说明的是：以上实施例仅用以说明本发明的技术