CN115762129B 交通信号控制方法及模型训练方法、设备及存储介质 （阿里云计算有限公司）

本申请实施例提供一种交通信号控制方法目标区域的交通控制策略确定出的目标区域中2获取目标区域的交通状态信息；所述目标区域的交通状态信初始模型进行多轮次训练得到的收敛的全局网络模型；针对多轮次训练中的任一训练轮获取多个交通仿真环境各自对应的交通状态信息；所述交通根据所述多个交通仿真环境对应的交通状态信息，并行对所述多根据所述多个本地网络模型在每个训练轮次对应的训练结果根据所述多个本地网络模型在每次迭代后的模型参数，迭代调针对任一训练轮次，根据所述任一训练轮次的多个本地网根据所述任一训练轮次的多个本地网络模型输出的目标区域交个本地网络模型在所述任一训练轮次对应的训其中，第一个训练轮次的多个本地网络模型的输入为所述多3针对任一本地网络模型，根据所述任一本地网络模型对应的更新后的交通仿真环境，确定所述任一本地网络模型对应的更新后的交通仿真环境中的以所述任一本地网络模型对应的更新后的交通仿真环境中的车辆的平均延误时间为奖励，采用策略梯度算法调整所述任一训练轮次使用的所述任一本地网络模型的模型参所述根据所述多个本地网络模型在每次迭代后的模型参数，迭代调整所根据所述任一训练轮次使用的多个本地网络模型的调整后的模型参数根据所述任一训练轮次使用的多个本地网络模型对应的模型参数梯获取对所述目标区域中各路口进行交通信号控制之后的所述目标区域的交通环境信根据对所述目标区域中各路口进行交通信号控制之后的所述目标区域的交通环境信根据所述目标区域的交通控制策略，从预设的信号控制算法中所述利用所述目标信号控制算法和所述目标区域的交通控制策略，确定从所述子区划分结果，获取所述目标区域内需要协调控制的至少4根据所述至少一个子区内各路口包含的相位的绿波带宽度及所述至少一个子区的公所述根据所述至少一个子区内各路口包含的相位的绿波带宽及所述至少一个子区的根据所述至少一个子区内各路口包含的相位的最大绿灯时间和最所述根据所述至少一个子区内各路口包含的相位的绿波带宽及所述至少一个子区的根据所述至少一个子区内的各路口的进口相位的目标绿信比、根据所述多个本地网络模型在每个训练轮次对应的训练结果根据所述多个本地网络模型在每次迭代后的模型参数，迭代调整5将收敛的全局网络模型作为区域控制决策模型，以供利用所述区其中，所述根据所述多个本地网络模型在每个训练轮次对应述多个本地网络模型的模型参数，以得到所述多个本地网络模型在每次迭代后的模型参针对多训练轮次中的任一训练轮次，根据所述多个本地网络模所述根据所述多个本地网络模型在每次迭代后的模型参数，迭代调整所根据所述任一训练轮次使用的多个本地网络模型的调整后的模所述根据所述多个本地网络模型在每个训练轮次对应的训练结果，根据所述任一训练轮次使用的全局网络模型的调整后的所述处理器耦合至所述存储器，用于执行所述计算机程序以用于执行权利要6[0001]本申请涉及交通控制技术领域，尤其涉及一种交通信号控制方法及模型训练方[0004]本申请的多个方面提供一种交通信号控制方法及模型训练方法、设备及存储介[0008]根据所述目标区域的交通控制策略，确定所述目标区域中各路口的信号控制参[0014]根据所述多个本地网络模型在每次迭代后的模型参数，78[0035]交通控制设备20主要用于通过指定区域P中各路口的交通信号灯10进行控制的设[0036]相应地，移动网络的网络制式可以为2G(如全球移动通信系统(GlobalSystemforMobileCommunications，GSM)等)、2.5G(如，通用无线分组业务(GeneralPacketRadioService，GPRS)等)、3G(如宽带码分多址(WidebandCodeDivisionMultipleAccess，WCDMA)、时分同步码分多址(TimeDivision-SynchronousCodeDivisionMultipleAccess，TD-SCDMA)、码分多址2000(CodeDivisionMultipleAccess2000，CDMA2000)、通用移动通信系统(UniversalMobileTelecommunicationsSystem，UTMS)等)、4G(如长期演进(LongTermEvolution，LTE)等)、4G+(如升级版长期演进(LTE-Advanced，LTE-A)等)、5G、全球微波接入互操作性(WorldInteroperabilityfor一服务器设备，也可以云化的服务器阵列，或者为云化的服务器阵列中运行的虚拟机[0039]在本申请实施例中，不限定服务端设备30获取目标区域P的交通状态信息的具体9[0041]车辆的跟车模型参数是指反映相互跟随的前后车辆之间有关信息的数据，可包标区域P内的车流信息包括但不局限于：目标区域P内的车流的始点和终点(Originand[0042]在本申请实施例中，不限定服务端设备30获取目标区域P的交通环境信息的具体标区域P内的车辆的定位信息及车辆的运动[0043]进一步，信息采集设备40可将采集的目标区域P的交通环境数据提供给服务端设的信号控制算法的更高一层的决策。由于该交通控制策略是根据目标区域P的交通状态信[0049]其中，路口的信号周期是指交通信号灯经历各个相位回到初始状态所经历的时[0052]区域交通控制策略3：拥堵缓解策略。拥堵缓解策略是指缓解道路交通拥堵的策策略可包括上述实施例示出的区域交通控制策略1-4中的一种或多种，多种是指2种或2种[0059]在确定出目标区域P的交通控制策略之后，服务端设备30可根据目标区域的交通[0060]进一步，服务端设备30可将目标区域P中各路口的信号控制参数提供给交通控制中各路口的各色信号灯的启亮时间和相位时长，对各路口的交通信号灯进行交通信号控[0063]值得说明的是，上述交通控制设备20对目标区域P内的各路口进行交通信号控制[0069]在本实施例中，关于步骤201的具体实施方式，可参见上述系统实施例的相关内局网络模型在模型训练阶段的输入为交通仿真状态的交通状态信息(记为s)；输出为交通[0091]基于每个交通仿真环境包含的信号控制算法，在根据任一训练轮次X使用的任一本地网络模型A输出的目标区域交通控制策略，确定训练轮次X使用的本地网络模型A对应的仿真区域的交通控制策略，从预设的信号控制算法中确定与训练轮次X使用的本地网络X使用的本地网络模型A输出的仿真区域的交通控制策略适配的目标信号控制算法和训练轮次X使用的本地网络模型A输出的仿真区域的交通控制策略，确定训练轮次X使用的本地[0093]相应地，可从训练轮次X使用的本地网络模型A输出的仿真区域的子区划分结果以至少一个子区内各路口包含的相位的绿波带宽度最大化为目标，对该数学模型进行求的仿真区域包含的至少一个子区内各路口的信号控制参数，进而得到训练轮次X使用的本地网络模型A对应的交通仿真环境中各路口的练轮次X使用的本地网络模型A输出的仿真区域的交通控制策略适配的目标信号控制算法，[0098]在得到任一训练轮次X使用的任一本地网络模型A对应的交通仿真环境中各路口的交通仿真环境中车流的影响，更新训练轮次X使用的本地网络模型A对应的交通仿真环[0099]采用上述相同的实施方式，可得到任一训练轮次X使用的多个本地网络模型各自[0100]进一步，在步骤403中，可根据多个本地网络模型在每个训练轮次对应的训练结局网络模型作为上述实时在线确定目标区域的交通控制策略的区域控制代调整多个本地网络模型的模型参数，根据多个本地网络模型在每次迭代后的模型参数，训练出的区域控制决策模型后续进行区域交通控制策略决策的到任一训练轮次X使用的多个本地网络模型的调整的延误时间是指车辆实际行车时间与车辆在自由流状态下不停车的行驶时间之间的时间[0105]进一步，可以任一本地网络模型A对应的更新后的交通仿真环境中的车辆在设定的本地网络模型A的模型参数，以得到训练轮次X使用的本地网络模型A的调整后的模型参用的多个本地网络模型对应的模型参数梯度，采用决策梯度算法联合调整训练轮次X使用[0109]进一步，可将上述得到的任一训练轮次X使用的多个本地网络模型对应的多个更新后的交通仿真环境对应的交通状态信息，作为训练轮次X的下一训练轮次使用的多个本更新后的交通仿真环境Ei+1中，获取下一时间片(下一训练轮次)输入的交通状态信息Si+1。状绿波协调算法适用于上述区域交通控制策略2，单路口排队均衡算法适用于上述区域交至少一个子区内各路口包含的相位的绿波带宽度最大化为目标，对该数学模型进行求解，以得到至少一个子区内各路口包含的相位的各路口的信号配时方式对应的信号配时优化算法，对至少一个子区内各路口进行信号配中各路口的信号控制参数，确定目标区域中各路口的各色信号灯的启亮时间和相位时长，上述区域控制模型进行更新从对目标区域中各路口进行交通信号控制之后的交通状态信将对目标区域中各路口进行交通信号控制之后目标区域中车辆的平均延迟时间作为区域[0126]需要说明的是，上述实施例所提供方法的各步骤的执行中，第一个训练轮次的多个本地网络模型的输入为多个交通仿真环境对应的交通状态信[0139]在一些实施例中，处理器70b在根据任一训练轮次的多个本地网络模型输出的目本地网络模型，根据任一训练轮次使用的任一本地网络模型输出的目标区域交通控制策略，确定任一训练轮次的任一本地网络模型对应的交通仿真环境中各路口的信号控制参数；根据任一训练轮次的任一本地网络模型对应的交通仿真环境中各路口的信号控制参[0141]相应地，处理器70b在根据任一训练轮次使用的多个本地网络模型的调整后的模到任一训练轮次使用的全局网络模型的调整个子区的公共信号周期，采用目标区域内各路口的信号配时方式对应的信号配时优化算[0149]本实施例提供的计算设备在交通信号控制时，可根据目[0150]本实施例提供的计算设备在模型训练时，可实现多个本相应控制逻辑。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实门阵列(Field-ProgrammableGateArray，FPGA)、可编程阵列逻辑器件(Programmable(ComplexProgrammableLogicDevice，CPLD)等可编程器件；或者为先进精简指令集现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0160]这些计算机程序指令也可存储在能引导计算机或