CN110568760A 适用于换道及车道保持的参数化学习决策控制系统及方法 （吉林大学）

号适用于换道及车道保持的参数化学习决策本发明属于汽车高级辅助驾驶及无人驾驶及车道保持行为的参数化学习决策控制系统及其包括车辆在换道及车道保持场景下基于强化学习算法设计的学习决策方法以及其此类场景下对应的参数化后可适应于直道以及弯道道路2执行跟踪模块(D)；所述感知信号收集及数据存储模块(A)，用于获得当前车辆和周围环境车辆行驶状态型预测控制方法，使用学习决策参数模块(B)输出的具体决策参数值大小及感知信号收集所述感知信号收集及数据存储模块(A)与学习决策参数模块(B)、轨模块(C)以及执行跟踪模块(D)相连；所述学习决策参数模块(B)与轨迹规划及运动控制模2.根据权利要求1所述一种适用于换道及车道保持的参数化学习决策控制系统的方步骤一、通过感知信号收集及数据存储模块(A)获得车辆控制算法所需的本车与环境步骤三、通过轨迹规划及运动控制模块(C)根据学步骤四、通过执行跟踪模块(D)对算法输出的控3.根据权利要求1所述一种适用于换道及车道保持的参数化学习决策控制系统的方3在感知信号收集及数据存储模块A获得车辆控制算法所需的本车与环境车状态信息，N的计算方法为4.根据权利要求1所述一种适用于换道及车道保持的参数化学习决策控制系统的方学习决策参数模块(B)基于核函数的最小二乘策略迭代强化学习方法学习合适的决策对于环境车与本车的相对位置，以及对于环境车的位对于本车以其车道为基准的相对距离dN，并通过其相对于其车道中心线的侧向偏移Δd或转向灯信息Flag_light得到环境车的驾驶意图IN，其中下标N代表了位置N处对应的车辆；在本问题的框架下，换道及车道保持行为场景对控制模块(C)中的轨迹规划与运动控制控制器，分别对应模型预测控制器中的终端侧向偏T,4tar这两个连续变rr=βN是位置N处车辆相对于本车以其车道为基准的相对距离，dc是碰撞距离，TH=a为轨迹规划及运动控制模块(C)进行轨迹规划后返回的回报；表征状态-动作值函数；使用基于核函数的最小二乘策略迭代算法对最优策略进行求解强5]i,j=κ(mi,mj)为t-1×t-1维矩阵，得到核字典后，使用核词典中的特征向量线性逼近状态tii)]Tt代计算后估计状态-动作值函数的线性逼近权迭代持续到数据集内所有的样本状态与动作5.根据权利要求1所述一种适用于换道及车道保持的参数化学习决策控制系统的方6x行跟踪模块(D)中对车辆的纵向速度以及转向运动进行跟踪控制，保证同时这里将方程建立为r7Δa以及纵向速度数值变化率a与期望加减速行为atar偏差的积分型性能指标，控制器的目8[0003]本发明提出了一种适用于换道及车道保持行为的参数化学习决策控制系统及方[0006]所述感知信号收集及数据存储模块A，用于获得当前车辆和周围环境车辆行驶状9模型预测控制方法，使用学习决策参数模块B输出的具体决策参数值大小及感知信号收集模块C以及执行跟踪模块D相连；所述学习决策参数模块B与轨迹规划及运动控制模块C相[0012]步骤一、通过感知信号收集及数据存储模块A获得车辆控制算法所需的本车与环道中心线的偏移或转向灯信息得到环境车的驾驶意图即保持或者换道，以及本车的车道，[0017]在感知信号收集及数据存储模块A获得车辆控制算法所需的本车与环境车状态信N的计算方法为[0021]学习决策参数模块B基于核函数的最小二乘策略迭代强化学习方法学习合适的决d或转向灯信息Flag_light得到环境车的驾驶意图IN，其中下标N代表了位置N处对应的车运动控制模块C中的轨迹规划与运动控制控制器，分别对应模型预测控制器中的终端侧向方法表征状态-动作值函数；使用基于核函数的最小二乘策略迭代算法对最优策略进行求)]Tt=i+1；[0080]目标函数考虑预测时域内各控制量前轮转角δf和纵向速度数值变化率的变化量道及车道保持场景下基于强化学习算法设计的学习决策方法以及其此类场景下对应的参[0098]一种适用于换道及车道保持行为的参数化学习决策控制系统，收集的数据量达到一定阈值，使用基于核函数的最小二乘策略迭代强化学习算法进行学习。轨迹规划及运动控制模块C根据学习决策参数模块B输出的决策参数数值在线优化求集人类驾驶或在仿真环境中使用随机策略搜索动作空间。轨迹规划及运动控制模块C根据学习决策参数模块B输出的决策参数数值在线优化求解进行轨迹规划及运动控制。得到控[0102]步骤一、通过感知信号收集及数据存储模块A获得车辆控制算法所需的本车与环道中心线的偏移或转向灯信息得到环境车的驾驶意图(保持或者换道)，以及本车的车道，[0103]在感知信号收集及数据存储模块A获得车辆控制算法所需的本车与环境车状态信[0107]学习决策参数模块B基于核函数的最小二乘策略迭代强化学习方法学习合适的决N于轨迹规划及运动控制模块C中的轨迹规划与运动控制控制器，分别对应模型预测控制器[0127]这里我们将强化学习中的转移函数变化为一个实际的轨迹规划及运动控制模块a为轨迹规划及运动控制模块C进行轨迹规划后返回的回报。其具体取值将在轨迹逼近方法表征状态-动作值函数；使用基于核函数的最小二乘策略迭代算法对最优策略进)]Tt=i+1；于执行跟踪模块D中可对车辆的纵向速度以及转Y(tf)分别为预测时域终端时刻横摆角速度，侧向速