CN119512205A 基于知识驱动的无人船强化学习航向跟踪控制方法 （大连海事大学）

基于知识驱动的无人船强化学习航向跟踪本发明公开了一种基于知识驱动的无人船人船虚拟控制律获取无人船航向跟踪控制器的合RBF神经网络，根据反馈项构建用于应对一般第一切换控制器与第二切换控制器设计用于不人船航向跟踪控制方法在面对不同海上复杂环2S1：获取考虑航行在海上的无人船舶会受到环境并将无人船航向控制数学模型转换成应用于不同海况下的二阶船航向跟踪控制器的前馈项与反馈项；S4：基于强化学习方法，根据反馈项构建适用S6：利用阶跃函数，根据第一切换控制器与第二切换2.根据权利要求1所述的一种基于知识驱动的无人船强化学习航向跟踪控制方法，其S11：考虑航行在海上的无人船舶会受到各种干扰影响的带有不确定干扰项的无人船船舶操纵性的时间常数；a,p均表示为船舶艏摇角速度的非线性系数；表示的一阶导且满足，将无人船航向控制数学模型转换为二阶状态空间方程并作为航向跟踪,i=l表示复杂海况环境干扰；i=2表3i数K与船舶操纵性的时间常数T的中间参数量。3.根据权利要求2所述的一种基于知识驱动的无人船强化学习航向跟踪控制方法，其示复杂海况环境干扰下的转向角速度跟踪误差；表示一般海况环境干扰下的转向角速,;4.根据权利要求3所述的一种基于知识驱动的无人船强化学习航向跟踪控制方法，其,,,4并针对改写的求导后的转向角速度跟踪误差中的前馈项，构5.根据权利要求4所述的一种基于知识驱动的无人船强化学习航向跟踪控制方法，其,:表示(r)的简写表示的简写形式；u;表示在应对复杂海况的切换信号01下的最优控制S43：求解并获取第一代价函数关于重构反馈项的偏导数，并将其代入构建的HJB方,,5,,,,,;S48：将步骤S45中的与步骤S46中的代入步骤S43中，并结合步骤S47能够得,6;;,,,,,76.根据权利要求5所述的一种基于知识驱动的无人船强化学习航向跟踪控制方法,,;,,r与7.根据权利要求6所述的一种基于知识驱动的无人船强化学习航向跟踪控制方法，其t时刻的阶跃函数。89S11：考虑航行在海上的无人船舶会受到各种干扰影响的带有不确定干扰项的无,且满足，将无人船航向控制数学模型转换为二阶状态空间方程并作为航向跟踪,i-l即表示复杂海况环境干扰；i=2表i数K与船舶操纵性的时间常数T的中间参数量；,,表示转向角速度跟踪误差且，表示复杂海况环境干扰下的转向角速度跟踪误差；zzz表示一般海况环境干扰下的转向角速度跟踪误差；z1表示无人船的航向跟踪误;拟控制律的表达式为(=-G1Z1+a，,u?'表示应对复杂海况下的切换控制器的控制输入；,并针对改写的求导后的转向角速度跟踪误差中的前馈项，构建前馈优化控制器，,,式中：h(G)表示第一代价函数；表示h(G),,式中：表示第一代价函数关于重构反馈项:的偏导数；表示设计常,,S46：基于步骤S45获取偏导数的估计值，以获取最优控制器的单,,,,,,;;,,,,适用于复杂海况下无人船航向跟踪控制的航向,,式中：o2表示对应一般海况下的切换信号；表示应对一般海况下的切换控制,,,r与,t时刻的阶跃函数。[0011]有益效果：本发明提供了一种基于知识驱动的无人船强化学习航向跟踪控制方作为无人船航向跟踪控制模型；并根据无人船航向跟踪控制模型获取无人船虚拟控制律，以构建用于应对复杂海况下的第一切换控制器；与用于应对一般海况下的第二切换控制[0015]本实施例提供了一种基于知识驱动的无人船强化学习航向跟踪控制方法，如图1S11：考虑航行在海上的无人船舶会受到各种干扰影响的带有不确定干扰项的无,xa=),f(z)=-(av+B3),g=,4;=i,,,且满足，将无人船航向控制数学模型转换为二阶状态空间方程并作为航向跟踪,i,,zzu表示转向角速度跟踪误差且i=1,2，Z21表示复杂海况环境干扰下的转向角速度跟踪误,,,此外将上述所设计的虚拟控制律代入到S22中李雅普诺夫函数的导数，能够得,,,,并针对改写的求导后的转向角速度跟踪误差中的前馈项，构建前馈优化控制器，,,,:表示(r),,,,,S46：基于步骤S45获取偏导数的估计值，以获取最优控制器的单,,,,,;;,,;,,;,式中：o2表示对应一般海况下的切换信号；ug?表示应对一般海况下的切换,,,,无人船强化学习航向跟踪控制。,,,,,;;,,不同海况环境干扰下船舶航向跟踪控制系统的跟踪能力，其中图2为实施例中船舶航向角对参考航向的第一跟踪结果仿真图；图3为实施例中船舶航向角对参考航向的第二跟踪结船舶航向角与参考航向的第二跟踪误差仿真图；图6为实施例中一般海况下神经网络神经元权值的收敛结果仿真图；图7实施例中为复杂海况下神经网络神经元权值的收敛结果仿