CN118691779B 一种基于Transformer的结构化道路自动驾驶商用车全局定位方法 （江苏大学）

一种基于Transformer的结构化道路自动驾本发明提供了一种基于Transformer的结构结构化道路细节信息。Transformer自注意力机Transformer最后一阶段计算全局注意力时，使定位失准问题，从而预测出更加准确的定位信2第一部分网络模型为感知道路结构信息模型，通过DeepLabV3Plus语义分割网络对重第二部分网络模型为图像空间特征提取模型，通过Transformer可变自注意机制从图第三部分网络模型为全局位姿预测模型，将特征编码器输出的768维特征向量作为时使用扩展卡尔曼滤波对IMU与网络输出定位结果进行集成，首先获取待估计状态与系辆位姿状态变量为xi=(xi,x,0),其中xi,yi,分别为车辆在二维平面车辆位置与航向角。2.根据权利要求1所述的基于Transformer的结构化道路自动驾驶商用车全局定位方所述步骤2中注意力模块包含通道注意力与空间注意力两部分，其中通道注意力权重FSM33.根据权利要求2所述的基于Transformer的结构化道路自动驾驶商用车全局定位方式中x为原始输入图像经过卷积生成的特征图展平得到的特征利用可变形注意力机制替代自注意力机制以提高运算速率，图像特征图由2401个给定由长宽通道数为H,W,C原始图像产生的输入特征图x∈RH×式中φ(；)为双线性插值函数，既通过双线性插值函数得到对当前点重要的特征点,4.根据权利要求1所述的基于Transformer的结构化道路自动驾驶商用车全局定位方5.根据权利要求1所述的基于Transformer的结构化道路自动驾驶商用车全局定位方4对Transformer特征编码器，使用在ImageNet数据集进行分类任务的预训练模型作为6.根据权利要求1所述的基于Transformer的结构化道路自动驾驶商用车全局定位方5最终输出xi=(i,%,q),既车辆位置与航向角。6[0001]本发明涉及一种基于Transformer的结构化道路自动驾驶商用车全局定位方法，7[0009]第一部分网络模型为感知道路结构信息模型，结构化道路包含大量不变结构信DeepLabV3Plus语义分割网络对重塑大小后的原始图像进行语义分割，旨获取道路结构信[0010]第二部分网络模型为图像空间特征提取模型，通过Transformer可变自注意机制从图像中提取鲁棒的位置特征信息并对这些特征进[0013]第三部分网络模型为全局位姿预测模型，将特征编码器输出的768维特征向量作为时序网络的输入，LSTM长短期记忆网络在时序数据的有强大学习能力，LSTM通过引入[0015]根据步骤2中的感知道路结构信息模型、图像空间特征提取模型和全局位姿预测[0017]使用扩展卡尔曼滤波对IMU与网络输出定位结果进行集成，首先获取待估计状态获得车辆位姿状态变量为xi=(xi,",q),其中xi,yi,分别为车辆在二维平面车辆位置与航8[0018]所述步骤2中注意力模块包含通道注意力与空间注意力两部分，其中通道注意力[0029]利用可变形注意力机制替代自注意力机制以提高运算速率，图像特征图由至少[0030]给定由长宽通道数为H,W,C先通过5×5深度卷积来捕获局部特征，再采用GELU激活函数和1×1卷积得到二维偏移量，点i,v为重要的特征点的待查询向量与实际9[0040]对Transformer特征编码器，使用在ImageNet数据集进行分类任务的预训练模型[0066]当网络模型输出定位信息更新时，将定位结果与当前的航位[0079]Transformer通过强大的自注意力机制可以更好的提取与定位强相关的特征，可[0090]如图1所示，一种基于Transformer的结构化道路自动驾[0094]第一部分网络模型为感知道路结构信息模型，结构化道路包含大量不变结构信DeepLabV3Plus语义分割网络对重塑大小后的原始图像进行语义分割，旨获取道路结构信[0095]在原始DeepLabV3Plus语义分割网络模型基础上，引入注意力模块；在原始[0097]所述步骤2中注意力模块包含通道注意力与空间注意力两部分，其中通道注意力[0103]第二部分网络模型为图像空间特征提取模型，通过Transformer可变自注意机制从图像中提取鲁棒的位置特征信息并对这些特征进[0111]利用可变形注意力机制替代自注意力机制以提高运算速率，图像特征图由至少[0112]给定由长宽通道数为H,W,C先通过5×5深度卷积来捕获局部特征，再采用GELU激活函数和1×1卷积得到二维偏移量，[0120]第三部分网络模型为全局位姿预测模型，将特征编码器输出的768维特征向量作为时序网络的输入，LSTM长短期记忆网络在时序数据的有强大学习能力，LSTM通过引入[0123]根据步骤2中的感知道路结构信息模型、图像空间特征提取模型和全局位姿预测[0125]对Transformer特征编码器，使用在ImageNet数据集进行分类任务的预训练模型[0130]使用扩展卡尔曼滤波对IMU与网络输出定位结果进行集成，获得车辆位姿状态变量为xi=(xi,x,0),其中xi,yi,分别为车辆在二维平面车辆位置与航向角。[0154]当网络模型输出定位信息更新时，将定位结果与当前的航位[0164]最终输出x=(xi,⃞,p),既车辆位置与航向角。且尽可能降低计算量与训练难度。分割后图像进入Transformer编码器后，输出为维度为进入网路执行一系列卷积操作。将四种不同采样率得到的特征图融合特征后在与MobileNetV2得到的浅层特征进一步融合。最后通过解码操作完成语义