CN116434088B 基于无人机航拍图像的车道线检测及车道辅助保持方法 （重庆邮电大学）

号.2024,5614-5619.基于无人机航拍图像的车道线检测及车道本发明涉及基于无人机航拍图像的车道线检测及车道辅助保持方法，属于计算机视觉领加载了车道线检测模块与航拍图像去噪模块的地面工作站接收无人机传输的道路图像进行车最后根据偏移量生成偏移信号发送至无人车辅2中主网络采用车道线概率分布预测值与训练数据集真实车道线位置之间的交叉熵作为损式中Pi,j为主网络中车道线位置的预测值，Ti,j为训练集中此外，为使车道线的预测更为平滑，令图像相邻行之间对式中pi,j为辅助网络的分割预测输出，ti,j为数据集中的实例分seg为各损失函数分量的权重系数；为了在图像去噪的同时保留更多的细节，去噪网络采用基于多尺度U_Net的双分支网第一个分支网络首先通过3个连续的3*3卷积核与尺度为2的最大池化层对输入的噪声3第二个分支网络首先采用3个连续的3*3空洞卷积对输入图为了提高去噪模型的性能，在第二个分支网络中3对于第一个分支网络和第二个分支网络的输出，分别计算其在通道维度S22：去噪模型的训练需要至少3000张成对的噪将训练好的车道线检测模型与无人机航拍图像去噪模型加载至随车地面工作站,同时令无人机保持在地面行驶的自动驾驶车辆的后方飞行并实时无人机在悬停及飞行过程中接收自动驾驶车辆的实时GPS信息并以此调整自身位置，无人机载控制面板通过socket将道路场景图像传送至随车地面工作站，图像地面工作站在接收到无人机拍摄的道路场景图像后，采用自然图像质量评如果道路场景图像的NIQE值大于阈值，则将其输入训练地面工作站对车道线检测模型输出的车道线标识点进行筛选,过滤掉不属于自动驾驶对车道线检测模型输出的图像建立笛卡尔坐标系，设定ROI区域的4个边界锚点(X1,将车道线检测模型输出的车道线标识点的坐标(X,Y)的大小与ROI区域的4个边界锚点对落在ROI区域的离散车道线标识点按其X轴坐标值的大小进行升序排列；4将欧几里得距离Di最大值所在的下标所表示的车道线标识点作为左右车道线的分界根据无人机飞行时的高度，设定像素位置坐标差值与车道宽度的比率根据位置坐标计算画面中心点与车道中心点之间的距离，同时偏移信号中的车辆偏移方向由画面中心点与车道中心点的X轴坐标值之差确定，其中地面工作站将偏移信息封装为数据帧发送至与其建立TCP连接的自动驾驶车辆，其中2.根据权利要求1所述的基于无人机航拍图像的车道线检测及车道辅助保持方法，其第三残差块为空洞残差块，由6组双联带有膨胀系数的3第四残差块为空洞残差块，由3组双联带有膨胀系数的3*3卷积核在每个残差块之间引入CBAM连接，其中CBAM由通道注意力模为增强网络训练过程中的车道线视觉特征，在5[0002]随着智能交通系统(IntelligentTransportationSy能化交通逐渐得到普及，以车辆自动驾驶为代表的智能交通技术也随之受到了广泛的关[0003]目前自动驾驶车辆车道辅助保持方法主要通过检测道路的车道线来为自动驾驶车辆提供道路区域与边界信息,主流的车道线检测方法包括基于雷达的车道线检测与基于线检测方法的检测结果辅助自动驾驶车辆进行车道保持也是一个[0011]S13：针对主网络和辅助网络，分别设计分类损失函数Lcls与实例分割损失函数Lseg，其中主网络采用车道线概率分布预测值与训练数据集真实车道线位置之间的交叉熵6[0013]式中Pi,j为主网络中车道线位置的预测值，Ti,j为训练集中车道线所在位置的标[0027]为了在图像去噪的同时保留更多的细节，去噪网络采用基于多尺度U_Net的双分[0028]第一个分支网络首先通过3个连续的3*3卷积核与尺度为2的最大池化层对输入的7[0035]将训练好的车道线检测模型与无人机航拍图像去噪模型加载至随车地面工作站,[0036]无人机在悬停及飞行过程中接收自动驾驶车辆的实时GPS信息并以此调整自身位[0037]无人机载控制面板通过socket将道路场景图像传送至随车地面工作站，图像的[0042]如果道路场景图像的NIQE值小于阈值，则直接将其输入训练好的车道线检测模[0043]地面工作站对车道线检测模型输出的车道线标识[0044]对车道线检测模型输出的图像建立笛卡尔坐标系，设定ROI区域的4个边界锚点ROI区域为感兴趣区域；[0045]将车道线检测模型输出的车道线标识点的坐标(X,Y)的大小与ROI区域的4个边界[0051]将欧几里得距离Di最大值所在的下标所表示的车道线标识点作为左右车道线的8[0054]根据位置坐标计算画面中心点与车道中心点之间的距离当画面中心点与车道中心点之间的距离大于该阈值时，地面工作站将向车辆发送偏移信[0055]偏移信号中的车辆偏移方向由画面中心点与车道中心点的X轴坐标值之差确定，[0056]地面工作站将偏移信息封装为数据帧发送至与其建立TCP连接的自动驾驶车辆，其中数据帧封装规则应以自动驾驶车辆的控差块的最后一层上采样至与输入特征图相同的尺寸并在通道上进行拼接，之后将其输入的图像去噪恢复方法，可以很好地解决无人机拍摄的图像在传输过程中质量下降的问题，9[0068]图1为本发明所提供的基于无人机航拍图像的车道线检测及车道辅助保持方法的的执行在计算图像的NIQE值或去噪模块[0079]S11,采用改进的ResidualNetwork_34(ResNet_34)残差网络为主网络对输入图像[0088]S13，针对主网络和辅助网络，分别设计分类损失函数Lcls与实例分割损失函数Lseg，其中主网络采用车道线概率分布预测值与训练数据集真实车道线位置之间的交叉熵[0090]式中Pi,j为主网络中车道线位置的预测值，Ti,j为训练集中车道线所在位置的标[0104]为了在图像去噪的同时保留更多的细节，去噪网络采用基于多尺度U_Net的双分[0105]第一个分支网络首先通过3个连续的3*3卷积核与尺度为2的最大池化层对输入的噪声图像进行3次连续下采样提取特征，并使用高斯误差线性单元(GaussianError"[0115]将训练好的车道线检测模型与无人机航拍图像去噪模型[0116]无人机在悬停及飞行过程中接收自动驾驶车辆的实时GPS信息并以此调整自身位[0117]无人机载控制面板通过socket将道路场景图像传送至随车地面工作站，图像的[0120]式中v1、v2和∑1、∑2分别表示自然图像多视图几何(MultipleViewGeometry,MVG)模型和需要进行评价的低质量图像的MVG模型的平均向量[0122]如果道路场景图像的NIQE值小于阈值，则直接将其输入训练好的车道线检测模[0123]地面工作站对车道线检测模型输出的车道线标识[0124]对车道线检测模型输出的图像建立笛卡尔坐标系，设定ROI区域的4个边界锚点[0125]将车道线检测模型输出的车道线标识点的坐标(X,Y)的大小与ROI区域的4个边界[0131]将欧几里得距离Di的最大值所在的下标所表示的车道线标识点作为左右车道线[0134]根据位置坐标计算画面中心点与车道中心点之间的距离当画面中心点与车道中心点之间的距离大于该阈值时，地面工作站将向车辆发送偏移信[0135]偏移信号中的车辆偏移方向由画面中心点与车道中心点的X轴坐标值