CN118918551B 一种基于深度学习的道路缺陷检测方法 （成都红云鼎科技有限公司）

本发明提供了一种基于深度学习的道路缺平均滤波器进行平滑处理和多帧降噪得到新图像的特征金字塔，在每一层应用多尺度G_LBP算计卷积注意力模块从不同尺度检测道路缺陷目2应不同深度的子特征图D1_Dn；步骤S202：在特征图C1_Cn每一层之间引入一个交叉注意力p,rp,ri),y+rsin(θi))分别为中心(5)将Gabor滤波器与图像的每个像素位置进行卷积操作，得到该位置上的响应值，3步骤S6：将识别到的道路缺陷信息传回车辆显示器进行预of步骤S103：对接收图像使用改进的自适应加权平均滤波4FP(x,y)=5fbfbfH-swish(x)=x⃞ReLU6-min(ReLU,6)首先，使用n个不同大小的卷积层提取图像多尺度特征，得到Cn上使用多膨胀率融合的空洞卷积操作分别进行卷积，得到与其对6j表示不同子特征图；D*=Merge(D,Di)a)根据当前的奖励信号r和预期的未来奖励maxQ(s,a)进行更新，指导模型在给定状态下7Bi,jf(x,y,w,h)l=(AX,AY,AW,Ah)tx=(x-xa)/watw-ln(w/w)tA-ln(h/ha)t'x=(x-AX)/AWt'y=(y-AY)/Aht',-ln(w/w)t',-ln(h/Ah)t'HL(x,y)=步骤S303：进一步通过非极大值抑制算法过滤重叠的检8S401：构建道路缺陷分类器，将目标检测模块输出i,j和wi,j分别为样本点i和j之间的相似性和相似性权重；(9)将类簇中样本决策值最高的样本作为新的类簇中心9ppC3≤Da为重型缝缺。步骤S601：利用分类器识别出道路上的坑洼或裂缝缺陷[0035](5)将权重乘以对应的像素值，计算滤波后的像素值，滤波后像素值的计算方法sUo和Us分别表示重置门和传播门的时间步矩阵，bo和bs分别表示重置门和传播门的偏置矩bfbb是正反向学习的权重矩阵，初步特征图C1_Cn及与其对应不同深度p,rp,r[0099](5)将Gabor滤波器与图像的每个像素位置进行卷积操作，得到该位置上的响应gggg[0116](1)计算每个尺度的特征图在不同时间帧之间的通道注意力权重CAi和空间注意ε1[0131]其中，Δx,Δy表示为先验框中心yy[0154](1)计算每个样本点与其他样本点之间的距离及其对应的权重，权重计算公式如[0157](2)根据每个样本点的权重和邻居数量计算其局部密度，该点的局部密度表示该[0159](3)计算对于每对样本点与其他密度高于它的样本的相对距离ηi，相对距离计算[0168](8)若存在尚未分配的样本，将剩余样本分配给密度比它高且距离它最近的样本[0169](9)将类簇中样本决策值θi最高的样本作为新的类簇中心，重复以上步骤直至类ppC3≤Da为重型缝缺；[0183](1)本发明的图像预处理工作基于视频流数据处理的思想，首先将采集到的视频[0184](2)本发明提出一种新的噪声判断方式：首先判断某一帧整体图像是否为噪声图[0185](3)本发明提出视频流连续分组的学习方法，采用精心设计的激活函数进行非线[0186](4)本发明充分利用注意力机制的优势，设计多种不同注意力分别应用于道路缺[0187](5)本发明在基于深度学习检测道路缺陷过程中得到的特征金字塔上的每一层都应用多尺度圆形算子MC_LBP和Gabor滤波器提取特征，设计一种基于强化学习的注意力机制将MC_LBP和Gabor所提取到的特征进行融合，能够有效地捕捉道路图像中的局部纹理信Dframecolorresolutionratexyminxymin[0260](2)将编码特征ZE按时间顺序每5个图像为一组分成3组，输入双向循环神经网络[0261](3)将图像时序特征ZR输入到解码器中做上采样，并与编码器中对应位置做匹配sUo和Us分别表示重置门和传播门的时间步矩阵，bo和bs分别表示重置门和传播门的偏置矩oosbfbfb是正反向学习的权重矩阵，[0272](3)根据传播门和候选隐藏状态，将当前时刻正向与反向的隐藏状态拼接像的三个初步特征图C1_C3及与其三个对应不同深度的子特征图D1_D3，使用改进的多膨胀_5[0314]在本实施例中，根据来源将特征子图通过平均池化gg[0354]其中，Δx,Δy表示为先验框中心ayy[0372]步骤S303：进一步通过IoU阈值设定为0.5的非极大值抑制算法过滤重叠的检测[0375](1)计算每个样本点与其他样本点之间的距离及其对应的权重，权重计算公式如[0378](2)根据每个样本点的权重和邻居数量计算其局部密度，该点的局部密度表示该[0380](3)计算对于每对样本点与其他密度高于它的样本的相对距离ηi，相对距离计算[0389](8)若存在尚未分配的样本，将剩余样本分配给密度比它高且距离它最近的样本[0390](9)将类簇中样本决策值θi最高的样本作为新的类簇中心，重复以上步骤直至类[0399]神经网络由1×1、3×3、5×5三个卷积层构成pppp改进的自适应加权平均滤波在正常图像和噪声图像上的工作原理；图4中的时序降噪结构能够有效地利用时序相关性对道路缺陷视频进行多帧降噪；图5为使用多膨胀率的空洞卷积结合注意力机制获取道路缺陷特征；图6展示了本文发明的MC_LBP算子在多尺度下提取陷等级划分示例；本发明通过丰富的图像预处理工作和各自注意力机制提高目标识别能普通技术人员可以根据本发明公开的这些技术启示