CN115546750B 一种基于Transformer编码器和空洞卷积的车道线检测方法 （华南理工大学）

一种基于Transformer编码器和空洞卷积的本发明公开了一种基于Transformer编码器督风格迁移将白天道路交通图像转换成夜间交换成空洞卷积以提取车道线的局部特征；建立Transformer编码器来提取车道线的全局特征；对提取到的局部特征和全局特征利用双向特征进行训练，使模型收敛获得车道线检测网络参可以提高不同场景下车道线特征提取的精度与2构建主干特征提取网络，且在主干特征提取网络中用使用双向特征金字塔对所提取出来的局部和全局特征进行自顶而下和自底而上的加in所述双向加权特征金字塔结构对特征提取器提取的特征图进行双向2.根据权利要求1所述的一种基于Transformer编码器和空洞卷积的车道线检测方法，3.根据权利要求2所述的一种基于Transformer编码器和空洞卷积的车道线检测方法，4.根据权利要求1所述的一种基于Transformer编码器和空洞卷积的车道线检测方法，3ggggg5.根据权利要求1所述的一种基于Transformer编码器和空洞卷积的车道线检测方法，特征图F首先经过卷积层来得到特征图嵌入F,；PE(pos,2i+1)＝cos(posF"＝F,+PE在位置编码PE后加入自注意力模块，在自注意力模块中，F"经将注意力值Attention与特征值V相乘得最后通过残差连接在不增加太多计算成本的基础下添加更多6.根据权利要求1所述的一种基于Transformer编码器和空洞卷积的车道线检测方法，7.根据权利要求6所述的一种基于Transformer编码器和空洞卷积的车道线检测方法，其特征在于，实例分割损失通过crossentropy损失函数计算，车道线存在情况损失通过L=αLseg+βLexiti8.根据权利要求1_7任一所述的一种基于Transformer编码器和空洞卷积的车道线检4[0001]本发明涉及视觉车道线检测领域，尤其涉及一种基于Transformer编码器和空洞[0003]车道线检测网络框架通常采用编码器_解码器的形式，目前关于车道线识别的研[0004]堆叠的卷积神经网络进行了多次下采样，降低了进行后法权衡各特征的重要性。NAS_FPN[3]采用神经架构搜索来寻找更好的跨尺度特征网络拓[4]对不同尺度的特征图进行双向加权特征融合，并利用网络学习权重的大小来优化特征5保留原图片的内容不变，Gayts[6]通过重复运用VGG网络来提取图像的纹理信息Cyclegan[8]通过引入循环一致性损失来保证内容不变，使其不需要一一对应的图片作为[0007][1]LizheLiu,XiaohaoChen,SiyuZhu.CondLaneNet:aTop_to_downLaneDetectionFrameworkBasedonConditionalConvolution[J].arXivpreprintarXiv:2105.05003,2021.[0008][2]LiuS,QiL,QinHetal.PathAggregationNetworkforInstanceSegmentation[C].IEEEConferenceonComputerVisionandPatternRecognition[0009][3]GhiasiG,LinTY,LeQV.NAS_FPN:LearningScalableFeaturePyramidArchitectureforObjectDetection[C]//2019IEEE/CVFConferenceonComputerVisionandPatternRecognition(C[0010][4]TanM,PangR,LeQV.EfficientDet:ScalableandEfficientObjectDetection[C]//2020IEEE/CVFConferenceonComputerVisionandPattern[0011][5]SeokjuLee,JunsikKim,JaeShinYoon,etal.VPGNet:VaGuidedNetworkforLaneandRoadMarkingDetectionandRecognition[C]//2017IEEEInternationalConferenceonComputerVision[0012][6]GatysLA,EckerAS,BethgeM.ImageStyleTransferUsingConvolutionalNeuralNetworks[C]//2016IEEEConferenceonComputerVisionand[0013][7]PhillipIsola,Jun_YanZhu,TinghuiZhouetal.Image_to_ImageTranslationwithConditionalAdversarialNetworks[J]//2017IEEEConferenceonComputerVisionandPatternRecogniti[0014][8]Jun_YanZhu,TaesungPark,PhillipIsolaetal.UnpairedImage_to_ImageTranslationusingCycle_ConsistentAdversarialNetworks[C]//IEEEConferenceonComputerVisionandPatternRecognition(CVP[0015][9]Ming_YuLiu,ThomasBreuel,JanKautz.UnsupervisedImage_to_ImageTranslationNetworks[C]//31stConferenceonNeuralInformationProcessingSystems(NIPS2017),L[0016]针对现有技术所存在的问题，本发明提供一种基于Transformer编码器和空洞卷6用Transformer编码器对车道线的细长线形结构进行全局关联，最后通过双向加权特征金[0018]具体的，本发明提供的一种基于Transformer编码器和空洞卷积的车道线检测方[0020]构建主干特征提取网络，且在主干特征提取网络中用空[0022]使用双向特征金字塔对所提取出来的局部和全局特征进行自顶而下和自底而上ggggg[0035]进一步地，通过将主干特征提取网络的卷积步长减小为1来保持特征图的分辨率7j个输入的权重,ωio为快速标准化权重融合后第i个输入的权重，Fi为第i个输入，conv为道线存在情况损失通过binarycrossentropy[0055]本发明的基于Transformer和空洞卷积的车道线检测算法与现有技术相比，至少[0056]该方法采用空洞卷积提取车道线局部特征，基于Transformer编码器来获取全局[0057]图1为本发明实施例中的基于Transformer和空洞卷积的车道线检测方法的模型8[0062]图6为本发明实施例提供的一种基于Transformer编码器和空洞卷积的车道线检ggggg9置信息的加入可以通过特征图嵌入与位置编码相加来完成，位置编码使用不同频率的sinoo此双向特征金字塔的输入为顶层的Transformer编码器输出的全局特征和第二、三层空洞j个输入的权重,ωio为快速标准化权重融合后第i个输入的权重，Fi为第i个输入，conv为[012