【《交通标志检测和识别研究现状文献综述》4200字】

交通标志检测和识别研究现状文献综述1.1目标检测研究现状目标检测是一项重要的计算机视觉任务，它处理数字图像中检测特定类(如人、动物或汽车)的视觉对象实例。目标检测的目标是开发计算模型和技术，提供计算机视觉应用程序所需的最基本的信息之一:Whatobjectsarewhere?作为计算机视觉的基本问题之一，目标检测是许多其他计算机视觉任务的基础，例如实例分割，图像捕捉，目标跟踪等。从应用的角度来看，物体检测可以分组为两个研究课题“通用目标检测”和“检测-应用”，前者旨在探索一个统一的框架下检测不同类型物体的方法来模拟人类的视觉和认知，后者指的是检测特定的应用场景，如行人检测，人脸检测，文本检测等。近年来，深度学习技术的飞速发展给目标检测带来新鲜血液，取得了显著的突破并将其推向并将其推向了前所未有的关注研究热点物体检测现在已被广泛用于许多现实世界的应用程序中如自动驾驶，机器人视觉，视频监控等等。目标检测的发展主要包括两个时期：传统的目标检测时期(2014年之前)和基于深度学习的目标检测时期(2014年之后)。早期的目标检测算法大多是基于手工特征构建的。2001年，P.Viola和M.jones[4]首次在没有任何约束条件(如肤色分割)的情况下实现了人脸实时检测，该检测算法，后来成为ViolaJones（VJ）检测器。N.Dalal和B.Triggs[5]在2005年提出了方向梯度直方图(HOG)成为许多目标检测器和各种计算机视觉应用的重要基础。2008年P.Felzenszwalb[6]在HOG检测器的基础上提出基于可变性部件模型(Deformablepats-baseModel,DPM)可以称为目标检测方法的巅峰。然目前的对象检测器在检测精度上已经远远超过了DPM，但其中很多仍然深受其有价值的见解的影响，如混合模型、难例挖掘、边界框回归等。图1.3传统目标检测算法流程1998年YannLeCun[7]在Gradient-basedlearningappliedtodocumentrecognition中提出LeNet，可以称为CNN网络结构的开山鼻祖，第一次定义了CNN网络结构。他在论文中定义了卷积神经网络(ConvolutionalNeuralNetwork,CNN)的基本框架：卷积层+池化层(PoolingLayer)+全连接层。与全连接层相比，卷积层有两个显著特点：局部连接、权值共享。前者通过引入“感受野”这一概念实现，后者可以减少参数数量。同时利用池化层进行下采样，进一步减少计算量。与现在的卷积网络的不同之处还在于使用Tanh作为非线性激活函数，而后续的改进都是使用ReLU替代Tanh。相较与Sigmoid,Tanh以原点对称，收敛速度回更快。但受限于当时硬件水平，LeNet无法达到人们的要求，没有受到重视。直到2012年，Krizhevsky与Hinton[8]推出AlexNet，并在当年的ILSVRC(ImageNetLarge-ScaleVisualRecognitionChallenge)中以超过第二名10.9个百分点的绝对优势一举夺冠，引起了许多学者对深度学习的研究兴趣，也带来了卷积神经网络的复兴。R.Girshick[9]等人在2014年提出了具有CNN特征的区域(RCNN)用于目标检测。从那时起，目标检测正式进入基于深度学习的时期，开始以前所未有的速度发展。在深度学习时代，目标检测可以分为两类:Two-Stage和One-Stage，前者将检测框架视为一个“由粗到精”的过程，而后者将检测框架视为“一步完成”。图1.4目标检测在深度学习时代的发展Two-Stage目标检测算法首先对待检测的图片利用图像张的纹理、颜色等信息进行候选区(RegionProposal)提取。与传统目标检测经常使用的滑动窗口相比，产生的候选窗口数量更少，质量更高。提取出候选窗口后，利用深度神经网络对这些候选窗口自动提取特征并进行分类。最后合并包含相同目标的区域，输出我们要检测的目标区域。这类算法以RCNN(R.Girshick,2014)[]、SPP-net(K.He2014)[11]、Fast-RCNN(S.Ren2015)[12]、FPN(T-Y.Lin2017)[13]为代表。其中Fast-RCNN在RCNN的基础上将候选区域提取器,特征提取器,目标分类和定位统一在一个整体的结构中，并通过共享卷积计算提高特征利用效率，第一接近实时检测的深度学习检测器。One-Stage目标检测算法直接抛弃了生成候选区的过程，直接在输出层回归出边界框(BoundingBox)的位置和类别，极大的提高了检测的速度。这类算法以YOLO(R.Joseph2015)[14]系列和SSD(W.Liu2015)[15]为代表，因为它们将目标检测看作一个回归问题，直接使用回归的方式输出目标的边框信息和类别，所以又称作深度学习回归算法目标检测。YOLO(YouOnlyLookOne)是One-Stage的开山之作，它将检测任务表述成一个统一的、端到端的回归问题，并且以只处理一次图片同时得到位置和分类而得名。但因为直接采用直接预测目标信息的方式，导致定位不准，尤其对于密集小目标的预测和对于新尺寸目标的预测偏差较大。后续引入先验框(AnchorBoxes)[16]的算法，该问题得到部分解决。1.2.交通标志识别研究现状交通标志的识别包括两个过程：检测和识别检测的目的是去除无效信息对识别的干扰，只对感兴趣的区域处理，减少计算机处理图像的计算量；一般是通过交通标志的色彩或是形状特征以及两者综合的方法检测出所有可能是交通标志的区域，然后将兴趣区域进行从整个图像中分割，再进行规则化以方便在接下来的识别阶段识别交通标志。从算法使用的特征上来划分，现有的检测算法可以大致分为三类：基于颜色、基于形状和基于机器学习的交通标志检测方法。基于颜色的交通标志检测方法本方法将颜色作为特征，根据目标图像的颜色通过少量运算去除大片非感兴趣区域，大大提升交通标志检测出系统的实时性。其中最直接的方式是在RGB颜色空间中对交通标志的特定颜色进行分割。DeLaEscaleraA[17]和BenallalM[18]等人在20世纪左右就发表了相关论文。但是，RGB颜色空间中图像的颜色和光照强度有很强的相关性，非常容易受到光照因数的影响。后来很多研究者发现HIS/HSV颜色空间中三个颜色分量的色调、饱和度和亮度互不影响，DeLaEscaleraA[18]等人有发表基于HIS/HSV颜色空间的交通标志检测方法。也有一些研究人员也在YCbCr[19]、YUV[20]等颜色空间上进行研究。Comez-MorenoH[21]在论文中对颜色分割方法进行了详细的讨论，最终得出结论，在HIS颜色空间和在归一化的RGB颜色空间进行颜色分割效果相差不大。由于交通标志的颜色容易受到光照因素的影响，而且在复杂环境下颜色分割效果不佳，所以很多研究人员只是利用颜色分割初步筛选候选区域，再利用其他方法对交通标志进行精准定位。基于形状的交通标志检测方法基于形状的交通标志检测方法要先找到其轮廓，然后在进行决策。最常见的形状检测方式是基于在给定图像中隔离特定形状特征的霍夫变换方法（Hough）[22]。其他基于形状的检测方法还有：相似性检测[23]、距离变换匹配(DTM)[24]、边缘检测特征[25]和类Haar特征[26]。相似性检测计算分割区域与每个标准形状的二至想样本集见的相似因子进行检测。距离变换匹配可以检测任意形状，通过给每个非边缘像素分配一个值来形成图像的距离变换，取理最近边缘像素距离最短的点来进行检测。边缘检测是指图像中识别和定位尖锐不连续的过程。类Haar特征利用Haar小波原理进行识别。基于形状的检测方法对于标志被部分遮挡的情况无法有效进行检测。为了有效弥补上两种方法的弊端，学者将两种特征进行融合，实现更好的效果。基于机器学习的交通标志检测方法随着深度学习的发展，许多科学家使用卷积神经网络研究了道路标志的检测和识别方法。无需人工设计的深度学习模型能自动提取特征，避免人工设计的局限性。卷积神经网络的层次结构特征与上述传统方法形成鲜明对比。该方法分为根据候选区域的两个阶段法和根据回归方法的一阶段法。表1.2[27]总结常见深度学习交通标志检测的优缺点。表1.2深度学习交通标志检测方法与优缺点类子类优点缺点双阶段法R-CNN（Zhang等[28]，2020）检测精度比传统方式高重复计算、占用大量存储空间SPPSPP（Gim等[29],2015）提出了金字塔网络多阶段训练FastR-CNN（Qian等[30]，2016）ROIpooling层、多任务损失依赖选择性搜索算法FasterR-CNN（Zuo等[31]，2017）引入了RPN无法到达实时性要求FPN（Rajendran等[32]，2019）特征金字塔+RPN/单阶段法YOLOv1（Tran等[33]，2019）一次网络计算难精准定位、实时性不强YOLOv2（Zhu等[34]，2018）解决了召回率低和定位精度差实时性不强YOLOv3（Rajendran等[35]，2019）计算量减少、Logistic回归小目标检测率不稳定YOLOv4加入多个实用技巧/SSD（Gao等[36]，2019）速度快、精度高同一物体多个检测框识别就是进一步判定分割出的交通标志内核区域的含义。在完成检测到交通标志并把非交通标志的区域设为背景后，还要经过将分割出的图像进行归一化以及预处理操作，例如消除噪声、拍摄抖动、光照等的影响，而后对其内核内容进行识别。交通标志识别常用的方法有模板匹配法、传统机器学习方法和深度学习方法。模板匹配方法交通标志的形状固定且类别有限，一些研究人员就希望通过模板匹配的方法来实现交通标志的识别。蒋刚毅[37]等人利用一种模板匹配算子将经过形态学处理后提取出的交通标志区域进行分类。刘鑫[38]等人将通过HIS颜色分割后的区域与各类交通标志模板之间通过比较相似度的方式实现识别分类。这些模板匹配的方法对于形变的交通标志结果不及预期，整体识别精度不高。传统机器学习方法机器学习方法主要采用“人工特征提取+机器学习方法”来进行识别。主要包括：随机深林法[39]，该算法准确率高、计算时间短，但无法实现实时预测；AdaBoost[40]，该算法操作简单、计算效率高但对于运行过程中加入的新样本无法做出调整；人工神经网络[41]，该算法虽然灵活性强、准确度高，但处理缓慢。深度学习方法基于深度学习法越来越受欢迎，这是因为卷积神经网络无需设计手工特征就可完成输入图像的特征提取与内容识别。虽然需要大量的训练数据，ZhangJM[42]等人提出的轻量级深度学习交通标志分类网络依然取得理想预期。参考文献[1]KaurS,SinghI.Comparisonbetweenedgedetectiontechniques[J].InternationalJournalofComputerApplications,2016,145(15):15-18.[2]JeonWJ,SanchezGAR,LeeT,etal.Real-timedetectionofspeed-limittrafficsignsontherealroadusinghaar-likefeaturesandboostedcascade[C]//Proceedingsofthe8thinternationalconferenceonubiquitousinformationmanagementandcommunication.2014:1-5.[3]朱双东,陆晓峰.道路交通标志识别的研究现状及展望[J].计算机工程与科学,2006(12):50-52+102.[4]ViolaP,JonesMJ.Robustreal-timefacedetection[J].Internationaljournalofcomputervision,2004,57(2):137-154.[5]DalalN,TriggsB.Histogramsoforientedgradientsforhumandetection[C]//2005IEEEcomputersocietyconferenceoncomputervisionandpatternrecognition(CVPR'05).Ieee,2005,1:886-893.[6]FelzenszwalbP,McAllesterD,RamananD.Adiscriminativelytrained,multiscale,deformablepartmodel[C]//2008IEEEconferenceoncomputervisionandpatternrecognition.IEEE,2008:1-8.[7]LeCunY,BottouL,BengioY,etal.Gradient-basedlearningappliedtodocumentrecognition[J].ProceedingsoftheIEEE,1998,86(11):2278-2324.[8]KrizhevskyA,SutskeverI,HintonGE.Imagenetclassificationwithdeepconvolutionalneuralnetworks[J].Advancesinneuralinformationprocessingsystems,2012,25:1097-1105.[9]R.Girshick,J.Donahue,T.Darrell,andJ.Malik,“Richfeaturehierarchiesforaccurateobjectdetectionandsemanticsegmentation,”inProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition,2014,pp.580–587[10]R.Girshick,J.Donahue,T.Darrell,andJ.Malik,“Regionbasedconvolutionalnetworksforaccurateobjectdetectionandsegmentation,”IEEEtransactionsonpatternanalysisandmachineintelligence,vol.38,no.1,pp.142–158,2016.[11]K.He,X.Zhang,S.Ren,andJ.Sun,“Spatialpyramidpoolingindeepconvolutionalnetworksforvisual29recognition,”inEuropeanconferenceoncomputervision.Springer,2014,pp.346–361.[12]S.Ren,K.He,R.Girshick,andJ.Sun,“Fasterr-cnn:Towardsreal-timeobjectdetectionwithregionproposalnetworks,”inAdvancesinneuralinformationprocessingsystems,2015,pp.91–99.[13]T.-Y.Lin,P.Dollar,R.B.Girshick,K.He,B.Hariharan,´andS.J.Belongie,“Featurepyramidnetworksforobjectdetection.”inCVPR,vol.1,no.2,2017,p.4[14]J.Redmon,S.Divvala,R.Girshick,andA.Farhadi,“Youonlylookonce:Unified,real-timeobjectdetection,”inProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition,2016,pp.779–788.[15]W.Liu,D.Anguelov,D.Erhan,C.Szegedy,S.Reed,C.-Y.Fu,andA.C.Berg,“Ssd:Singleshotmultiboxdetector,”inEuropeanconferenceoncomputervision.Springer,2016,pp.21–37[16]RedmonJ,FarhadiA.YOLO9000:better,faster,stronger[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2017:7263-7271.[17]DeLaEscaleraA,MorenoLE,SalichsMA,etal.Roadtrafficsigndetectionandclassification[J].IEEEtransactionsonindustrialelectronics,1997,44(6):848-859.[18]BenallalM,MeunierJ.Real-timecolorsegmentationofroadsigns[C]//CCECE2003-CanadianConferenceonElectricalandComputerEngineering.TowardaCaringandHumaneTechnology(Cat.No.03CH37436).IEEE,2003,3:1823-1826.[19]DelaEscaleraA,ArmingolJM,MataM.Trafficsignrecognitionandanalysisforintelligentvehicles[J].Imageandvisioncomputing,2003,21(3):247-258.[20]CreusenIM,WijnhovenRGJ,HerbschlebE,eta