车载视频中基于深度学习的汽车类型识别

学年论文 题 目 车载视频基于深度学习的汽车类型分类 学生姓名 刘昌云 学 号 20121336005 学 院 信息与控制学院专 业 自动化指导教师 吴毅二一六 年 1月 3 日车载视频中基于深度学习的汽车类型识别姓名：刘昌云 学号：20121336005南京信息工程大学信息与控制学院 江苏 南京 210044摘要 随着数字图像处理技术的发展，视频处理技术被逐步运用到交通检测中。通过单个或多个摄像头采集道路车辆的通行状况，加以基于图像的分析处理，来检测与识别车辆，获取车型、车速、车流量等信息，可配合信息管理系统来实现交通管理。该视频检测系统易于安装、工作稳定、具有丰富的可视信息，代表着交通监控系统的发展方向，是目前国内外研究的热点。 在视频图像获取过程中，摄像机轻微抖动、外接光照缓慢变化及树木扰动等外界环境变化影响运动目标的检测精度，针对这一问题，本文提出了一种存在运动目标情况下的背景重建算法，能较好地抑制外界环境变化带来的影响，可将动态背景获取及更新过程合二为一，具有较好的实时性。 在视频图像处理过程中，图像中的阴影、目标内部空洞等对定位精度影响较大，本文通过运动区域检测、噪声去除、连通单元标记、内部填充、目标提取、阴影消除等方法，对车辆目标区域进行了精确定位。 在车型识别过程中，车辆目标的几何形变对识别准确率影响较大，针对这一问题，本文提出了两种解决方法。一种是基于车辆轮廓特征的车型分类识别方法，该方法先用边界矩、体态比、矩形度、伸长度、圆形度等车辆轮廓形态特征分量构成一个特征向量组，再以欧氏距离为判据实现车型的识别分类，取得了较为理想的效果。另一种是基于车辆轮廓定位匹配的车型分类识别方法，该方法将对噪声和形变适应性较好的Hausdorff距离应用于车型识别分类中，因Hausdorff距离计算耗时长，本文提出了一种改进方法，先利用外接矩形进行预匹配，再利用的Hausdorff距离进行轮廓的精确匹配，实现车辆目标的精确识别，具有较好的实时性。关键词:图像序列;检测;识别;Car video-based car type identification depth studyChangyun LiuCollege of information science and technology,NUIST，Nanjing 210044，ChinaAbstract Along with the development of digital image processing, video processing has been used in traffic detection step by step. Using one or more vidicons to collect the information of traffic status on driveway, we can obtain the information of vehicle type,speed, vehicle flux and so on by image processing. It can work with information management system to realize traffic control. Because of the advantage of easily fixing,good reliability and abundant visible information, video detection and processing system becomes the direction of the development of traffic control system and the research hot topic at home and abroad presently. In the process of video obtaining, outside environment variation such as little dithering of vidicon, slow variational daylight and the sway of tree will affect the presicion of moving target detection. Aiming at this problem, the paper presents a method of background reconstruction, in which there are moving targets in scene. The background can be dynamicly updated. It can decrease the influence of outside environment variation and shorten the time of measurement.In the process of video image processing, the shadows and inanitions of target will affect the prisicion of orientation. The paper locates the position of targets accurately by detecting target area, filtering noise, markering connected cell,filling inanitions,detecting target and eliminating shadows.In the process of vehicle recognition, the variation of geometric form will affect the recognition prisicion. Aiming at this problem, the paper presents two methods. The one is a method of vehicle recognition and classification based on characteristics of contour. Eigenvector has been first structured by using edge invariance, posture ratio, rectangle degree, elongation degree and roundness degree. Then the vehicle type recognition andclassification is successfully realized by Euclidean distance. Another one is a methodbased on the orientation and matching of contour. Hausdorff distance has the advantage of processing in noise and the variation of geometric form. So Hausdorff distance is used to recognize and classify the vehicle type. Because of more calculation of Hausdorff distance, the paper presents an improved method. It has been matched by using external rectangle in advance and then by Hausdorff distance accurately. It can shorten greatly the time of measurement.Key words: image sequence; detection; recognition; speed measurement; flux measurement；1.视频图像序列中车辆目标的识别方法1.1车辆目标识别技术 车辆识别通常包括车牌识别和车型识别。本文着重研究的是车型识别技术，在车型识别中，可按照车辆大小将车辆分为超大型、大型、中型、中小型和微型等；按照外形来区分则可分为货车、客车、轿车等 。细分为车型1：小轿车，SUV,面包车。车型2：大巴。车型3：箱卡 。车型4：斗卡。车型5：油罐车，消防车，水泥搅拌车等（凡是不属于车型1，车型2，车型3，车型4都归于车型5）。图像识别的一般含义是在进行图像预处理的基础上对分割出来的目标基元以特征描述分类，确定类别，在分割的基础上选择性的提取目标的几何或纹理特征，然后利用模式匹配、判别函数、决定树、分类器等识别论对图像目标进行分类，该过程的目的在于图像目标的分类描述，其输入一般是经过处理的图像，而输出的是目标类别及图像结构分析。 目前常用的目标识别算法通常都采用两种策略:一种是不管待识别目标为何种类型，先对待识别图像进行分割、标识及特征提取等预处理，然后将分割出的目标区域的特征参数与目标模型相匹配，其优点在于具有较好的适用性，不足在于盲目性强，导致了计算量较大。第二种策略是首先根据待识别目标的模型，对图像中可能存在的特征提出假设，然后再根据假设进行分割、标识及特征提取等预处理，在此基础上与目标模型相匹配，其优点在于预处理时已具有一定的先验知识，一定程度上消除了盲目性，提高了算法的效率，其不足之处在于待识别目标改变时，假设也必须随之改变，因而代换性差。 目前的车型识别方法大致可以分为两类:基于模式识别的方法和基于图像匹配的方法。前者是根据车辆目标的某特征参数在具体的空间或时间的分布，用模式识别理论将其归类识别，而后者则是通过待识别车辆与车型模板相匹配来完成车型识别的。基于模式识别理论的车型识别流程如图1-1所示。车辆信息获取特征选择提取分类器的设计图1.1基于模式识别理论的车型识别流程其中最为关键的步骤是特征选择提取与分类决策。不同的车辆具有各种各样不同的特征，在分类决策时，需要可以将车辆区分为不同类型的特征，在选取特征时应该尽可能的选择对于不同车型差别较为明显的特征参数。 图1-2所示，A类特征和B类特征分别表示两种不同车型的同一类型的特征，该两类参数具有明显的分界线，若选取图中的直线作为两类车型的划分标准，必然可以取得理想的分类效果。但现实中，特征或多或少都会有重叠，因而可以考虑选取多个不同特征构成特征向量组表示某一类型的车辆，再通过对多种不同车辆进行分类决策实现车型的分类识别。由于特征参数个数越多，其计算量也就越大，因此特征参数的个数也未必是越多越好，在现实情况中应该折衷考虑。A类特征 B类特征 图1.2理想特征示意图车型识别图像匹配特征选择提取车辆信息获取基于图像匹配的车型识别方法流程如图1-3所示。 图1.3基于图相匹配的车型识别流程 基于匹配的识别方法大致可以分为如下几种: (1)区域匹配 区域匹配的思想是把参考图像的某一块整体与实时图像在所有可能位置上进行叠加，然后计算某种图像相似性度量的相应值，最大相似性相对应的位置就是目标的位置。 (2)特征匹配 特征匹配是在提取特征后，对特征属性矢量(点、边缘、线段等)作相关度计算，相关系数的峰值即为匹配的位置。Moravec在1997年就提出了利用图像灰度自相关函数的特征点检测算子1;Harris等人提出了Moravec算子的改进算子，该算子对于图像存在旋转、照明变化和透视变形时均可以稳定的完成匹配。 (3)模型匹配 由于目标在运动中会有旋转、大小的变化，固定的模板已经不能满足准确匹配的要求，因此出现了变形模型。Jain将变形模型分为自由式变形模型和参数式变形模型3 。1987年Kass等人提出Snake主动轮廓模型是一种典型的自由式变形模型4，由控制平滑度的轮廓内部能量、吸引轮廓到特定的图像能量和外部约束能量的组合来控制和约束，它充分利用形状的全局信息，对发生形变的目标轮廓进行匹配。为给定一个适合的初始化轮廓，Menet等人提出了B-Snake，轮廓的表达更加有效，更加结构化。2.视频图像序列中车辆目标的识别方法2.1目标特征的提取及描述 目标的图像的表观特征主要表现为形状和灰度分布两大类，其中，形状特征对于光照变化不敏感，而灰度特征更为丰富的反映了目标的相关信息。但是视频图像序列中，光照的变化较大，而光照的变化又将对目标的灰度特征产生较难消除的影响，因此，形状特征较灰度分布将更适合于视频运动目标的识别52.1.1边缘和轮廓特征 边缘是指图像局部亮度变化最显著的部分，边缘主要存在于目标与目标、目标与背景、区域与区域之间。轮廓是指将测到的边缘连接起来，形成的封闭的或非封闭的轮廓。封闭的轮廓对应于区域的边界，而区域内的像素可以通过填充算法来填满，断开的轮廓可能是区域边界的一部分，也可能是图像的线条特征，轮廓可以用边缘有序表或曲线来表示。1.边缘检测算法6。 (1) Roberts算子Roberts算子如下式所示:（2.1）可以由以下两个2X2的模板共同实现: 图2-1 Roberts算子模板(2) Prewitt算子和Sobel算子和Roberts算子类似，Prewitt算子也可以通过以下两个模板实现： 图2-2 Prewitt算子模板以上两个矩阵分别代表图像的水平梯度和垂直梯度。如果用Prewitt算子检测图像M的边缘，一般先用水平算子和垂直算子对图像进行卷积，得到两个矩阵Ml ,M2在不考虑边界因素的时候，它们对原图像有相同的大小，分别表示图像M中相同位置对于x和Y的偏导数。然后求M1和M2对应位置的两个数的平方和，得到一个新的矩阵G。G是M中像素灰度梯度的近似值，然后经过阈值操作得到边缘。即 （2.2）Sobel算子与Prewitt算子的区域仅在于选用的模板不同： 图2-3 Sobel算子模板不同的算子选取不同的模板，其原理如下:假定图像M的灰度满足以下关系式: （2.3）即梯度为(，)，则有每一个像素的8领域像素值为下式: （2.4）则定义水平和垂直算子如下所示: （2.5）将这两个模板同原始图像像素进行卷积，可得到的方向导数为: （2.6） （2.7）所以得到像素的梯度大小为: （2.8） 显然，如果要使梯度为常量，则应该使得2(2+ b) =1，如果取=b=1/6，则得到1/6乘Prewitt算子;取=1/8, b=1/4，则得到1/8乘Sobel算子。(3)拉普拉斯高斯算子(LoG)拉普拉斯高斯算子如下式所示: （2.9）以模板形式表示就可以得到常用的算子: 图2-4 LoG算子模板算子能突出反映图像中的角点和孤立点，在边缘和孤立点的幅值都比较大，但是一阶导数对噪声敏感，因而不稳定，由此，二阶导数对噪声就会更加敏感，因而更不稳定。所以在作Laplacian变换之前需要平滑，同时，又因为卷积是可交换，可结合的，所以先作高斯卷积，再用Laplacian算子作卷积，等价于对原图用高斯函数的Laplacian变换后的滤波器作卷积，这样就的到一个新的滤波器LoG(Laplacian of Gaussian)滤波器。 （2.10）式中，是图像。（4.11） （2.12）(4) Canny算子Canny算子是最优的阶梯型(step edge)边缘检测算子，Canny边缘检测算子对受白噪声影响的阶跃性边缘是最优的，它具有不丢失重要边缘、定位准确等优点，其实现步骤如下:首先用2D高斯滤波模板与原始图像进行卷积，以消除噪声。利用导数算子(如Prewitt算子、Sobel算子)找到图像灰度沿着两个方向的导数并求出梯度的大小:。利用上述结果计算出梯度的方向：。求出了边缘的方向，就可以把边缘的梯度方向大致分为4种(水平、垂直、45°方向和135°方向)，并可以找到这个像素梯度方向的邻接像素。遍历图像，若某个像素的灰度值与其梯度方向上前后两个像素的灰度值相比不是最大的，那么将这个像素值置为0，即不是边缘。使用累计直方图计算两个阈值。凡是大于高阈值的一个一定是边缘;凡是小于低阈值的一定不是边缘。如果检测结果在两个阈值之间，则根据像素的邻接像素种有没有超过高阈值的边缘像素，如果有，则它就是边缘，否则不是。2.2.实验结果及分析 在上述的目标检测过程，可以精确的检测出车辆目标的区域位置及其形状等信息，在此基础上，可利用边缘检测算子来对检测结果进行边缘检测，获取车辆目标丰富的轮廓信息。如图2-5所示，为分别运用介绍的几种边缘检测算子对车辆目标图像进行处理的结果。（a)车辆目标二值图（f）LoG算子检测（d）Sobel算子检测（e）Prewitt算子检测（c）Roberts算子检测（b）Cancy算子检测图2-5边缘检测效果对比由上述实验结果可见，本文情况下，Canny算子的边缘检测效果较好，边界连续且平滑;Roberts算子、Prewitt算子，Roberts算子的检测效果较差，边界平滑度不够;LoG算子虽检测效果可；从Prewitt算子与Sobel算子的模板可知，Sobel算子应能更好的突出边缘。3.总结与展望(1)在视频图像获取过程中，摄像机轻微抖动、外接光照缓慢变化及树木扰动等外界环境变化影响运动目标的检测精度，针对这一问题，本文提出了一种基于背景重建的序列图像车辆目标检测方法。背景重建过程将动态背景获取及其更新过程合二为一，可以较好地解决场景中的光线突变、有车辆目标驶入及停车情况的背景更新问题，重建的背景既去除了运动目标和摄像机的噪声，又降低了缓慢光照变化的影响，同时对树木的扰动等影响也具有较好的抑制作用，通过运动区域检测、噪声去除、连通单元标记、内部填充、目标提取、阴影消除等方法，对车辆目标区域进行了精确定位，实时性较好，检测结果较为理想。(2)在车型识别过程中，车辆目标的几何形变对识别准确率影响较大，针对这一问题，本文提出了两种解决方法。一种是基于车辆轮廓特征的车型分类识别方法，该方法先用边界矩、体态比、矩形度、伸长度、圆形度等车辆轮廓形态特征分量构成一个特征向量组，再以欧氏距离为判据实现车型的识别分类，取得了较为理想的效果。另一种是基于车辆轮廓定位匹配的车型分类识别方法，该方法将对噪声和形变适应性较好的Hausdorff距离应用于车型识别分类中，因Hausdorff距离计算耗时长，在实际应用于实时车辆目标识别中时具有一定的局限性，本文提出了一种改进方法，先利用外接矩形进行预匹配，再利用的Hausdorff距离进行轮廓的精确匹配，实现车辆目标的精确识别，具有较好的实时性。参考文献：1 Moravec.H.P, toward automatic visual obstacle avoidance, Proc International JointConference on Artificial Intelligent, 1977, pp: 584-5872 Harris C, Stephens M, A combined comer and edge detectorC In Alvey Vision Conference,1988, pp: 147-1513 Sato Mika, Sato Yoshiharu, Jain Lakhmi C, Fuzzy clustering models and application M,Germang: Physica-Verlag, 19974 M. Kass, A. Witkin, Snake: Active contour models J, int. J. Computer Vision, 1988,pp: 321-331,5沈洁，杜宇人，高浩军，图像边缘检测技术研究J，信息技术，2005, 169(12): 32-346章毓晋，图像工程:图象处理和分析M，北京:清华大学出版社，1999