（交通信息工程及控制专业论文）视频监控中的车型识别.pdf

摘要 摘要 本文使用车标识别的方法进行视频监控中的车型识别研究，包括车标定位和 车标识别两部分。 第一部分进行了车型识别中车标定位算法的研究。首先利用车标所在位置的 纹理特征，对图像进行边缘检测和o s t u 二值化后进行投影累计，从而完成对车 标的水平粗定位。接着，结合车牌和车标的位置关系，提出一种新的基于水平与 垂直梯度投影差的车标垂直粗定位方法。然后，根据形态学算子和边界跟踪方法 对车标进行了精确定位。最后，本文对车标不在车灯带中的特殊情况进行了分析 和讨论，并设计了相应的定位算法。 第二部分进行了基于车标识别的车型识别算法研究。首先根据车标长宽比设 计一个分类器，然后对长宽比小于相应阈值的车标使用一种新的基于多模板的k 近邻模板匹配和不变矩相结合的识别方法进行识别，实验结果表明，该方法有较 好的鲁棒性和识别率。最后对少数长宽比大于阈值的车标进行了分析和讨论，并 设计了相应的识别算法。 关键词：车型识别车标定位车标识别投影累计模板匹配 a b s t r a c t t h i sm e s i sd r e s e n t sam e t h o do fv e h i c l er e c o g n i t i o ni nv i d e os u r v e i l l a n c eb a s e d o nv e h i c l e 1 0 9 0r e c o g n i t i o nw h i c hd e p e n do nv e h i c l e - l o g ol o c a t i o na n dv e h i c l e l o g o r e c o g n i t i o n p a r to n e , t h er e s c ：a r c hi nv e h i c l e 1 0 9 0l o c a t i o na l g o r i t h mi sp r e s e n t e d f i r s t l y , o n t h eb 2 u s eo ft e x t u r ef ea ：c l l r eo fv e h i c l e ，t h ei m a g ei sp r o c e s s e db yt h em e t h o dw h i c h i n t e g r a t e se d g ed e t e c t i o n ，o s t ua l g o r i t h ma n dp r o j e c t i o na c c u m u l a t i o n a sa r e s u l t ， m er o u g hh o r i z o n t a ll o c a t i o no fv e h i c l e 1 0 9 0i so b t a i n e d s e c o n d l y , c o m b i n i n gw i t h l o c a t i o np r o p e r t yb e t w e e nv e h i c l e l o g oa n dv e h i c l el i c e n s ep l a t e ，an e wa l g o r i t h mo n t h eb a s eo fv e r t i c a la n dh o r i z o n t a lg r a d i e n tp r o je c t i o ns u b t r a c t i n gi sp r o p o s e dt or e f i n e m er o u 曲v e r t i c a ll o c a t i o no fv e h i c l e l o g o t h i r d l y , t h ea c c u r a t el o c a t i o ni so b t a i n e d b ym o 础o l o g yo p e r a t o r sa n db o u n d a r yt r a c i n g 。l a s t l y , t h el o c a t i o ni sa n a l y z e d w h e n m ev e h i c l e 1 0 9 0d o e sn o tl o c a t ei nt h ed y n a m oh o r i z o n t a lb a n da n dt h e l o c a t i o n a l g o r i t h mi sd e s i g n e d p a r tt w o t h er c s e a r c hi nv e h i c l e 1 0 9 0r e c o g n i t i o na l g o r i t h mi sp r e s e n t e d f i r s t l y , ac l a s s i f i e ri sd e s i 弘e do nt h eb a s eo f at h r e s h o l dw h i c hi st h er a t i oo fl e n g t ht ow i d t h s e c o n d l y , af l e wa l g o r i t h m w h i c hi n t e g r a t e sk - n e i g h b o rt e m p l a t em a t c h i n g a n d i 1 1 v a r i a n tm o m e n to nm u l t i t e m p l a t ei sp r o p o s e dt or e c o g n i z et h ev e h i c l e - l o g ow h o s e r a t i oi su n d e rt h et l l r e s h 0 1 d t h ee x p e r i m e n t a lr e s u l ts h o w st h a tt h ea l g o r i t h mi sh i g h r o b u s t 龇l da v a i l a b i l i t y l a s t l y , t h er e c o g n i t i o ni sa n a l y z e dw h e nt h e v e h i c l e - l o g o w h o s er a t i oo fl e n g t ht ow i d t hi sn o tu n d e rt h et h r e s h o l da n d t h er e c o g n i t i o na l g o r i t h m i sd e s i g n e d k e y w o r d ：v e h i c l er e c o g n i t i o nv e h i c l e - l o g ol o c a t i o nv e h i c l e - l o g o r e e o g n i 廿o n p r o j e c t i o na c c u m u l a t i o nt e m p l a t em a t c h i n g 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：日期 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 本人签名： 导师签名： 日期 日期 第一章绪论 第一章绪论 车型识另l j ( v e h i c l er e c o g n i t i o n ) 是指以数字图像或交通监控视频流为研究对 象，通过图像处理与模式识别方法，获取机动车辆有关型号信息的一种实用技术， 是图像处理与模式识别技术在智能交通系统( i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ) 领 域的典型实用技术1 1 。 1 1 课题的研究目的和意义 随着经济的发展，公路上汽车的数量越来越多，而道路建设速度相对较慢， 两者之间的矛盾日益突出。目前阶段缓解上述矛盾的最有效的方法就是采用智能 交通管理系统，在现有交通设施的基础上提高交通运输能力。在智能交通管理系 统中，无论是在交通监控还是不停车收费系统方面，车型进行识别都非常重要， 因此车型识别是近年来的一个研究热点。 车型识别是智能交通系统中的一个重要组成部分，目前主要应用于以下三个 方面【1 5 】： 一是公路收费系统中的应用。它不仅能够提高公路收费系统的运作效率，更 能够有效地监督收费站收费员在工作中的违规收费行为。在考虑到系统成本、安 装、维护、抗干扰等各种因素的情况下，基于智能视频处理与模式识别的车型识 别技术能在公路收费系统中发挥着非常重要的作用。 二是车辆管理系统中的应用。车辆管理系统中有一项非常重要的工作是对克 隆车牌的查处。克隆车牌指不法分子制造悬挂假车牌，逃避年费年检等不法行为。 这种现象不但造成国家规费收取的大量流失，同时也由于大量劣质、超龄、拼装 的车辆在公路上行驶产生严重的事故隐患。而这些车辆使用的是仿真车牌或者过 期真车牌，使用车牌识别技术也无从查处，而车型识别技术将可以很好的解决这 一问题。 中心数据库中存储有辖区内所有车辆的信息，可以方便地查询到每一个车牌 所对应的车型信息。通过与车型识别结果自动比对从而实现自动报警，而无需通 过交警人工判断车型并与数据中心下传的车型信息进行人工比对。不但减少了误 判纠纷同时也大大降低了交警的劳动强度，提高了自动化管理水平，对违规现象 产生更强大的威慑力量。 三是在公安侦缉系统中的应用。通常在夜间发生交通肇事逃逸事件或者其他 犯罪分子的犯罪活动中，由于夜间光照亮度不够，通常在很多案例中，车牌号码 2 视频监控中的车型识别 已经无法获取而只能知道大致的车型。车型识别技术即可大大的缩小可疑车辆范 围，节省了大量警力，节约了破案时间。这是车型识别技术在公安侦缉工作中的 典型应用。 1 2 国内外研究现状 目前国内外车型识别技术的研究主要集中于以下几个方向【l 以训： 一是广义车型识别，即分出机动车辆属于某一类型，如小型车辆、中型车辆、 大型载重货车车辆、大型客车车辆等。该方向将机动车按其形状或者参数特征分 为有限的几类，其主要应用前景范围集中在公路收费等关心车的类型而并不关心 车辆具体类型的应用场合。由于该技术难度相对较低，更容易实现，将可能是最 先达到实用化要求的车型识别产品。 二是狭义车型识别，即区分出机动车辆属于哪一种具体的车型。该分类将在 可能的条件下尽可能地细分，但就实用要求来说，通常仅需识别出其属于哪种系 统的具体车辆即可，如“奔驰、桑塔纳、夏利等等，而无需区分出究竟是“桑 塔纳x p ”还是“桑塔纳2 0 0 0 ”等。该方向上的一个研究热点问题是车标的定位与识 别问趔6 。1 0 】，采用对车辆的车标进行识别的方法进行车型识别。 三是通过其他物理测量方式获得目标车辆参数。这些参数通过线圈、光电感 应器、车辆均衡器等传感器获得车辆的车宽、车长、轮距、车重、底盘轴粗、底 盘高等多种物理数据，再运用模式识别方法将其进行归类。这种技术可以以比较 成熟的物理方法直接获得对车型识别有用的很多参数，并由这些参数可以较为容 易地进行车型识别，算法较为简单。但这种方式获得车辆数据的方法比较麻烦， 需要架设大量的外部辅助测量设备，增加了系统的不稳定性，且这些设备也存在 设备老化、故障率比较高等缺点。 1 3 论文的主要研究内容 论文主要通过对车辆中车标进行定位和识别的方法进行车型识别研究，主要 研究内容安排如下： 第一章主要介绍了车型识别在智能交通系统中的重要意义以及国内外在此课 题上的研究现状。 第二章对车型识别系统中的车标定位算法进行了研究，并提出了一种较为快 速和有效的车标定位算法。 第三章对基于车标识别算法的车型识别系统进行了研究，并最终提出了一种 有较强鲁棒性和较好识别率的车标识别算法。 第一章绪论 第四章对车标定位和识别的结果进行了阐述和分析。 第五章对全文工作进行总结并对此研究方向未来的研究工作进行展望。 第二章车型识别中的车标定位 第二章车型识别中的车标定位 2 1 1 垂直边缘检测 2 1 车标水平粗定位 图像边缘检测【1 1 13 】主要使用空域微分算子与图像进行卷积，得到水平和垂直 的梯度图像，获得需要的物体图像边缘，是图像分割、视觉匹配的基础，在模式 识别、计算机视觉、智能交通系统等领域中起着非常重要的作用。 在实际中常用小区域模板卷积来进行近似计算，也就是利用如图2 1 所示的 3 * 3 模板进行检测，这一过程即为计算模板包围区域内灰度级与模板系数的乘积 之和，如式( 2 1 ) 所示。 r = 毛+ w 2 z z + + 匆2 善w z i 式( 2 1 ) w 1w 2w 3 w 4w 5w 6 w 7 w sw 9 还有c a n n y 算子【1 4 - 1 5 】和l o g ( l a p l a c i a no f g a u s s i a n ) 篓：j e ：。 v ：， ：堕+ 塑 三二 三幻 - - 1 i 三0i - 三2 0 三 三三三 三二 三幻l - 。：jl ：jl 二。言jl 二三二j 6 视频监控中的车型识别 缘检测，理由如下： 1 ) 实验结果显示，对于车标和车牌区域模糊、对比度低的图像，s o b e l 边缘 算子可以大幅度锐化图像边缘。 2 ) 论文采用基于纹理累计的方法来对车标进行水平粗定位，对于大多数车 辆，车灯与车标在同一水平区域，该区域含有丰富的纹理特征，可用该特征来对 车标进行水平粗定位。 3 ) 在含有车标的车辆正向图中，有一些垂直灰度变化明显而水平灰度变化不 明显的区域，如车窗的上下沿，车体的上下沿等，这些区域相对于车标来说已经 成为一种噪声干扰。车标和同一水平位置的车灯在水平和垂直方向上的灰度变化 都比较明显，故用垂直s o b e l 算子进行处理，强化车标所在水平区域而弱化其他 的非感兴趣区域。 2 1 20 t s u 二值化 到目前为止，人们已经提出了为数众多的全局阈值选取办法，其中，o t s u 在1 9 7 9 年提出了基于类间方差最大化的分割算法 1 6 】。其优点如下： 1 ) 算法的实现简单； 2 ) 基于图像的整体特性而非局部特性； 3 ) 可很容易的推广到多阈值的分割方法； 4 ) 该算法的适用性强。 由于方差是衡量图像中像素分布均匀性的一个量度，方差值越大，说明目标 和背景间的区别越大。当部分背景被错误的划分为目标时，其方差值会减小。 o t s u 算法的基本思想就是寻找一个最佳分割阈值，以使目标和背景间方差值最 大。其算法如下： 设给定图像具有0 ，1 ，2 ，3 l 1 ，共l 级灰度，阈值设为k ，把灰度大于k 和灰 度小于k 的像素分为两类。类1 中的像素总数为w l ( k ) ，平均灰度为m l ( k ) ，方差 为o2 l 取) ；类2 中的像素总数为w 2 ( k ) ，平均灰度为m 2 ( k ) ，方差为o2 2 ( 1 【) ；所有 图像像素的平均值为r n ，方差为o2 ，( 也可以称为类内方差) 。类间方差o2 b 和总方 差o2 ，分别由式( 2 3 ) 和式( 2 4 ) 所决定： 仃2 b = w l ( ，z l m r ) 2 + w 2 ( m 2 - 所，) 2 = w l w 2 ( 玛一m 2 ) 2 式( 2 3 ) o r 2 w l o - k i + w 2 仃2 式( 2 4 ) 第二章车型识别中的车标定位 7 n 世) ：圭，p ，耻) ；艺：+ 见砰( t ) ：圭酗一啊) ：司耻) ：l - io m ) 2 冥甲 。日 ， “+ l 蛐 j “1 ， p 2 啊，n ，为灰度值为i 的像素数，n 为像素总数。 根据以上分析，其目的是找到一个闽值t ，使得两个方差比o2 02 ，的比值 最大。由于o2 t 固定，则问题转化为寻找最佳t 值使类间方差o2 e 取最大值。即 为式( 2 5 ) ，a ( 2 - 6 ) 所示。 卜a r g 。m a x 1 2 a ( 2 5 1 m 一2 两丽1 丽一墓互，“” 龀- 6 ) 其中，p ( x ，y ) 为点( x ，y ) 的像素值。其二值化判断表达式如式( 2 7 ) 所示。 ，( x ，力= 【。1 , ， 1 m 码, - 一t r 1 - e 。 式( 2 7 1 其中，e 为误差允许范围。 如图2 5 所示为采集到的原始彩色图片，图2 6 为将原始彩色图片进行灰度化 之后，采用垂直s o b e l 算子进行边缘检测( 采用o s t u 二值化) 得到的结果。实验 表明，该算法能较好的突出车标和车灯所在水平位置而弱化了汽车上下边缘，车 前窗上下边缘等噪声。 图2 5 原始图像 譬 视频监控中的车型识别 图2 6 垂直$ o b e l 算子检测并用o s t u 法二值化后结果 2 1 3 基于纹理的水平累计 将图2 6 中的处理结果采用水平投影累计，得到结果如图2 7 所示 图27 水平累计函数点的曲线圈 由于此曲线圈上波形较为尖锐，不利于分割阈值的选取，故对此波形图进行 平滑滤波处理，得到平滑后曲线图如图28 所示。从图2 8 中可以看出，经过滤波 处理后，图中波形变得较为平滑，有利于分割阈值的选取。 第二章车型识别中的车标定位 9 2 1 4 分割阈值的选择 选择分割阈值时，本节采用累计函数点曲线的平均值作为分割阈值。如图2 8 中有一条与波形图相交的竖直绿色直线l ，该直线l 代表投影曲线的平均值，即 曲线上所有点( 离散的点) 的值的平均数。根据其定义，虚线l 必定与曲线相交， 除非该投影曲线就是一条直线，即曲线各点的值完全相等，但是这种情况在实际 的随机拍摄图像中基本不可能存在。 由于汽车是放置在地面上的，地面的纹理跳变不明显，所以通常在累计陆线 中不会产生波峰，故水平累计的曲线图中，通常由上往下产生的第一个较为明显 的波峰为车牌的水平位置，第二个较为明显的波峰为车标和车灯所在水平位置。 在此过程中，设定一个阈值，认为被直线l 切割后的宽度要超过设定阈值的波形 才判定其为明显的波形，宽度小于阈值的波形认为是噪声，舍去。 图2 8 平滑后的水平累计函数点曲线图 按照图2 8 所示，提取出其中从上往下分割出的第二个波峰，将其映射回原 图像，邸得到了车标和车灯所在的水平位置，完成了车标水平粗定位。如图2 9 所示，即为应用该算法获得的结果。实验表明，该方法是一种较为快速准确和有 效的方法，如图2 1 0 所示是应用该算法得到的部分结果。 视频监控中的车型识别 煎至露翅曼堕堕爨 图2 9 车标水平粗定位的结果 图2 1 0 部分实验结果 2 2 车标垂直粗定位 本节对车标进行垂直粗定位，得到包含车标的车辆进气栅位置，常用的方法 有：基于车头中值的定位c 埘，基于垂直投影的定位，基于车牌位置先验知识的定 位 19 】啪】。 22 1 基于垂直投影的租定位 对车辆进气栅区域的定位，常用的垂直投影方法有：灰度直接垂直投影，二 值化+ 垂直投影，罗伯特梯度+ 垂直投影，水平、垂直梯度+ 垂直投影”。 首先对21 节中所得到的车灯带( 即为包含车标和车灯的水平位置的图像) 进行分析： 1 ) 车灯带包括车灯、进气栅及与车灯在同一水平区域内的背景部分。 2 1 车灯区域相对于其他区域亮度比较高，灰度变化大、变化密度大，变化 形式复杂，无论日间和夜间均有此特点。 3 ) 进气栅区域比较复杂，水平和垂直方向的线条均存在，但除少数车型外， 其梯度变化密度大多比车灯要低。 哪车灯总是成对存在的，但不一定亮度一致，这是由于拍摄角度、反光等 原因造成的。 5 ) 两边车灯的宽度基本是一致的，虽然由于拍摄角度的不同，可能有些差 别，但由于进气栅和车灯部分在空间上基本上是垂直方向的，故其由于视角或透 第二章车型识别中的车标定位 视效果产生的不对称性并不大，除少数车型的异型车灯外，基本可以认为在图像 中两边车灯的大小和形状是基本对称相同的。 通过对车灯带区域图像的分析，可以认为，只要能根据车灯带的特点准确定 位到车灯与进气栅之间的交线位置，即为车标垂直粗定位所需要的结果。 灰度直接垂直投影法是根据车灯带的特点2 ) 而设计的。由于车灯带区域范围 已比较小，其灰度变化受光照的影响差异( 不均衡性) 已相对小一些( 对其亮度的整 体偏移的影响不考虑) ，这样就为采用直接灰度投影方式确定进气栅区域的左右边 界的方法提供了可能。这一方法对于正常情况下的夜间车辆图片的效果最为明显， 因其车灯处于亮灯状态，因此车灯区域与非车灯区域的灰度对比度会非常大，经 过灰度直接叠加和垂直投影后可以很明显地找到进气栅区域的左右分界位置。但 这一方法对于日间车辆图像( 车灯处于熄灯状态) 和亮色调车身颜色的车辆图像( 如 白色、黄色、乳白色车身颜色) 效果则差得比较多，适应性较差。 二值化+ 垂直投影是灰度直接垂直投影法的进一步处理，同样对夜间车辆图 像效果最好。同时，还有抑制进气栅面板区域的灰度变化的作用。缺陷同样是不 太适应日间车辆图像和亮色调车身颜色车辆图像。 罗伯特梯度+ 垂直投影方法是利用车灯带特点2 ) 和3 ) 。罗伯特梯度算子用于 提取车灯带图像的梯度特征，由于车身部分一般都有大面积的区域颜色( 车身颜色) 比较均匀，其灰度差( 梯度) 较小，这一方法可以比较有效地适应不同车身颜色( 灰 度图像下表现为大片高灰度值区域或低灰度值区域) 的车辆图像样本。但此种方法 在进气栅区域排气扇面板的灰度变化较大( 如别克系列，丰田系列车辆的一些车 型) ，经过叠加后容易产生较大误差。 水平、垂直梯度+ 垂直投影方法的提出是对“罗伯特梯度+ 垂直投影方法的 一种改进，分别求取车灯带的水平、垂直梯度，并分别进行垂直投影。当进气栅 区域排气扇面板为横向条纹时，其“垂直梯度+ 垂直投影”将具有更好的可分性， 能更准确地区分车灯与进气栅的差别，从而定位到车灯，同时也就确定了进气栅 区域的左右边界。同理，当进气栅面板为竖向条纹时，其“水平梯度+ 垂直投影” 也较为容易地确定进气栅区域的左右边界。对水平和垂直方向两种梯度分别进行 垂直投影，从而充分利用各方向梯度投影对车灯的定位准确性。也即是说，水平 梯度垂直投影可以很好地区分车灯和进气栅。 2 2 2 基于车标与车牌位置关系的垂直粗定位 在论文研究中，由于研究对象为车辆正向图像，而对于这类图像来说，有一 个重要且不可忽略的特征就是车牌。 一般情况下，车辆图像中车牌区域与进气栅区域之间的相对位置是有关联关 1 2 视频监控中的车型识别 系的。车辆的牌照悬挂在车辆前部固定位置附近，都位于车辆前保险杠上，对于 小型车辆来说绝大部分位于前部保险杠的居中位置。 所以在对车标区域的垂直粗定位中，可以运用车牌位置的先验知识，认为车 标在车牌位置的垂直上方。此时，利用车牌的左右边界即可对车标垂直位置进行 粗定位。 2 2 3 基于水平与垂直梯度投影相差法的垂直粗定位 本节使用垂直投影的方法进行车标垂直粗定位，在已有算法的基础上提出一 种新的水平与垂直梯度投影相差法，实验表明，该方法不仅可以较好地进行车标 垂直粗定位，还可以判断出进气栅的方向是水平还是垂直，为后续处理提供一定 的先验知识。算法描述如下： 1 ) 将2 1 节所得到的结果分别进行垂直边缘检测和水平边缘检测，然后分别 进行垂直投影累计。 2 ) 将累计的两种结果做差，将垂直边缘检测结果减去水平边缘检测结果。 3 ) 对相差的结果进行分析，若宽度最大的波形为负向波，则认为此进气栅为 水平，负向波为研究波形；若宽度最大的波形为正向波，则认为进气栅为垂直， 正向波为研究波形。 4 ) 根据实验中的经验值选取一定的阈值，考虑是否对最宽的两到三个研究波 形进行合并。 图2 1 1 ，图2 1 2 分别显示了进气栅是水平和垂直的两种情况时，采用水平与 垂直梯度投影相差法进行处理后的曲线图。如图2 1 3 和图2 1 4 分别为相应的定位 结果。 第二章车型识别中的车标定位 j 5 j 苦盖广靠 图2i i 水平与垂直梯度投影相差法( 进气栅水平) 图21 2 水平与垂直梯度投影相差法( 进气栅垂直1 圈21 3 进气栅水平型定位结果图21 4 进气栅垂直型定位结果 论文中晕终采用的垂直粗定位方法为水平与垂直梯度投影相差法和车标与车 视频监控中的车型识别 牌位置关系相结合的方法。 若在待测图片中没有出现两个比较完整的车灯区域，水平梯度与垂直梯度 投影相差法会出现较大误差；若待测图片中的汽车没有车牌，则基于车标和车牌 位置关系的垂直粗定位会失效；若待测图片中车牌不在车辆正中间，则基于车标 和车牌位置关系的垂直粗定位会产生较大误差。 论文采用将两者结合的方法能有效的克服以上问题，进一步提高定位的准确 率。 2 2 4 水平与垂直梯度投影相差法和车标与车牌位置关系相结合的垂 直粗定位 基于水平与垂直梯度投影相差法进行车标垂直粗定位时，此方法的优点是鲁 棒性强，但是粗定位后的区域比较大，不利于进一步的精确定位。 基于车标与车牌位置关系的车标垂直位置粗定位，定位后的区域面积小，有 利于下一步的车标精确定位，但是此方法是建立在车牌定位成功的基础上，若车 牌定位出现错误，此方法将失效。即使车牌定位成功，若车牌不在车辆的正中间， 此方法还是会产生较大的误差。 基于上述两种算法的分析，本论文提出一种基于水平与垂直梯度投影相差法 和车标与车牌位置关系相结合的方法，具体算法如下： 1 ) 车牌定位是否正确，若正确，执行2 ) ；若车牌定位错误，则直接采用水 平与垂直梯度投影相差法进行定位。 2 ) 设定车牌定位出的左右边界坐标分别为l e f t ，r i g h t , 设定采用水平与垂直 梯度投影相差法定位出来的结果左右边界坐标分别为l e t ) o ，r i g h t o 。 3 ) 如果满足l e r o i e t = t 且n g h t x 就 叫做特征提取器。 从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的，这 个过程叫特征选择。 3 2 1 最小距离分类器 3 2 分类器与判决法则 系统中分类器的作用是：根据特征提取器得到的特征向量来给一个被测对象 赋一个类别标记。 分类的难易程度取决于两个因素，其一是来自同一个类别的不同个体之间 的特征值的波动，其二是属于不同类别的样本特征值之间的差异【2 引。 常用的分类器包括最小距离分类器【2 3 - 2 4 ，贝叶斯分类器( 2 8 】和线性函数判别分 类器 2 3 】等。 分类器的选择对模式识别课题来说是极为重要的环节，论文经过实验最终选 择最小距离分类器作为识别分类器，理由如下： 1 最小距离分类是基于属于同一模式类的样本在特征空间中以球状团聚分布 这一基本思想的最为简单的模式识别分类方法，其核心是：认为每一个模式类在特 视频监控中的车型识别 征空间中都是处于较为聚集的状态，将样本在特征空间中的均值作为该模式类的 中心，则对某识别样本来说，计算其分别到每一个模式类中心的距离，选择距离 最短( 即离其最近的模式娄中心) 的模式类作为该样本的分类结果。 2 虽小距离分类器思路简单，实现方便，事实上在很多模式识别课题中都采 用了这种分类方法。则对于最小距离的定义，有多种方法，包括欧氏距离、街区 距离等。 3 虽然当同一模式类样本在特征空间中是以不规则形状分布，理想分类决策 面是非线性不规则曲面时，这一方法则容易产生分类决策错误，但是可以将样本 分得更为细致些，并使同一模式类样本在特征空间中具有多个聚类中心，待识别 样本无论靠近该模式类的任何一个中心，均判定该样本属于该模式类。如图31 所示。 b 娄 蠛、黪 栏束1 冉砗蘑b 善中1 9 矗n j 芋b 2 冉_ 軎1 b 樊疋蟾撞b 薯【p 出近拉钮测盱 量 罐t 一絮罐6 图31 多个聚类中心提高识别正确率 3 2 2 最近邻与k 一近邻 假定有c 个类别u 1 ，u2 ”，u ，的模式识别问题，每类有标明类别的样本 n i a = 1 ，2 ，c 。) 个。我们可以规定类的判别函数为式( 3 1 ) 所示。 毋( z ) 。m i n 忙一茸女= 1 ，2 小， 式( 3 1 ) 其中x 。的角标i 表示u 。类，k 表示u 类n ，个样本中的第k 个。按照式( 3 1 ) ，决策 第三章基于车标识别的车型识别 司以写为： 若 旬( z ) 5 叩岛( 工) ，江1 ，2 ，c 式( 3 2 ) 则决策z 哆。 这一决策方法称为最近邻法 2 3 1 。其直观解释是相当简单的，就是说对未知样 n ：了n ? 本x ，我们只要比较x 与管个己知类别的样本之间的欧氏距离，并决策x 与离它最近的样本同类。 k 近邻法是对最近邻法的一个推广，这个方法就是取未知样本x 的k 个近邻， 看这k 个近邻中多数属于哪一类，就把x 归为哪一类。具体说就是在n 个已知样 本中，找出x 的k 个近邻。设这n 个样本中，来自于l 类的样本有n 1 个，来自 于2 类的有n 2 个，来自于i 类的有n i 个，若k l ，k 2 ，k i 分别是k 个近邻中 属于l ，2 ，i 类的样本数，则我们可以定义判别函数为： 岛( x ) = 砖，f _ 1 ，2 ，c 式( 3 3 ) 决策规则为： 若 g j ( 石) = m 岛 式( 3 - 4 ) 则决策x 哆。 这就是k 近邻法的基本规则【2 3 】。 3 3 图像预处理 由于车辆的大小不同、车辆新旧程度不同、获取样本( 拍摄、摄像等) 时的距 离远近不同、获取样本时的角度不同、获取样本时环境光照强度不同等原因，得 到的车标图像都各有特点，有些很清晰，线条清楚对比度强，但是也有些车标图 像整体发亮或发暗，且光照不均匀，肉眼很难察觉到其线条所在。 模式识别课题在对样本进行特征提取和识别之前都需要一个预处理过程，其 目的在于由于外界因素所造成的样本图像的差异，通过预处理使样本的大小、亮 度、对比度、线条清晰度等方面均有所调整，以便更好地适应后续的识别算法， 以求得最佳的识别结果。 视频监控中的车型识别 3 3 1 大小归一化 由车标定位算法所获得的图像的太小并不统一，因此，在进行车标识别前， 首先要对图像的大小进行归一化处理。 图像大小归一化是指将不同大小的待识别图像通过插值缩放而获得固定大小 的图像样本，阻使后续识别算法能针对固定大小的样本进行统一的处理和识别。 第二章中所定位出来的车标图像通常为一个矩形，只是大小不一致，需要对 其进行缩放，并在此基础上进行识别算法的设计。 灰度图像进行太小归一化时，关键在于插值算法的选择。常用的插值算法包 括多项式插值、样条插值等插值方法。 对于本车型识别课题而言，由于感兴趣的研究对象主要是车标，研究主要集 中在车标线条的变化上，故对图像插值算法的要求不高。在本论文中，车标模板 和待识别车标图像的大小归一化均采用的是“双三次插值”算法口”，其大小均 归一化为5 0 * 5 0 像素大小的图片。 如图3 2 为按照第二章的车标定位算法提取出来的雪铁龙车标。可以看出， 由于光照亮度、线条清晰度、对比度等各方面的影响，提取出来的结果存在着一 定的误差。 图3 3 为将图3 2 进行“双三次插值”算法大小归一化后的结果，明显可以看 出，采用大小归一化进行预处理后的车标图像与车标模板( 详见3 3 3 节) 的相似度 更太，有利于提高识别率。 图3 2 进行大小归一化前的雪铁龙车标图3 3 进行太小归一化后的雪铁龙车标 3 3 2 灰度分布归一化 灰度分布归一化即为直方图均衡化，直接灰度特征虽然可以完整地保留车 标图像的所有信息，但由于光照强度的巨大差异，同一车型的车标图像的像素直 接灰度值的分布存在着巨大的变化，同车标的两个样本图像在均衡化前后的差异 很明显，均衡化处理能从一定程度上去除光照差异的干扰。 直方图均衡化是通过灰度变换将一幅图像转换为另一幅具有均衡的直方图分 第三章基于车标识别的车型识别 布曲线的图像，其实质是一种灰度映射。设图像在0 - 2 5 5 灰度级上进行均衡化变 换，则灰度级k 所对应的映射灰度如式( 3 - 5 ) 所示。 聊h z s s 一噻鲁2 甓一 棚， 其中n 为图像像素数总和，：1 1 i 指灰度为i 的像素个数。 可见使直方图均衡化的灰度变换函数是累积分布函数f 即概率分布函数) 。 直方图均衡化只能使图像从灰度分布概率上“整体趋于均匀”，而不可能做到 每一灰度级都绝对地分布有相同个数的像素数量。经过均衡化的图像可以克服图 像整体偏亮、偏暗或者灰度值集中于某个较小范围内的情况，使图像从整体视觉 上比较清晰协调，也有利于其他图像处理算法的使用，是一种重要的图像归一化 处理方法。 直方图均衡化的研究对象是像素集的灰度直方图，其操作是一种灰度值映射， 即将像素集中具有相同灰度值的所有像素统一变化为另一灰度值，在均衡化处理 之前的原始图像中具有相同灰度值的像素，在处理之后仍然具有相同的灰度值， 仅仅是其灰度的具体数值发生了变化。各灰度值的变化虽然幅度不同，但其相对 关系并不变。 如图3 a 即为通过车标定位算法得到的原始大众车标图像，图3 5 为均衡化处 理后的图像，可以明显的看出，均衡化后图像的对比度有了显著的增加更有利 于识别的进行。 憝吃雳 图3 4 均衡化处理前的原始图图3 5 均衡化后的图 图3 6 和图37 分别为均衡化前后的直方图 视频监控中的车型识别 圈3 6 原始图像的直方图 0000 0 o 。 ii】| 群 第三章基于车标识别的车型识别 3 3 3 模板图像的制作 车标标准模板的制作在车标识别系统中是非常重要的，它是识别算法的基础 和关键。 模板的制作一般有两种方法：一种是直接从众多样本集中选取效果较好的一 幅作为模板：第二种是通过对多个样本取平均值来构造。第一种制作方法相对较简 单，但却过分依赖人的主观判断，可移植性差，且适应能力较差。第二种制作方 法较为复杂，但效果较好，且能较容易的增加新的种类，具有较好的适应能力。 由于样本采集过程中人为因素的影响，同时也由于样本受环境、噪声等因素的影 响，使得各个样本的大小和灰度分布并不相同，因此应先对它们进行一系列的预 处理，处理后的车标样本才能作为该类车标的标准模板。 本论文中的模板制作过程表示如图3 8 所示。 手工采集车标样本 r 倾斜角度调整 1r 中值滤波 1r 灰度均衡化 r 大小归一化 1r 结束 图3 8 模板制作流程图 视频监控中的车型识别 论文中的车标模板均由手工采集获得，作者在“汽车之家”网站和百度图片 搜索里下载了大量的汽车正向图，选取了其中较好的图像对其车标进行了手工采 集，共有3 6 类车标图像它们分别是：比亚迪、别克、长安、大众、标志、东风、 日产、本田、丰田、马自达、雪铁龙、三菱、五菱、红旗、现代、宝马、奔驰、 奇瑞、吉利、福特、金龙、雪佛兰、菲亚特、昌河、雷克萨斯、起亚、铃木、夏 利、江淮、奥迪、五十铃( i s u z u ) 、五十铃( j m c ) 、依维柯、江淮卡车( j a c ) 、 东风( d o n gf e n g 字样型) 、长安( c h a n g a n 字样型) 。其中，前2 9 种车 标的长宽比都小于相应阈值，相应分析见3 7 节；最后7 种车标其长宽比值通常 均大于相应的阈值，相应分析见3 8 节。 模板库中共有1 0 8 幅手工采集的车标模板图像，分别属于上述3 6 类，作者收 集了大量3 6 类车型的车标，在每类中选取效果较好的3 幅，最终确定了图3 9 中 的1 0 8 幅车标图像作为论文的车标模板库。 图3 9 手工采集的车标模板 第三章基于车标识别的车型识别 论文中对手工采集的车标模板均进行倾斜角度调整，中值滤波，灰度均衡化 和大小归一化处理，这些模板制作的处理过程由实验所确定( 详见3 4 ，3 5 节) 。 3 4 基于模板匹配的车标识别 模板匹配 3 3 - 3 6 属于模式识别中的一种统计识别的方法。其是在图像灰度的层 次上直接比较目标模板和候选图像区域之间的相似性，即用己有的模板和原图像 中同样大小的一块区域去对比，然后平移到下一象素进行同样操作，直到所有位 置都对比完后，差别最小的那块就是我们要找的候选目标。在进行车标识别时可 通过比较各个车标类别的标准模板匹配的结果来对输入的候选图像区域的车标进 行识别。模板匹配一般分为基于相关计算和基于欧几里德距离的匹配方法。基于 相关计算的模板匹配是在每次匹配时根据模板以及原图像中正在匹配的那块子图 数据通过进行相关函数的计算找出一个相关系数，该相关系数在一定程度上反映 了两者之间的相似性。而基于欧几里德距离的匹配是通过欧几里德距离函数的计 算找出一个距离值，而该距离值反映了两者之间的差异性。 模板匹配的效果很大程度上取决于模板以及模板匹配中的匹配系数的选取。 模板匹配系数的选取可的一种方法是采用基于欧几里德距离差的绝对值之和，这 种统计匹配程度方法只是简单地将对应点匹配灰度差的绝对值进行求和，其优点 是计算简单，缺点是不能很好的反映匹配程度，特别是在模板与目标存在尺度差 异时，其匹配效果很不理想。另一种模板匹配方法如式( 3 6 ) 所示，则在匹配点( i ，j ) 的匹配系数m a t c h i , j 为： m a t c h i ，j _ 研一l ? 1 - - i 一一 ( ”( x o ，y o ) - v ) * ( u ( x o ，y o ) 一甜) x o = 0 y o = o o i 一 w - m + l ，o j h n + l式( 3 6 ) 式中v 是原图中以匹配点( i ，j ) 为左上顶点的匹配区域的平均灰度值，u 是标准 模板的平均灰度值。与常规的模板匹配方法不同，该式在匹配时各自减去了原图 匹配区域和模板的平均灰度值，这样做的目的不仅可以反映各个类别的模板与目 标的匹配的绝对差异从而可以利用刻画这种差异的匹配值进行初级识别，同时在 很大程度上减小了光照的影响。 设有k 个模板参加匹配，则可得到k 个最大的相关匹配值记为m a t c h m a x ( i ) ( i = 1 ，2 ，k ) ，这些最大的相关匹配值就成为初级分类的依据。 论文在3 4 节、3 5 节和3 6 节中以图3 1 0 所示1 2 种车标为例分别进行模板 视频监控中的车型识别 匹配、不变矩分析和纹理分析。1 2 种常见车标大小归一化后如图3 1 0 所示，归一 化后的大小均为5 0 * 5 0 像素。表3 1 为1 2 种车标的车型和序号的对应关系表。 图31 0 部分大小归一化后的车标图像 本节采用基于最小距离分类器的模板匹配的方法对第二章中提取出来的车 标图像进行识别。模板匹配系数的选取是采用基于欧几里德距离差的平方和，这 表31 车型和序号的对应关系表 l序号 6 i l车型比亚追别克 长安大众标志东风i l序号 1 2 l车型日产本田 丰田 马自达 奥迪雪铁龙1 种统计匹配方法将对应点匹配灰度差的平方值进行求和。部分待识别车标图像的 识别结果如表32 所示。 实验结果表明，基于最小距离分类器的模板匹配是一种有效的车标识别方法r 但是还是存在较大的误识别率。 对表进行分析发现，在后四种错误的识别结果中，“马自达”的正确结果应为 序号“1 0 ”，排在第7 位；“丰田”的正确识别结果应为序号“9 ”，排在第2 位； “别克”的正确识别结果应为序号“2 ”，排在第2 位：“大众”的正确识别结果应 为序号“4 ”，排在第5 位。“马自达”和“大众”在此识别方法中误差较大而对 于“丰田”和“别克”，其与模板的距离均排在第2 位。由于本识别采用的是最小 距离分离器，仅仅只考虑距离最小的那一个识别结果，所以较为容易产生误识别 若对判决法则进行改进，对模板距离由小到大排序中的前k 名均进行分析和研究， 则“丰田”和“别克”有可能会正确识别出来。 于是，作者提出了基于多模板的k 近邻模板匹配相关算法，详见第37 节。 表3 2 是将待识别车标图像和模板均进行了灰度均衡化后的结果，在此之前。 作者曾对待识别车标图像和模板进行直接进行识别，其结果见表33 所示。 第三章基于车标识别的车型识别 表3 2 基于最小距离分类器的模板匹配识别方法的分析表 v ? 一一t “。 与待识别午标图像距离由小到大排列 识别结果对错 的模板图像序号分析 置蠢=1 2 ，5 ，2 ，6 ，3 ，1 1 ，1 0 ，7 ，9 ，1 ，8 , 41 2 一雪铁龙 对 1 1 8 ，1 ，1 2 , 6 ，】0 , 9 ，3 ，2 ，7 ，4 ，5 1 1 一奥迪 对 叠_ 女l _ l _ 强 回 2 4 ，3 ，8 ，5 ，1 0 ，1 ，7 ，1 1 , 9 ，6 ，1 22 一别克 对 一 4 , 2 ，1 2 ，8 ，1 0 ，1 1 ，3 , 7 ，6 ，1 ，9 ，5o 大众 对 e 萤一 6 , 5 ，9 ，