基于车牌字符边界定位的视频测速

1、2014 年 5 月May 2014第 40 卷 第 5 期计 算 机 工 程Computer EngineeringVol.40No.5·人工智能及识别技术·文献标识码：A号：TP18文章编号：1000-3428(2014)05-0158-06基于车牌字符边界陈群，(浙江工业大学信息的瑾测速，卢，杭州 310023)摘 要：卡口环境下测速误差大的问题，提出一种提高测速精度的方法。采用以车牌第 2 个字符作为车辆的特征块，利用小波变换分解字符的外部边界特征曲线，在低分辨率下实现目标字符的模板匹配，并获取该曲线相对模板的偏移量，在辨率上进行边界坐标的精细调整，完成车辆特征块的

2、精确。结合字符高度固定的先验知识，确定车辆特征块所处的实际坐标系，以提高对车辆行驶距离的计算。在实际环境下，对该方法进行长达 2 个多小时的测试，并对测试结果与线圈测速、基于车牌的测速进行对比，结果表明，在车辆正常行驶的速度下，与线圈测速相比，该方法测速误差在 3 km/h 以内。：测速；字符；小波分解；模板匹配；摄像机标定；消失点Speed Measurement Based onBoundary Location of License Plate CharactersCHEN Qun, YANG Dong-yong, LU Jin(College of Information Engine

3、ering,of Technology, Hangzhou 310023, China)【Abstract】Aiming at the problem thatspeed measurement has a large error under bayonet socket environment, a method to improvethe velocity precision is proposed. The second character of license plate as a feature of vehicle positioning block is used, wavele

4、t decomposition is used to decompose the characteristic curve of the characters outer boundary, the feature matching is made and the offset of the curve about the template is obtained at low resolution, the outer boundary is adjusted in the initial resolution to complete the vehicleprecise location.

5、 The actual coordinate of the block is determined combined with the height fixed of character, improves the distance of thevehicle traveling. In actual environment, it tests the algorithm for longer than two hours, and compared with coil speed andspeedmeasurement by license plate location. Results s

6、how that, under normal speed, the error is within 3 km/h compared with the coil speed.【Key words】pointsspeed measurement; character location; wavelet decomposition; template matching; camera calibration; vanishingDOI: 10.3969/j.issn.1000-3428.2014.05.033的转换关系进行速度的转换。但是上述的标定方法都只是1概述测速是智能交通系统中一种新型测速方式

7、，能克建立像平面到路面坐标系下的，没能建立像平面到车辆特征块点所处的世界坐标系下的转换。在卡口环境下，研究的是基于对车辆特征块的，如对车灯6、角服线圈测速需要破坏路面的缺点，也能弥补测速对安装角度要求高的不足1-2。目前，国内外越来越多的学者研点7，再求出相应的行驶距离。目前，研究的最成8的究与测速相关的技术。为了避免基于虚拟线测速是基于车牌测速，以其作为车辆每帧的定中触线时间误差的问题，文献3提出了在车道上设置一个矩形检测区，通过检测区内的 4 个顶点与其在画面中成像坐标之间的关系，确定相应的转换系数，将图像中的像素位结果，再结合摄像机标定技术实现测速。但车辆从远景驶入近景中，效果会受车牌边

8、框、倾斜等因素的干扰，使前后两帧切割出来的车辆牌照不能很好的吻合，从而影响测速精度。点坐标准确地到相应的路面坐标系下，确定车辆的位移计算出速度，使研究的技术集中在如何精确地得到车辆的行驶距离。为了简化相机标定实现在实际道路下的测速， 文献4-5提出了利用消失点的原理建立像平面与路面坐标基金项目：浙江省自然科学基金资助项目(Y1080533)。为提高测速的精度，本文提出一种基于车牌字符边界的测速方法，对字符的外部边界精确，以提高车辆行驶距离的估算。作者简介：陈 群(1987)，男，主研方向：模式识别，数字图像信号处理；，教授、博士生导师；卢 瑾，实验师、博士。收稿日期：2013-02-27修回日

9、期：2013-03-31：chenqun_20060500第40 卷 第5 期陈群，卢瑾：基于车牌字符边界的测速1592测速原理测速是通过é fx0fy0u0ùé0ù é cos(s)-sin(s) ù其中， K = ê 0úê ú ；ú ；F =vT = 0êêêë 0úê ú êël úû 0- sin(s) -cos(s)ûë分析技术实现对车辆的测速。

10、通1 úû过对车辆的实时，得到该车辆在画面中的移动速度，é1 0ùE = ê01ú 。再利用摄像机标定技术实现速度的转换。车辆在画面中的移动速度如下式所示：ëû对式(2)进行反变换就可以建立从像平面到路面坐v = (d1 - d0 ) /(t1 - t0 ) = Dd / Dt其中，d0 和 d1 分别是通过(1)，得到t0 和 t1 时刻车辆标系( Zw = 0 )的转换关系，具体公式如下：lus cos( p ) sin( t ) + vs sin( p )X=wvs cos( t ) + f sin( t )

11、在画面中的移动距离，然后通过像平面与路面坐标系的映射关系实现速度的转换。在实际道路上，像平面与路面坐l-us sin( p ) sin( t ) + vs cos( p ) vs cos( t ) + f sin( t )Y =w标系(原点为摄像机光轴与地面的交点)9的所示。关系如图 1ìus = (u - u0 ) cos( s) + (v - v0 ) sin( s)í(3)v = (u - u0 ) sin( s) - (v - v0 ) cos( s)î sOS由式(3)可知只要标定出 f，l，p，t，s 这 5 个参数，就XcXcsZc能完成像平面与路面

12、坐标系的关系。本项目所使用的Yc Ycs摄像机是锐势相机 310 系列，分辨率为1 616 ´1 232 ，拍摄频率为 15 帧/s。设像平面坐标系的原点在左下角，在实O像平面uHv际道路上配置相应的标志点以提取消失点，再根据消失点原理实现标定。在实际道路面下的配置方法，如图 3 所示。lhZw1Zw=h 时的路面坐标系Yw1pOw1 Xw1ZwtYwOwXw 道路面路面坐标系图 1 路面坐标系与像平面的关系图 1 中的角度 t 为相机光轴与路面的夹角，p 为光轴与路面夹角，s 为相机内部的旋转角， l 为两平面之间的距离。其中， X csYcs Zcs 坐标系是相机坐标系 XcYc

13、 Zc 绕 Zc 轴旋转s 度后形成的坐标系， X wYw Zw 是路面坐标系，UV 为像平图 3 参数配置方法通过配置在画面中获取的坐标位置为： A(480, 997) ， B(235, 597) ，C(1 559, 586) ，D(1 373, 998) ，E (383, 838) E(383, 838) ， F (306, 713) 以此计算直线 AB ， CD ， AD ，面坐标系。从图 1 可知，将路面坐标系骤，如图 2 所示。到像平面的步BC 的表，由直线 AB 与CD 的交点计算出垂直方向消图 2 路面坐标系到像平面坐标的转换过程失点坐标为(1 015, 1 669) 和由直线

14、AD 与 BC 的交点计算出水平方向消失点坐标(-140 995, - 2 166) ，实际相机安装的高度为 H = 6.65 m ，焦距 f = 25 cm ，像元dx = d y = 4.4 um 。根据文献9-10基于 2 个消失点标定便可计算出仰角为 t = 10.5 °，偏角为 p = -2 °，内部倾角为s = 0.83 °，再将标定出来的参数代入式(3)即可得到像平面与路面坐标的转换。= 35 .4 ´ us cos( -2) sin(10 .5) + vs sin( -2)结合图 1 的上的转换关系如下：关系，图 2 中的 4 个变换过程

15、在数学é X ùcé u ùé f0 ù0f y0uêúx0Yê ú1Z cêú0 ú êú =ê v ú =c0v 01êê Z úcê 1 úê 00 úû êúë ûë1ëû-sin(s)-cos(s) 00-sin( p)é cos(s)ê- sin(

16、s)00100ù é Xcs ù0ú ê Ycs ú1ZcXK 0 êú êú =wvs cos(10 .5) + 5705 ´ sin(10 .5)ê0ú ê Zcs ú00ê1ú êú= 35 .4 ´ -us sin( -2) sin(10 .5) + vs cos( -2)1Yëû ëû0ùéXwùwvs cos(10

17、.5) + 5705 ´ sin(10 .5)écos( p)0ìus = (u - 808 ) cos( 0.83) + (v - 616 ) sin( 0.83)éF 0 ù ê-sin(t)sin( p)0úê Yw ú-sin(t)cos( p)cos(t)cos( p) 0-cos(t)-sin(t) 0 1K 0êív(4)ú êúêú= (u - 808 ) sin( 0.83) - (v - 616 ) cos( 0.8

18、3)Zcë 0 Eû ê cos(t)sin( p)l úê Zw úî sêúê 1 ú01ûëû从式(4)可知，车辆的精度是影响测速精度的ë关键因素。在实际情况下，路面坐标系需建立在点所(2)160计 算机 工 程2014 年 5 月 15 日对应的平面上(即图 1 所示的 Zw = h )，而不应直接建立在距抽样11，并将边界点集转换到极坐标形式下来表达，实 现字符边界的尺度、平移、旋转不变性。再对特征曲线进 行小波分解选择低频信息进行匹配

19、，以滤除细节噪声干扰。地面上。所以，必须计算出点所处的高度，进一步提高第 2测速的精度。据此，本文提出利用小波变换对车牌由轮廓跟踪法对字符边界点进行逆时针等距到的边界图如图 5 所示(以字符“B”为例)：所得个字符的外部边界进行精确，在低分辨率下通过最佳起点匹配实现目标字符的模板匹配和边界偏移量的确定，在原始分辨率下提取曲率特征，依次选择 3 个基准点40利用最佳匹配原理，建立起模板边界与目标边界的系，统一以模板信息代替目标边界，提高前后两帧关点30位置的吻合度。最后，结合字符高度固定的先验知识，完20成点实际坐标系的确定，提高对相邻两帧间车辆移动边界点集形状中心边界起点距离的计算。3基于车牌

20、10的测速算法车牌实现是卡口系统里的子模块，通常以其结果0204060x/像素测速。其方式主要是根据车牌长宽比例、字图 5边界点集符区域的纹理特征、车牌颜色等特征实现对车牌区域的定将边界点坐标转化成极坐标形式进行表达：位，再将结果代入式(4)得出速度。车牌算法的基rj =x2 + y2 , j j = arctan( y j / x j )(5)本流程如图 4 所示。jjr'将幅值 rj 进行归一化成 j ：彩色汽车图像利用明暗相间纹理及Sobel 算子确定牌照大致位置r' = (r - r)/(r- r)(6)j Î n 得到jjminmaxmin其中， rmin

21、= minrj , j Î n, rmax = maxrj ,灰度化处理的边界点的幅值和相位的特征曲线如图 6、图 7 所示。图像的灰度拉伸边缘算子卷积运算得到车牌候选区域根据特征确定牌照图 4 车牌流程可知，车牌算法基本流程算法中并没有对车牌的上图 6 边界点的幅值曲线从下边界做精分割，只是出一个大致区域。但是，测速对特征块的精度要求很高。前后两帧的点差一个像素，得到的速度相差1 km/h 左右。因此，必须对其进行改进来提高4基于车牌测速精度。的测速改进算法车牌图像通过二值化后，其字符的边界往往存在缺陷、毛刺、倾斜等因素的干扰。这些干扰会造成车辆前后两帧图 7 边界点的相位曲线由于

22、边界点的幅值曲线 r ' 包含了边界点与几何中心的关系即字符的边界信息，因此本文提取幅值曲线 r ' 作为目标字符的特征曲线。然而目标边界往往存在许多干扰，仅仅依靠初始的边界信息进行匹配，误匹配率比较高。由小波变换的知，通过尺度函数：f (2k x - j) | j Î Z 可生成分辨率为 2 j下的逼近信号，表征特征曲线的边界信息的近似信号；由的点不吻合，从而影响对车辆行驶距离的估算，以致影响测速精度。为了能消除这些干扰，本文先对目标字符边界进行等距采样形成特征曲线并对其进行小波表达，再不断调整曲线的起点位置实现特征匹配。最后，利用最佳匹配完成边界的调整达到精。4.

23、1 字符外部边界特征曲线的小波表达首先将到的 m 点边界点统一以 n 点对边界进行等相位得到最终的牌照根据波峰波谷，调整车牌左右边界对区域进行水平投影， 统计波峰波谷对各区域进行连通域颜色统计，进一步排除伪区域第40 卷 第5 期陈 群，卢 瑾：基于车牌字符边界的测速161小波函数：j (2k x - j) | j Î Z 生成的小波空间，得到是分辨率为 2 j 和 2 j+1 下的逼近信号之差，表征了边界信息的细节信号。使其与模板边界能够一一对应。设 rb 为模板边界特征， rc 为目标边界特征，两者相异度计算方式如下：N -1所以特征曲线的边界点数 N 应为 2 的幂次方才造&#

24、229;rb (i) - rc i2成边界信息的丢失。本文选择 N = 128 并对其进行周期性扩D(rb , rc ) =i=0(9)'''展为 r (N ) = r (0), r (N +1) = r (1),L, r (N + t) = r (t),L，N -1N -1111årb (i)2 ´ årc (i)2将其在第 J 层下进行小波分解如下式所示：R1 (x) = åCk , jf (2k x - j) + å Dk , jj (2k x - j)i=0i=0+¥+¥(7)对于图 5 字符

25、“B”，通过最佳起点搜索匹配与模板“B”的特征曲线形成了匹配对，两者的相异度 D=0.021， 所对应的 m=0，k=2，即偏移量为 S=2。4.3 基于最佳匹配的字符边界精调整在原始分辨率下，目标边界由于存在干扰与模板仍有一定的差异，生成的边界点集 r' 会存在细微的偏差，从而导致与模板边界的对应是模糊的，而且每一帧对应的模糊j=-¥j=-¥其中，Ck , j 和 Dk , j 分别为曲线 r1 在分辨率为 J 下的近似和细节数据。当 J = 3 时，分解后的效果如图 8、图 9 所示(数据重新归一化处理)。状况都不一样，这样极大地影响了车辆的匹配结果如图 10

26、所示。精度。其粗模板边界目标边界100150采样点低频分量曲线图 80 0050100采样点图 10 边界粗匹配结果为了能解决上述的问题，本方法通过建立模板与目标边界的仿射变换关系对目标边界进行精确调整。假设Cc 为目前边界，Cb 为模板边界，S(sx,sy ) 为尺度矩阵，R(q ) 为旋转矩阵， T ( t x , t y ) 为平移矩阵。其仿射变换原理如下：Cc = S(sx , sy )R(q )T (tx , ty )Cb =qsy cosq 0étx ù图 9高频分量曲线ê sy sinqty ú Cb(10)êê

27、5;ú1 úû4.2 基于最佳起点匹配的模板查找和偏移量计算字符受倾斜现象的影响，使目标边界曲线与模板曲线 的起点不一样。但通过对循环平移和小波变换进行分析12，0从上面的变换过程中可知有 5 个未知参数，至少得建立 5 个方程才能求解。所以要选取 3 个基准点(每个基准点可以得到 2 个方程)才能建立模板到目标的仿射变换关系。3 个基准点的选择步骤如下：(1)对特征曲线分段匹配处理，排除相似度较差的曲线区间：其满足把偏移量除以 2 J ，所得的m 余数为 k ，则平移后的小波变换结果等于先将边界点集平移 k 个进行小波变换后再平移 m 个。具体原理如下式如示：W

28、 J (Rk + m×2(r) = Rm W J (Rk (r);(8)k = 0,1,L,2 J -1, m = 0,1,L,2n - J -1Pg = (s, e) | Di (rb (s, e), rc (s, e) < D, e - s = n(11)其中， (s, e) 表示曲线的起始点； Di 表示第i 段曲线的相异度； D 表示整条曲线的相异度； n 表示每段曲线的点数。(2)对剩下的曲线段 Pg，提取曲率特征选择曲率较大的即通过搜索 m 和 k 的值，得到匹配的相异度最小时所对应的模板即为当前字符匹配的结果，并根据 m 、 k 计算出偏移量 S = m 

29、5; 2 J + k ，以此对目标边界点集进行平移，幅值162计 算机工 程2014 年 5 月 15 日点为候选基准点，以排除因曲率变化过于平坦导致基准点集中在某一曲线段，无法获取最佳关系。调整前后的点对比如表 1 所示。 表 1 边界调整前后对比 调整前调整后Pc = (x, y) | Curv(Pg ) < avg Curv(Pg )(12)gÎ0,num左上顶点(11, 32)右下底点(25, 4)(11 6, 32 3)(25 1, 6 2)其中，(x, y) 表示目标边界的坐标位置；Curv(Pg ) 表示当前曲线段的曲率。(3)对候选基准点 Pc 以 3 点为一组

30、建立模板与目标边界的关系，取匹配相异度最小所对应的基准点。具体的流程如图 11 所示。由图 12、图 13 和表 1 可知，通过调整后字符边界与模板边界的特征曲线基本重合且目标字符的边界坐标得到调整，消除了缺陷、毛刺、倾斜等因素的干扰。5车辆行驶距离的确定实现对车辆特征块的后，再求出点所处的实测速。际坐标系，就可以确定车辆的行驶距离，实现由于实现了字符边界的精，通过字符高度固定的先验知识，投影出点距离地面的高度。投影的原理如图 14所示。图 11 边界精调整流程根据图 11 的流程，对图 5 中的字符边界进行精细调整所得的变换矩阵如下：-26.705 4ùé0.802 00

31、.079 7 0.799 60C c= ê-0.078 4-9.376 1 ú ´ Cb(13)êêëú1úû0边界调整后的效果如图 12、图 13 所示。图 14点高度投影原理如图 14 所示，A 为字符边界的左上顶点；F 为边界的左下顶点； C 为上边界在地面上的投影点； D 为下边界在地面上的投影点；OH 为相机安装的高度； AE 为字符上边界距离地面的高度。通过相机标定，可以得到OD 和OC 的距离。OC - ODBD OH EF OHCD OC DF DH=OCBD - AF=BD由式可得点距离

32、地面的高度 AE 为：AF ´ OC图 12调整后的曲线对比AE = AF + EF = AF + OH -(14)OC - OD40设OH = H ，结合式(14)对式(4)进行修改，得到的新表如下：X 'w = ( H - AE ) / H ´ X w30Y 'w = (H - AE ) / H ´ Yw(15)20边界点集形状中心边界起点将每帧字符的左上顶点坐标代入式(15)，便可以计算出车辆所行驶的距离。106实验结果0204060x/像素调整后的边界点集将测速算法从PC 平台移植到DSP 环境下(智能卡口系统由上海弘视通信技术提供)，在实

33、际卡口环图 13幅值特征粗匹配结果Pc = (x, y) | Curv(Pg ) < avg Curv(Pg )gÎ0,num字符边界精调整边界 特征曲线分段匹配处理Pg=(s,e)|Di (rb(s,e),rc(s,e)<D,e s=h计算每组基准点的变换矩阵Ri最小相异度minDi提取曲率特征 ，确定候选基准点调整目标边界坐标第40 卷 第5 期陈 群，卢 瑾：基于车牌字符边界的测速163境下进行长达 2 个多小时的测试，测试结果与线圈测速、距离的计算，有效地提高7结束语测速的精度。基于车牌所示。的测速进行对比。部分测试结果如表 2为提高测速的精度，本文提出对字符的外

34、部边界 表 2 部分测试结果对比精确，以提高车辆行驶距离的估算。实验结果表明，序 线圈测速改进前改进前误点 改进后改进前误差/(km h1)/(km h1) 测速/(km h1) 差/(km h1) 高度/m测速/(km h1)号本文方法可有效地提高测速的精度，且不受车辆类型、0150 6647 1558 6353 637 976 4867 104 072 267 286 565 295 315 903 862 767 7775 252 256 632 775 503 6975 552 763 445 864 326 362 793 485 641 0300 93048 8745 241 79

35、特征块位置高低的影响。但是本文是在车牌的前提下进行的研究，对于车速超过100 km / h 以上的容易造成车牌模糊导致字符区域分割失败。因此，考虑如何去除运动模612 910 241 731 001 370 882 310 120 760 494917146 7843 8638 6553 5841 5240 4467 8150 8545 8140 9160 8648 0845 73931152 1047 5052 1651 1760 7742 4659 9940 1270 3454 2567 0653 0351 328269 900931 429355 8336 92

36、0 9100 46057 8047 02糊是需要研究的重点。参考文献1,涛. 基于的交通自动检测技0 4900 8800 9600 4600 4100 4320 4400 4600 88037 6552 2140 6442 3153 2147 5248 3643 9844 88术综述J. 公路交通科技, 2006, 23(8): 116-121.安福东. 机动车的几种测速方式原理及性能的分析比较J. 技术, 2003, (3): 33-35.23张重德,. 一种提高车速检测精度的方法J.上海交通大学学报, 2010, 44(10): 1439-1443.4Maduro C, Batista K

37、, Peixoto P,. Estimation of Vehicle12131415161748 2444 7444 3944 0155 5240 21Velocity and Traffic Intensity Using Rectified ImagesC/ Proc. of International Conference on Image Processing. S. 1.: IEEE Press, 2008: 777-780.Nguyen T T, Pham X D. Compensating Background for Noise Due to Camera Vibration in Uncalibrated-camera-based Vehicle Speed Measurement SystemJ