（模式识别与智能系统专业论文）图像中车牌自动识别的研究.pdf

! 塑銮塑查兰塑! 主丝堡兰 h 1 41 i x ；j s m # 整个图像， ，所r l ，的尺、j + 大小足具有定范围的，而牌照中灼每 个1 0 y , jj 、j 大小也f ij s 4 i l l i i j 。综合考虑l ：| f i 的阴个l n 素，改牌照图象【：字符 j , 1 、j 人小n 0 览度为，一，选定水、j ，结构i 豢为w 椰w j ，w 一略小j ：“w ：略人1 j ，。州输入的原始图象a 做w ，的t o p n a t 变换得到图象b ，图象b 保辟f 了尺、j 小：帆的高频部分，c f ，但括枷：域。为了消除图象巾尺寸小j ：w 。的f ：扰 l 父域，刘图象b 做w 。的丌运算，得到执度图象c 。二值化图象c 得到d ，二? 值 劁象f ) i 除目标 x 域外，仪有很少量的水j h t 寸宽度类似于目标的干扰区域， 利j i jh o u g h 变换的方法汁算车牌区域的倾删皮，旋4 4 ；s i - i j 7 4 , 区域至水平得到劁琢 i i 。刈图象e 再进行丌运算确定出包围车牌区域的四边形，计算四边形四条边 的参数，从听定位i i j 年脚区域。为了征明本算法对上面所述的几点二1 二士c 1 t 索订 效，本文r i ：大量的原始图象中墩两张车牌火小不同、车牌相对位置一i 同、吲致 质精，：f i i - , - j 的图象作为例证，在实验r t 一使, e l j 的原始灰度图象的尺寸为3 2 0 2 4 0 象素。 2 32 基于灰度形态学的汽车牌照的区域定位算法具体步骤 1 t ( ) p f l a t 变换： 车牌区域是狄度图象的高频部分，而p o p h a t 变换是一个非线性的高 通滤波器，因此对输入的图象a ( i n n2 5 ( a ) ，( b ) 所示) 进行水平结构 元素w z 的t o p h a t 变换，以确保增强车牌区域部分，滤去我们不感兴趣 的图象中的低频部分，经变换后得到灰度图象b ，这样在图象b 中只有水 平宽度小于w z 的区域，其中包括车牌区域。为了消除水平宽度为w 、的干 扰区域，对图象b 作w 开运算得到狄度图象c ，然后二值化c 得二值图象 d ( 如图2 5 ( c ) ，( d ) 所示) 。 b = h a t ( a ，w ：) c = b w ( 2 1 4 ) ( 2 1 5 ) ! ：塑窒塑叁兰竺! ! ：堂堕堡茎 ( c ) a i 的t o p l i a r 变换结粜的一值化图象d 1 6 ! ：塑塑坐型型堕l 一 ( d ) a 2 的t o p h a t 变换结果的一值化图象d 2 隆l2 - 5输入幽象的 f o p h al 变换 2 1 ij 懈! 倾斜度的计算： 在实际的车牌图象中，车牌往往不是水平的，这就要对牌照的倾斜 度进行计算，文献 7 提出了一种计算倾斜度的算法，它先计算出包围各 个连通域的长方形的中心，然后利用霍夫变换计算出倾斜度，在文字较 多盼陆况下处理较好。但牌照中文字较少，不同目标区域及干扰区域有 时会相连，霍夫变换后的参数空间中的峰值点分散乃至消失，因此误差 较大。本文在此基础上利用霍夫变换结合目标点的灰度空间分布，提出 了一种计算倾斜度的算法。 以图像d 的中心为原点，以水平向右为x 轴正向，垂直向上为y 轴正 向。通过原点，与x 轴夹角为0 ( 0 ( 0 ，1 1 7 9 ”作一方向轴，我们 称其为0 方向轴。图像上任意点p ( x ，y ) 在0 方向轴上的投影为： d = x + c o s ( o ) + y + s i n ( o ) ( 2 一1 6 ) 其中d ( 一d m a x ，d m a x ) d m a x = 级2 + 砂2 2( d x ，d y 分别为图像的宽度与高度) 。 对任意0 方向轴作一长度为2 t d m a x 十l 的寄存器n ，n ( d ) 为投影值d 的目标点个数。记所有目标点的个数之和为t o t a l n u m ，闽值 a = k4 t o t a l n u m ，k = o 8 ，对n ( d ) 上任一点f ( 一d m a x i d m a x ) 计算其t 。 ，+ j f ，= m i n x ：n ( o 爿) ( 2 1 7 ) ! 塑窒堡盔堂堡：! 堂篁堕壅 屯= m i n ( 1 , j ) ，o 【0 ，1 8 0 ) 屹= m a x ( 1 0 ) ，护 o ，18 0 ) ( 21 8 ) ( 2 1 9 ) ( 2 2 0 ) 为0 方向轴上包含大部分目标点的最小投影范围。显然，【 = | 于垂直_ 义j i | | = 列方向的方向轴l - i ( , jn ( d ) 投影曲线分柿最为集中，其最小，故a 垂 直于文! 芦排列方向，令v = 9 0 c l ，y 为图像需逆时针旋转的角度，使旋转 后图象中的车牌呈水平状。d 方向轴上投影分和最为分散，0 与0 相差约9 0 度。 3 确定包围车牌喀：域的四边形： 将图象d 逆时针旋转y 角度得图像e ( 如图2 6 所示) 。为了在图象i ! 中 得到包围水平车牌的四边形，则要合并相邻的字符区域，因此对图象e 做水 平结构元素的闭运算。 ( a ) d 1 旋转的结果e 1 r 海交婆盔堂堕! 堂些堡兰一 一 ( mb 2 旋4 鼢绡朱比 隆l2 61 j 脚旋转至水平 墩水、卜结构冗索 1 1 1 ：2 * w 。“ ( i 为t l l 计的字杓问距) 利川i i l ，刈1 n 缘e 稍i n j 运算： e # e 舭 ( 2 2 1 ) 这样将j ( 乎距离小于川。的高频区域合并，使：车牌目标区域连为一体。为了进 步滤除水，f 线状的干扰区域，再次作丌运算： e 仁e 。t z , ( 22 2 ) 。，j 以进步滤除尺、j ，j 、j 二札的水、 一r 扰区。婴滤除垂直的线条十+ 扰k 域，取 ，庀f 洌构冗索v i ，( 八、川* 小j ：一符商! ：) 剥图象i j 作丌运算： e 仁e 。v l ( 22 3 ) ! i 然，经过以【j 运算所缁的h 象i - i 二扰区域已经很少，包乍牌l x 域的叫 边肜已确定，这样川以力便地利用投影确定车牌字符区域，即纠边形的参数。 确定州边形f 1 9 参数： 刈j p 际 斟像l i 统汁水、j ，办向扣庳卣力m | = j 标琢索个数分川的r | ( c 】) 线，统汁i ( c ”线的、r 均t 矧业 五：1 ( 1 l a ln l 儿n n 。z e r o ( 2 - 2 4 ) ! ：塑奎望苎堂塑! 竺丝堡墨一 ij e 含义表示一耻t - f j 二方向轴的血线包含的牛，j ；点的个数的i 卜均值。 町一一w = 势，蚶h = t 浆： 定义 y m = l n a x i ：月l ，j 7 , 2 ，1 1 ( f ) ， ( 22 6 ) 其r 1 ，( f ) = x i i l ，一i 一。，。，为水5 ，方向轴上目标区域分前j 范田的上、下限，式中，= ，3 ，zo ，8 闽他，l 用于消除下扰的影响，冈为二f 扰区域离日标区域有一定距离。口标 区域的水平投影坐标为x 九。，x r l 。l 。 。 用同样的方法定义在垂直方向轴上目标区域分布范围的上、下限_ 。与 ，目标区域的垂直投影坐标为ye e m 。，儿。 ，从而可以确定图象e ， ，包围乍牌区域的四边形的四个顶点坐标。根据坐标旋转公式，可以确定原 始灰度图象a 中的车牌目标区域的四边形参数，从而可以分割出车牌区域子 图象( 如图2 7 所示) 。 ( a ) 定位所得a l 中车牌所同的四边形 堕垫型型型堕l 一 ( d ) 分割a 2 所得车牌l k 域子剧象 图2 7 定位车牌所围的四边形及分割出的车牌区域 从上述的步骤和实验结果可以看出基于灰度形态学的车牌区域定位算 法对车牌大小不同、车牌相对位置不固定、车牌倾斜、自然场景等干扰因素 都能有效，能够较好地解决车牌区域定位的问题。但是一般来说，复杂背景 图象中字符目标的定位与识别是息息相关的。一方面，目标的定位过程为识 别过程限定了区域。另一方面，目标的识别过程为定位过程提供了指导和评 价，只有识别结果的准确率高，才意味着定位过程的准确。 2 1 一 ! ：塑銮望盔堂塑! 兰笪兰苎一 十r 则h ( x ，v ) = 0 这1 i 【，( x ，y ) t a x ，y ) 判断的意义与b e r n s e n 算法干日同。 & & 瓦( x ，) ；x ( 7 j m i n ) 魁消除伪影现象的另一手段，该逻辑式的成立将保证 考察点所在窗口定跨越目标和背景，这使列笔划宽度w 的选取变得容易，使 。 ： 、j 问何较火j 【 1 4u 三可保证：值化过程j r 常进行。 3 1 4 二维图像局部窗口内极值快速算法 在剥m n 二维图像求墩局部窗口值的过程巾，二维窗口内极值的计算亓j 被分 解为水i ! 、垂直二次维窗i = 1 极值求取： m a x ，( x 十女，y 十，) = m a x m a x ( f ( x + 女，y + ，) ( ：3 一g ) ：；i ? 。3 ”一w s 。s w 其中w x m w l ，w y n w l 。 本节将不考虑以边界点为中心的窗口极值。当然，也可通过边界延拓实现这 些点的窗口极值计算。另外，由于 。r a m i n ( 厂( x + 后，y + ，) 。盟( f ( x + k ，y + ，) ( 3 一l o ) 一w s ，e ww e j s ” ( 其中，为“取反“运算) 使二维局部窗口内极值的计算可以简化为一维窗口内的极大值求取。问题可被描 述为对一维像素序列 厂( f ) ) ，i = 0 ，v ，求取 ( 埘，j = w ，w + i ，n w l 。 m ( j ) = m j 厂( + t ) ( 3 一1 1 ) 如果注意到逐窗滑动求取极值时，处于同一窗口中右边的较大元素将屏蔽掉处于 左边的较小元素，可以有以下快速算法步骤： ( 1 ) 建立长度可变的动态序列t 用以存放当前考察窗口内像素下标： ( 2 ) 初始化：对初始窗口内的2 w 十1 个元素进行非递增排列，其下标存放于t ； 删除t 序列中内容小于左邻元素的项； ( 3 ) t 序列的最左元素即当前窗口内极大值所在象素下标； ( 4 ) 令窗口向右滑动，考察窗口内新进入的像素 厂( t ) ，将其从t 序列的右端 尾部插入适当位置； ( 5 ) 如采当前窗口不是最后一个考察窗，转( 3 ) ，否则结束。 塑銮燮塑型型丛一 可以看出，该算法仅在初始化中有对2 w 十1 个象素的排序过程，其余计算 与窗口尺寸无关。由于窗口尺寸远小于图像尺寸，所以整个算法计算速度与窗口 尺寸几乎无关。当窗口尺寸较大时，该算法的优点是不言而喻的。 本节提出的快速二值化方案考虑了文本图像背景受到噪声干扰的情况，对背 景区域可能出现的伪影现象有很好的消除作用。本算法对车牌子图象二值化的处 理结果如图3 - 4 所示，实验结果证明此算法对车牌图象的二值化是有效的。同时 算法中没有固定的闽值选取困难，是完全基于图像局部特性的自适应算法。 ( a )车牌区域子图象 ( b )乖牌二值化图象 图3 - 4 车牌图象的二值化 3 2 字符的分割 经过车牌二值化以后的车牌文本二值图象还是一个整体，包括文字和文字之 间的空白，要进行单个字符识别( 包括汉字，英文字母及数字字符) 前，就必须 首先把单个字符从车牌字符串中分离出来，这就是字符分割的任务。大部分字 承 分割的算法以垂直投影、字符间距及尺寸的测定、轮廓分析或分割识别组合技术 为基础。但无论是打印字体或手写字体，扫描文本图象还是摄影图象，都存在对 断裂，粘连字符分割的困难。根据切分问题的难易程度，可将待分割文本作如下 分类： 1 )均匀分布的字符，即文本的字符间距固定，每个字符占有一个等宽字框 2 ) 规则间隔分布的无断笔字符，每个字符依字型占有不同宽度。 3 )断裂字符 4 ) 粘连字符，单一连通域包含多个字符 5 )断裂与粘连同时发生的字符 针对本文的识别目标，车牌字符的行数应为一行或两行，本节的字符切分工 作分为行切割和字切割进行。为叙述的方便，引入以下记号： 设二值文本图象为f ( i ，j ) ，o f m ，0 j n ，f ( i ，j ) 的取值为0 与2 5 5 。 2 8 ! 查窒塑查堂堕! 兰竺塑鱼兰一 则字符l 刀分的任务就是找出各孤立字符的外接矩形 c 。( x 。 k ，n k ，xl k ，y ， k ) ( 其中k = o ，1 ，k ) 对第k 个孤立字符c - 有以下参 数： 估计字符宽度c h a rw 标准字符所占列数 估计字符高度c h a r h 标准字符所占行数 字符宽度w i d t h k = x 、 k 一x 。 k 字符c 。所占列数 字符高度h e i g h t k = y ， k 卜y o k 字符c “所占行数 字符间隙g a p k = x 。c k 一x 、 k 字符i b j 口ei n t e r v a l k = ( x 。 k + x 。 k ) 2 一( x 。 k - 1 + x 。 k 一1 ) 2 字符宽商比w h r a t i oe k ：w i d t h k h e i g h t k 紧密度b w r a t i o k = f ( i ，j ) ( w i d t h k + h e i g h t k ) ( ，j ) e ( j 字符象素点与区域面积比 对于区域定位所得的二值图象，可以通过统计游程直方图的方法估计字符的 笔划宽度，并用于后继的字符分析处理。 设字符笔划为1 ，背景为o ，对整幅二值图象可以进行游程编码，则原图可 表示为： o ，。f ，i ，k ，l j 2 ，。，。) ( 3 一1 2 ) 其中0 表示整个游程从背景起计，。，为第i 段背景的游程长度，。，为第i 段 笔划的游程长度，则笔划游程直方图可有下式获得： h i s t s t r o k e x = ( ，l ；= x ) ， x = 1 ，l ( 3 1 3 ) 膊i mn 7 。2 绎( ，。，) l l2 噜眠) 字符笔划宽度对应直方图中的最大值： ，。 s t r o k e w i d t h = m q x ( h i s t s t r o k e x ) ( 3 - 1 4 ) 如图3 5 所示给出了车牌二值字符图象笔划宽度统计直方图。 l ! 塑窒望叁：i ! 塑兰丝兰兰一 ( l )车牌二值图象 ( h )图象笔划宽度统计商方幽 图35 笔划宽度示意 321 文本行切割 当待识别图象中包含多行字符h _ j ，可以用行投影方法，从左至右，从上 至下扫描，则某行起点，。被定义为满足下列条件的值 m lm - i ( ，( f ，如) = o ) & & ( f ( i ，如+ 1 ) 口) ( 3 1 5 ) 其中n 1 的引入可以克服少量噪音干扰，a 取为笔划宽度的一半左右。类似 的，该行终点，。被定义为满足下列条件的值 m f ，一l ( 州，、) 日) & & ( f ( i ，+ 1 ) = o ) ( 3 1 6 ) 行切分完成后，字符切分问题转化为一行内字符切分为互不相连的孤立字符的 问题。 3 22 文本宇切割 当字符间有定问隔时，可以用列投影的方法进行切分，第k 个字符的左 边界x 。 k 由下述条件描述： i ( 2 f ( x o 昨 ，) ) = o & & ( 芝厂( 两 】+ l ，_ ，) d ) ( 3 1 7 ) = i n 旧t ： 类似的，第k 个字符的右边界x 。 k 由下述条件描述： l ? 泡皇堕苎兰型：! ，堂些堕兰 一 一 ( 圭俐扎舵舭& ( 奎m + l 川) 一踟 ，- 二。o l 铡：卜6 给 _ 了两剐兀粘连j 断裂情况f 的图象分割结果。f l _ 【当字符之刚发7 札连时，j ：述算法小能得到仃效的孤屯字符农达。 ( f i )1 ：牌一：值象 ( 1 1 ) 字符分割结聚 幽3 - 6乍牌字符分割结果 但足分割粘连字符涉及两个关键问题： ( 1 )确定粘连是否发生； ( 2 ) 确定分裂点。 本文结合投影特征与乇 别特征，以以别结果为指导实现粘连与断裂字符的处 理。下面给出具体的算法： ( “m 肛o ) & & ( u 1 f ( i ，) o )