（信号与信息处理专业论文）基于hmm的车牌自动识别技术的研究.pdf

摘要 基于h m m 的车牌自动识别技术的研究 硕士研究生余华导师赵力教授 东南大学无线电工程系 汽车牌照识别系统在许多领域都有着广泛的研究和应用价值，本文详细讨论 了车牌识别系统的具体结构。一个完整的车牌识别系统有以下四部分组成：图象 捕获、车牌定位、字符分割、字符识别。我们重点讨论后三个部分。 车牌定位：首先，引入了二维彩色直方图的概念。在对整个汽车图象进行处 理时，第一步是对图象进行色彩聚类，以减少冗余的彩色信息；然后，做出图象 的二维彩色直方图；最后，根据车牌的彩色特征和外形特征将车牌从整个汽车图 象上分割出来。 字符分割：首先对分割出的车牌图象进行二值化处理，去除无关信息；其次， 要对车牌进行必要的倾斜校正，使牌照处在水平方向上，以利于识别；第三，作 出车牌的二维直方图，选用适当的门限来分割出字符。 字符识别：在识别之前，要对字符图象进行适当的预处理。在这之后，我们 采用了k l 变换来减少向量维数。最后我们用了蚴的方法来识别字符。 关键字：车牌定位字符分割字符识别二维直方图 k - l 变换h m m a b s t r a c t r e s e a r c h0 nt h e t e c h n i q u eo f a u t o m a t i cv e h i c l en u m b e rr e c o g n i t l 0 nb a s e do nh m m c a n d i d a t e ：y u h u a ，s u p e r v i s o r ：z h a o l i d e p a r t m e n to f r a d i oe n g i n e e r i n g ，s o u t h e a s tu n i v e r s i t y ，c h i n a t h ev e h i c l en u m b e rp l a t er e c o g n i t i o ns y s t e mi s e x p e c t e d t oh a v en u m e r o u s a p p l i c a t i o n si nm a n y f i e l d si nt h i sp a p e rt h ef u l ls y s t e mo ft h ev e h i c l en u m b e rp l a t e r e c o g n i t i o ni s d i s c u s s e di nd e t a i l t h ef u l l s y s t e mc a nb ed i v i d e di n t o f o u rp a r t s ： p i c t u r ec a p t u r e ，n u m b e r p l a t el o c a t i n g ，c h a r a c t e rs e g m e n t a t i o n , c h a r a c t e rr e c o g n i t i o n i nt h i sp a p e rw ed i s c u s s e dt h el a s tt h r e ep a r t s n u m b e r p l a t el o c a t i n g ：w e u s et h em e t h o db a s e do nt h e i d e ao ft w o d i m e n i o nc o l o rh i s t o g r a m f i r s t ，t or e d u c et h e r e d u n d a n c y c o l o ri n f o r m a t i o nw e c l u s t e rt h ec o l o ro ft h ew h o l ev e h i c l ei m a g ei n t os e v e r a lc o l o r s s e c o n d ，w eg e tt h e t w od i m e n i o nc o l o rh i s t o g r a mf r o mt h ev e h i c l ei m a g e t h i r d ，w es e a r c ht h ev e h i c l e l i c e n c eb a s e do nt h eg e o m e t r i ca n dc o l o rp m p e r t yo fl i c e n c ea u t o m a t i c a l l yf r o mt h e v e h i c l ei m a g e c h a r a c t e r s e g m e n t a t i o n ：f i r s t ，t h ec o l o ro ft h el i c e n c e i m a g e m u s tb e s i m p l i f i e di n t ob i n a r i z a t i o n s e c o n dw ea d j u s tt h ei n c l i n a t i o no ft h el i c e n c et ok e e pi t i nt h eh o r i z o n t a ll e v e l t h i r d ，w eg e tt h et w od i m e n i o nc o l o rh i s t o g r a mo ft h el i c e n c e i m a g e a n du s eat h r e s h o l dt oc u tt h el i c e n c ec h a r a c t e rb a s e do n t h e h i s t o g r a m c h a r a c t e rr e c o g n i t i o n ：w eu s et h ek - lt r a n s f o r mt or e d u c et h ec o m p l e x i t yo f t h ec a l c u l a t i o n t h e nw eu s eam e t h o do f h m mt or e c o g n i z et h ec h a r a c t e r k e yw o r d s ：n u m b e rp l a t el o c a t i n g r e c o g n i t i o n t w od i m e n i o nc o l o rh i s t o g r a m c h a r a c t e r s e g m e n t a t i o n c h a r a c t e r k - lt r a n s f o m lh 学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人己经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名 关于学位论文使用授权的说明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人 电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论 文被查阅和借阅，可以公布( 包括t i l g # ) 论文的全部或部分内容。论文的公布( 包 括刊登) 授权东南大学研究生院办理。 签名： 第= 璋绪论 第一章绪论 本章首先就课题的提出背景、课题目前的研究状况与前景做一些分析与讨论，而后 简单介绍一下计算机视觉的理论框架、图像处理技术及模式识别的有关知识，最后给出 课题的研究方案。 1 1问题的提出 随着经济的不断发展，汽车在现代社会中日益发挥最重要作用。但随着汽车总量的 大幅上升，对汽车的管理渐渐成为了一个新的难题。利用计算机来帮助记录汽车的信息， 识别汽车的身份已成为了一个趋势。其中最典型的就是将计算机视觉应用到汽车牌照识 别上来【4 6 1 1 1 1 1 2 】。 计算机视觉又称机器视觉，起源于五十年代。作为计算机科学的一个重要分支，计 算机视觉技术在最近三十年间有了突飞猛进的发展。特别是在八十年代初，m a r t ( 1 9 8 2 ) 5 第一个提出完整的视觉计算理论，把计算机视觉的研究提高到了一个新的层次。计算机 视觉应用领域遍及工业、农业、交通、军事等方面，对这些领域的自动化水平和机动性 能的提高发挥了重要的作用。本文将讨论有关计算机视觉图像处理技术在汽车牌照识别 中的应用。 1 。2 车牌识别的研究成果和前景 统计资料表明：汽车牌照自动识别系统在社会公共生活的很多领域都有着十分重要 的应用。 例1 ：路桥不停车收费系统随着公路收费在我国的快速扩大，我国现行的路桥 收费方式f 如人：j ：收费、磁譬或j ( 、p p 自动收贽、：诈接触武m 卡半自动收费等j 的缺，r ，l 越来越突出如：收赞没囱躲督、漏；1 4j 、：收赞i 时叫k ：i 二、 小致；椠姥乍辆阶点 j 建j 铿臂聚1 i 忡c 5 f j 系统，1 ：。史删 、停_ 1j 2 贽j ! j j i ，l 为了觅川 这o ! 问题，j j j w1 、俘1 i 恢 4 ；m h ll 、- hti 第一章绪论 费，就是指系统能在车辆高速通过收费站时，自动完成车辆的识别、收费、登记和建挡 的过程。车辆信息包括车牌号码、车辆类型、车生颜色、车主姓名、单位名称等。不停 车收费系统主要有以下优点：保证了不停车收费的实现，提高了高速公路运营效率，保 证了收费站的车流畅通。 例2海关电子自动验放系统改革开放以来，通过口岸进出我国的人员、各种 车辆、货物、物品不断的大量增加。而人工管理越来越显示出效率低的缺点，导致口岸 塞车现象也越来越严重。于是海关迫切需要解决的是如何实现全面而有效地对进出口转 关车辆监管又能同时解决塞车问题。海关电子自动验放系统有以下优点：实现正常车辆 不停车快速通关；堵塞人为操作的漏洞；防止车辆走私。 另外，车牌识别系统在交通的其他领域也有着广泛的应用如： 1 交通管理数据的自动记录； 2 停车场管理： 3 公共交通的车辆监控等。 因此建立起识别率较高的车牌识别系统，对简化公共交通管理，提高交通部门工作 效率，打击犯罪都有着极为深刻的意义。 一、汽车牌照的基本元素 目前我国机动车使用的牌照主要是根据公安部一九九二年颁布的中华人民共和国 机动车号牌标准( g a 3 6 9 2 ) 制作的。另外，部队、武警等部门的汽车牌照也有自己的 标准。但无论是哪种汽车牌照都由四大基本元素组成： 1 汉字 2 英文字母( a z ) 3 数字( o 9 ) 4 颜色( 蓝、黄、白、黑) 二、汽车牌照自动识别系统的组成 个完整的车牌识别系统的t f j - j 2 - t 。；d 分为岍个步! 煤：是1 。牌阁像i _ | j 精确，( f j 并j 上 门囊；见，j i | j 爿：f i 自定乍i 鹊n - 9 窿1 、| 冬l f 家l i ln 7 j f - ? 筠! ： j t l 鹏i t j l l ，5 ；一：7 丁u h | j ，j _ ：、j 、| 川q i i 冬j f 象 第一章绪论 中识别出车牌号码，并输出车牌号码字符串。当车辆图像被抓拍到以后，首先软件对图 像进行大范围的相关搜索，查找与汽车牌照特征相符的区域，并将这些区域利用软件进 行判断比较，选择与车牌最相似的区域作为识别的对象，系统再运用视觉和神经网络技 术，对分割的对象进行字符边缘提取、特征提取、字符识别等，最后输出车牌号码的数 字信息。 算法难点包括： 1 汽车牌照区域定位； 2 旋转校正； 3 污损处理； 4 字符分割： 5 字符识别； 6 环境光影响( 太阳定向反射、镜面反射) 7 车辆高速运动中成像； 其中前五点可以用软件算法来解决，而后两点则要通过改善硬件环境来解决。 三、车牌区域定位技术 由于汽车图像摄于背景复杂且光照不均的自然场景下，因而怎样从自然背景中准确 可靠地分割出车牌区域，是很关键的。为此，人们进行了很多研究，提出了许多分割算 法。其中大部分算法是基于车牌的不同特征进行的，目前较为成熟的算法有：自适应边 界搜索法、区域生长法、灰度图像数学形态学运算法、基于字符串特征增强的分割方法、 模糊聚类法、基于图的车牌定位和分割法、d f t 变换法等。 自适应边界搜索法利用i 1 l 型、水平直线、垂直直线这些结构元素搜索、定位字符， 然后找出符合一定格式的字符群，即认为是车牌；区域生长是对边缘图像进行均匀性区 域生长以获得潜在的车牌区域，然后利用车牌的几何特征以及车牌区域内的边缘扶度赢 力图统计特征删除伪车牌，即得真实车牌；狄度图像数：学形态学运算法则利用车牌形状 特征、。产符排列格式l , = i = f t i ，列预处理后的狄艘图像进仃系列的形态学运算，得到良线 j ；数| f 的j ：7 j 棚邻i l ( j i 更城即认，j 昆玎榔：牡j 。j 7 伯? 持陋j _ f l 铀! 的分并l j 力；、不1 1j | 种 第一章绪论 线性滤波器突出牌照区域的纹理，再采用取阈值的方法来分割牌照区域；模糊聚类法则 利用模糊逻辑系统，根据一些分类参量判别由粗分割得到的图像中不确定部分是隶属于 背景还是目标，从而分割出车牌：基于图的车牌定位和分割法首先选取适当的阈值用迭 代法得到二值图，再根据车牌中文字笔画的垂直边缘特征做车牌定位；d f t 变换法是先对 图像逐行做d f t 变换，然后把频率系数逐行累加平均并根据这些平均值做出频谱曲线，根 据频谱曲线中的”峰”的起始点位置确定车牌水平位置，对这一水平区域逐行做d f t 变换可 确定车牌竖直位置。以上算法都有较好的识别效果，但是却有着较高的时间复杂度，本 文采用的是彩色聚类法则是对整个汽车图像进行色彩信息的提取，从中找出体现车牌色 彩特征的部分，从而分离出车牌。这种算法比较简单，容易实现，能够较好的体现实时 性要求。 四、车牌字符分割与识别技术 字符分割与识别是先将车牌区域分割成单个的字符，然后再进行识别，难点是模糊、 断裂的字符的识别。 字符分割目前一般采用垂直投影法。由于字符块在竖直方向上的投影必然在字符间 或字符内的间隙处取得局部最小值，因此字符的正确分割位置应该在上述局部最小值的 附近，并且这个位置应满足车牌的字符书写格式、字符尺寸限制和一些其他条件。利用 垂直投影法，对复杂环境下的汽车图像中的字符分割有较好的效果。 字符识别方法目前主要有基于模板匹配算法和基于人工神经网络算法。基于模板匹 配算法首先把待识别字符二值化并将其尺寸大小缩放为字符数据库中模板的大小，然后 与所有的模板进行匹配，最后选最佳匹配作为结果。基于人工神经网络的算法主要有两 种：一种是先对待识别字符进行特征提取，然后用所获得的特征来训练神经网络分类器； 另一种方法是直接把待处理图像输入网络，由网络自动实现特征提取直至识别出结果。 前一种方法识别结果与特征提取有关，而特征提取比较耗时，因此特征提取是关键。后 一种方法无须特征提取和模板匹配。基于人工神经网络的算法识别率较高，但是算法复 杂，实时性较差。而模板匹配算法，则较为简单，可以满足实时性的要求，但是识别率 较低。近年来基于隐马尔可夫模型f f i m m ) 的图象识别方法已经被提 _ f ： ，本文中我们把 隐，1 j 尔r i j + 丈模型成用到字符以别- ”去。史验表i 叭复方法以别牢高、实叫性好昕以是 t 鞍灯n * j ? i ：1 = 以删乃法， 自、布。，? 州卜：j 卜- j 第一章绪论 车牌识别在我国目前还处于研究阶段，并没有应用于实际。国外已开发出一些投入 应用的系统。如：香港的一套针对本地区车牌的识别系统的识别率已高达9 0 ；而英国 某大学开发的应用在停车场和收费站的识别系统也有着相当高的识别率。由于外界环境 对识别系统的影响较大，各国都在积极研究具有更高适应性的识别系统。 1 3 计算机视觉概述 计算机视觉作为计算机科学的一个重要分支，应用领域遍及工业、农业、交通、军 事等方面，对这些领域的自动化水平和机动性能的提高发挥了重要的作用。 计算机视觉的研究目标是使计算机具有通过从二维图像认知三维环境信息的能力。 这种能力将不仅使机器能感知三维环境中物体的几何信息，包括它的形状、位置、姿态、 运动等，而且能对它们进行描述、存储、识别和理解。计算机视觉的发展得益于神经生 理学、心理学与认知科学对生物视觉系统的研究。一般来说，在计算机视觉中，输入的 是某种形式的图像，即可以是一幅图像，也可以是从不同视点得到的多幅图像，或更一 般地说是图像系列。输出是景物内容的符号描述，并对图像数据作出的有用解释 2 3 1 1 8 1 3 。 8 0 年代初，m a r r 提出了视觉的计算理论，使计算机视觉的研究有了一个比较明确的 体系，大大地推动了计算机视觉研究的发展。这一理论把视觉过程看作一个信息处理过 程，并把这样一个过程分为三个主要层次：计算理论层、算法与数据结构层、硬件实验 层。 计算理论层：按m a r r 的理论，计算理论层要回答的问题是：“计算的目的是f t 么? 为什么这一计算是合适的? 执行这一计算的策略是什么? ”办视觉的计算理论要回答作 为信息处理过程的视觉过程，它的输入是什么? 它的输出是什么? 为什么由这个输入可 以求得输出? 等等。 算法与数据结构层：“算法与数据结构”层要进一步回答如何实现这个计算理论? 特 别是输入、输出的表示( 数据结构) 是什么? 为实现表示之问的变换应当用什么算法? 硬件实验层：“硬件实验”层次要解决的是“在物理上如何实现这种表示和算法? ” m a l r 理论强吲了肖时并不受重 ：! j ! 的i t 算理论的层次，并在这一层次，把视觉过程 卜要j 也f j 定为定髓地愀复f h l 刘f 缘n i j ：王1 | 兜1 1 0 场翥，| 0 ：i 忙物f 4 ，f 1 0 肜j f 凡 ，mj 仃i 苒。，l ，技， 第一章绪论 这一恢复过程分成三个阶段。 要素图阶段：它包含图像边缘灰度变化率，边缘的几何特征，或者纹理元的排列、描 述，等等。 2 s 维图阶段：它是要素图和三维图像模型之间的中间表示层，包含物体表面的局部 内在特征。 三维表示阶段：以物体为中心的三维描述，它是由要素图和2 5 维图得到的。m a r r 的理论较系统和一般地揭示了用二维图像恢复三维物体形态的可能性和基本方法，具有 划时代的意义，为计算机视觉成为一门科学奠定了重要的基础。 计算机视觉的许多应用中场景是二维的，如文件图案、地表高度观测等，在这些情 况下，深度信息不能被反映或反映不明显。当场景是二维的，计算机视觉就变得较为简 单。( 图1 1 ) 是在给定二维场景的数字图像的情况下，识别二维场景中物体的一般框架。 特征提取 图1 1 二维图象分析系统流图 这罩，物体被定义为一系列具有不同特征( 如灰度、纹理、尺寸、形状等等) 和满 足给定约束关系( 如相关位置、相关尺寸等) 的部分的组合。检测图像中各部分的过程 称为分割或特征提取。这个过程也可以看成是给图像像素分配标记，指出像素属于哪一 类。再分割是指把一些已被标记的像素按不同的测度准则分入新的组。当再分割图像后 得到的部分集给定后，可以测量各部分的不同特征以及各部分问的关系。物体识别则是 寻找满足特征关系和满足给定约束条件的图像部分的子集，而这些处理的核心是计算机 图像处理和i 模式识别技术的应用。 讣算机罔像处理技术是用计算机对景物图像进行有定| 二 ；1n 的处理和分析，从而扶 得刈景物的懈释，琊解图像的内容 ；1 1 。“14i i ，啦 第一章绪论 自本世纪六十年代开始利用计算机进行图像处理至今，由于应用部门提出的重大实 际课题，开拓了图像处理研究的广度和深度，而大归模和超大归模集成电路技术的进展 为研究提供了物资基础，计算机图像处理技术已经取得了较大的发展，成为一门与计算 机、自动化、集成技术、光学、神经心理与生理、脑研究等众多领域交叉、综合的基础 技术。 计算机图像处理技术的主要内容可以大致划分为两大块：一为底层的处理，包括图 像的滤波、增强、恢复、编码传输等；另一块为高层处理，亦即图像的分析、理解，包 括图像的特征提取、符号描述、景物匹配和识别等。这两大范畴分别对应于图像处理技 术两种主要的应用目的：“改善人类做判断用的图像信息”和“从自动装置感受的景物数 据中提取所需内容”。 本文所涉及的图像处理部分包含有图像处理的底层和高层处理，特别是对图像的滤 波、分割、特征提取以及识别等。 1 4 车牌识别系统的构成 不同车牌识别系统的识别算法可能不同，但一个完整的车牌识别系统必然包括以下 几个部分：图象捕获、车牌定位、字符分割、字符识别。四部分关系如图1 2 所示。 图象捕获：也就是获取车牌图象的部分，一般是由数码照相机，传感器构成。当车 辆经过时，传感器给数码照相机一个触发信号，照相机就记录下一幅图象，并将文件传 输到计算机中，以备识别。 车牌定位：在整个汽车图象中，只有车牌的那部分是对我们有用的。因此必须将车 牌部分分离出来。车牌定位的精确度至关重要，显然如果车牌定位错了，就得不到我们 所需的正确信息，更谈不上识别车牌上的字符了。 字符分割：每个车牌上有多个字符，在f 确定位以后，就要把这些字符分别提取出 来。考虑到锈逃、污点的影响，字符分割需要有一定的适应性。 字符识别：对分割出的字符进行识别。目前采用的主要方法有：模板匹配法和神经 网络法。 存本文中，我们采取了基于色彩的车牌定化和攮j 二隐i 0 尔l j 夫膜型的” 别方法求识别 1 二l 鹊1 1 ，：7 j j 特自e ，进n i 柬以并0 _ ；! _ f ! m 7 j i 符， l i i - 勾 匡l g i 女 i f ；1 1 3j _ i i j ， 第一章绪论 识别结果 图1 2 车牌识别系统 信号 第一章绪论 i l 原始汽车正面图像 彩色分割出车牌字符 0 上 i 彩色分类后的图像 车牌字符 士 j r 彩色糖0 出车牌 字符识别 上上 汽车车牌 整个识别后的车牌 1 图1 3 本文采用的车牌识别系统流程图 第二章色彩空间的转换 第二章色彩空间的转换 本章介绍有关色度学的一些基本知识，包括彩色空间和彩色特性，并对几 个常用的彩色空间“光谱空闻、r g b 空间、h s v 空间、h l s 空间、c i e x y z 空 间、c i e x y y 空间和c i e l u v 空间”进行比较，重点介绍r g b 空间及h s v 空 间模型。提出适合于车牌彩色分割的彩色空间。 2 1r g b 彩色空间模型 纯的单色光在实际生活中是很难找到的，我们所看到的颜色都是混合色。关 于颜色混合的三刺激理论是基于下述假设，即在人眼睛的中央部位存在三种不同 类型的颜色敏感锥体细胞，其中一类锥体细胞对位于可见光谱中间位置的光波敏 感，这种光波经过热的视觉系统转换产生绿色感。其它两种锥体细胞对位于可见 光谱上、下端，它们分别被识别为红色和蓝色。若三组锥体细胞多感受到相同程 度的辐射，则眼睛中感知的是白光。当然，自然界的白光包含了可见光谱中所有 波长的光。然而，从生理学的角度看，由于眼睛中仅含有三种不同类型的锥体细 胞，因而对任意三种颜色适当混合即产生白光颜色，条件是这三种颜色中任意两 种不能生成第三种颜色，这三种颜色称之为三原色1 1 1 7 。 图2 1r g b 颜色空间 目前，常用的三原色系统有两类，分别是r g b 加色系统和c m y 减色系统。 东南大学研究生学位论文 1 0 第二章色彩空间的转换 r g b 加色系统的三原色定义为红色、绿色、蓝色，而c m y 减色系统的三原色则 是青色、品红色和黄色。后者正好是前者三原色的补色。 2 2h s v 彩色空间模型 彩色图像在计算机中总以红、绿、蓝( 即：r g b ) 三基色表示的，这就是说， 每个象素的颜色都是以红绿蓝三基色的数量来定义的。虽然r g b 彩色空间使用 最为广泛，但它并不是以一致的尺度表示色彩，不符合人的感知心理，例如很难 说出深棕色中三基色r 、g 、b 的准确含量到底是多少。因此，在彩色图像处理 中，除r g b 空间外，通过线性或非线性变换可以从三基色计算出一些彩色空间。 青 度) 图2 2h s v 模型的可见子空间颜色 在所有的色彩空间中，h s v 空间模型对应于画家配色模型，它能较好地反 映人对色彩的感知和鉴别能力，非常适合基于色彩的图像分割处理。此外，h s v 空间同r g b 空间的转换是可逆的。 在h s v 模型中，h 表示色度，s 表示饱和度，v 表示明度。降低饱和度s 对应于在当前颜色中加入白色，而降低明度v 则对应于在当前颜色中加入黑色。 h s v 模型用极坐标来定义颜色空间，其可见颜色子空间可用一个倒单位正六棱 锥来表示，如图21 所示。该六棱锥的锥顶( 表示黑色) 位于h s v 坐标系的原 点，锥底面的中心表示白色，六个顶点分别表示最亮的六种纯色。其亮度信息有 h s v 颜色空间采样点沿轴向距离来表示，饱和度由该采样点与中心轴线的径向 东南大学研究生学位论文 兰三里鱼墅至塑塑堕垫 距离决定，而色度h 则被表示成它与红色向量的夹角。 2 3r g b 模型同h s v 模型的相互转化 在图像处理设备上，彩色图像是在r g b 赡视器上显示的，h s v 色彩模型虽 然与用户模型一致，但是还必须建立起与r g b 色立体的换算关系。h s v 色彩模 型与r g b 色立体之间的换算关系用公式表示比较麻烦，下面我们分别仅给出这 一转换的算法。 一、从r g b 模型转化为h s v 模型 给定：r 、g 、b 均在 o ，1 范围内； 求：h 、s 、v ； 其中，s 、v 在 o ，1 】之间，h 在【o ，3 6 0 之间，且当s = 0 时，h 无定义。 算法如下： 第一步：令v = m a x ( r ，g ，b ) ，即v 等于r 、g 、b 中的最大者； 第二步：令j = m i n ( r ，g ，b ) ，即v 等于r 、g 、b 中的最小者； 第三步：s = ( v x ) v ，若s = o ，则返回；否则继续第四步； 第四步：令r = ( v n ) ( v j ) ， r = ( 矿一g ) ( v x ) ，r = ( y b ) ( v x ) ： 第五步：若r = v ，则h = b g ； 否贝0 ，若g = v ，贝0 日= 2 + r b ； 否贝0 ，若b = v ，贝0 h = 4 + g r ； 第六步：h = h 6 0 ； 第七步：若h 0 ，则h = h + 3 6 0 。 上述算法中，确定色调比较复杂，确定明度和饱和度比较简单。此外，应注 意：当s = 0 时，色彩范围就限定在v 轴上，是明度不同的灰色，因此称色调h 东南大学研究生学位论文 1 2 第二章色彩空间的转换 为无定义。 二、从h s v 模型转化为r g b 模型 给定：h 、s 、v ；其中，s 、v 在 o ，l 】内，h 在 o ，3 6 0 】之间，且当s = 0 时， h j 无定义； 求：r 、g 、b ；且r 、g 、b 均在 o ，1 】内。 算法如下： 第一步：若s = 0 ，则 此时若h 步确定，则r gbv ，返回； 否则，进行出错处理。 第二步：若h = 3 6 0 ，则h = 0 ，否则= h 6 0 ； 第三步：令i = h ，( 伪小于等于卸拘最大整数) f = h i ： 第四步：令m = v ( 1 一s ) ，n = v t ( 1 一( s + f ) ) ，k = v t ( 1 一( s t ( 1 一f ) ) ) ： 第五步：根据，的取值来决定r 、g 、b 的取值： 当i = o 时：( 凡，g ，b ) = ( v ，k ，m ) ； 当i = 1 时：( r ，g ，占) = ( ，v ， 彳) ； 当i = 2 时：( r ，g ，曰) = m ，v ，足) ； 当i = 3 时：僻，g ，占) = ( m ，n ，矿) ； 当i = 4 时：( 月，g ，b ) = ( 丘，m ，v ) ； 当i = 5 时：( r ，g ，b ) = ( 矿，m ，) 。 在完成从( r g g b ) 至t j ( h ，v s ) 的转化后，我们通过设定一个距离函数后，就可 以在图像中进行彩色聚类，把图像中彩色信息较相似的多种彩色归结为同一类 型。反之，从( h 、s ) 到( r q b ) 的转化，可以把聚类后的图像又显示在计算机中。 东南大学研究生学位论文 第三章基于色彩聚类的车牌分割 第三章基于色彩聚类的车牌分割 图像分割是图像处理和计算机前期视觉中的基本技术，是大多数图像分析 及视觉系统中的重要组成部分。本章第一节将就图像分割的概念、方法及发展概 况等方面进行阐述，第二节针对彩色图像给出一种彩色图像的聚类分色法，第三 节讨论基于数学形态学的图像滤波方法，第四节给出基于彩色的车牌及车牌字符 分割的详细方法。 3 1 图像分割概述 图像分割的基本概念是指将图像中有意义的特征或需要应用的特征提取出 来。这些特征可以是图像场的原始特征，如物体占有区的像素灰度值、物体轮廓 曲线、颜色、反射特征和纹理特征等等，也可以是空间频谱，如直方图特征等。 图像分割就是把图像分割成一个一个的区域，每个区域是一个连通的像素集，相 邻区域之间具有不同的特征值( 如灰度、纹理、形状) ，区域的边界不粗糙，在 空问位置上是精确的，每一个区域可能和景物中一定的物体或某一表面相对应。 通俗地说，就是要把图像中的物体和物体、物体与背景区分开来。 区分物体和物体、物体与背景是计算机视觉的主要内容，计算机视觉就是要 通过图像得出对该图像的解释，即对客观景物的理解和描述。这也是我们本文对 汽车牌照识别系统所要达到的目标。 常用的图像分割技术大体可划分为四类：特征阀值或聚类、边缘检测、区域 生长或区域提取以及递归像素分类。 阀值方法是灰度图像分割普遍采用的方法，特别是对具有双峰特征的图像， 采用这种方法效果较理想。但对一般的彩色图像，由于它具有更大的灰度范围， 这给阀值的选取增加了难度。 彩色特征聚类是阀值概念的多维扩展，通常在每一色彩分量上可得到不同的 直方图，分别确定各自的阀值后，将结果组合起来，并映射到空域构成分割的彩 东南大学研究生学位论文 1 4 第三章基于色彩聚类的车牌分割 色图像。用这种方法得出的分割结果往往会出现彩色聚类相互重叠，这是由于： 1 、仅依赖色彩分割是不全面的；2 、彩色图像直方图一般尖峰不明显，各色彩分 量的阀值难以确定；3 、像素的色彩映射到这三个不同的直方图上，色彩信息被 耗散。 边缘检测是另一种或多种特征突变的地方。这种方法的突出问题是检测出边 缘的连续性，特别是对图像中的细小区域或噪声图像更加严重，往往会产生错误 或额外边缘。此外，边缘检测本身并不是一个分割过程，它仅是利用边缘像素将 图像中的区域分离开来，并没有产生具有单一色彩和封闭边界的分区面。一种较 好的分割算法往往利用边缘信息提取出大的分区，而利用其它方法分割图形的其 余部分。 区域生长与合并方法的缺点在于它们固有的顺序特性，结果好坏受种子的选 取和区域生长与合并的次序影响较大，且这种方法时空代价比较大。 在本文中，我们将依据汽车车牌的自身特点( 包括它的颜色特点和几何特 点) ，并结合彩色直方图来对车牌进行定位，并以此分割出车牌及车牌字符。详 细的介绍我们将在下面的章节中进行。 3 2 自动彩色图像分色 在本节中，我们将一幅彩色图像进行颜色聚类，把众多的彩色聚合为几种较 为突出的颜色。由于我们的论文主要涉及彩色汽车的图像，而汽车的车牌又是我 们研究的主要目标。通过对车汽车车牌颜色的特点分析，我们发现一般车牌有如 下的彩色特征： 1 车牌的底色一般为黄色或蓝色； 2 车牌的字符一般为白色或黑色。 此外，车牌颜色同其周围其他部分有较明显的区别( 这一特性也使得我们基 于彩色的汽车牌照分割成为可能。于是，在本论文中，我们把一幅从摄像机上获 得的彩色汽车图像从2 5 6 色聚类成：黑、红、黄、绿、蓝、紫、白等7 种颜色。 我们采用动态聚类法中的k 一均值算法。 东南大学研究生学位论文 第三章基于色彩聚类的车牌分割 一、k _ 均值算法简介 对于一个n 维模式矢量，可以被认为是代表一个1 1 维欧氏空间中的点。建立 模式矢量之间相似性测度的最明了的方法之一，就是衡量它们相互之间的接近程 度，图31 说明了这一点。k 均值算法是按照最小距离进行聚类的众多聚类法之 一。简单地说，如果代表各点的矢量在几何上互相接近，那么在某种意义上可以 被看作属于一类：通过联系合而为一。 x x 1 图3 1 按照接近程度区分的模式类型 在介绍k 一均值算法的详细操作之前，我们来对距离测度给出一个更准确的概 念。对于一个n 维欧氏矢量x = x 。，x ：，x 。】，定义其范数为： il 2 i i x l i = l 茸l ( 3 1 ) f - 1 公式( 3 1 ) 表明了矢量x 的长度。 根据对矢量度的定义，我们可得出两个矢量差的长度为： 厂。 l i x z i l = l ( 一_ ) 2 ( 32 ) 其中，x 和z 是n 维的模式矢量。 各模式分成类。也就是说，需要一个建立一系列类别( 与聚类中心相联系) 的过程，以便用输入矢量和最接近于聚类中心的矢量之间的距离来标志该矢量。 k 均值算法就代表这样的一个方法。 k 一均值算法假定将被用来表示样本空间的聚类中心的个数是预先知道的。讨 论k 一均值算法过程以前，首先明确一些术语。 令石代表第p 个输入空间矢量。所有的输入矢量的集合表示成 第三章基于色彩聚类的车牌分割 x ”，x ”，x ) 。矢量z 代表k 个类别的聚类中心，也就是说，它指出了聚类 中心在欧氏空间中所处的位置。因为有k 个类别，所以也就有k 个聚类中心： z ，z 2 , - - , z 。最后用符号s ，= x i x 最接近于类另d ) 来代表所有属于第j 个聚类 中心的样本的集合。 k - 均值算法按如下步骤实现： 1 、初始化： 设置类别数k 。每个类别的聚类中心赋初值： z l z ：( a ，& ( 啦 其中，2 ，( ，) 代表第，次迭代的聚类中心值。初始值可以是任意的，但通常都 设置成样本矢量的前k 个值。 2 、划分样本： 划分所有的样本矢量。通过这一步使每个样本矢量x 与k 类中之一相联 系，其划分条件为： x 旷e s l ( ，) ，如肆“一0 睐”_ ( 叫l ( 3 3 ) 对于所有的f - 1 , 2 ，k ，f ；其中，s ，( ，) 代表第，次迭代时类男啦的全体 3 、计算新的聚类中心： 用在步骤2 中建立的新类的所有成员集合，来重新计算每类的中心位置， 以便使从旧类别中的每个矢量到新的聚类中心的距离之和最小。特别地，我们希 望最小化，： 妒p 驯l x ( v ) - z j ( 1 + 1 ) 1 1 2 = 1 ，2 一 。， z ，( ，+ 1 ) 是使公式( 3 4 ) 最小化的所有样本s ， 的平均值。因此，新的聚类 中心用如下的公式( 3 5 ) 计算： 东南大学研究生学位论文1 7 第三章基于色彩聚类的车牌分割 卅1 ) 3 专一戮 。5 其中，n j 是步骤2 中属于s ，的样本矢量的数量。 4 、检查收敛： 收敛情形是在步骤3 中没有任何聚类中心变化其位置。这种情况在数学上可 表示成： z ，( ，+ 1 ) = z ) j = 1 , 2 ，k( 3 6 ) 如果满足公式( 3 6 ) ，那么就已经收敛了。否则再回到步骤2 继续代。 许多因素都可能会影响k 均值算法的性能。其中包括聚类中心的数量k 、 初始聚中心的选择和输入数据的几何分布特性。这就需要大量实验来确定k 值 的选择及初始化参数的选择。虽然没有收敛性的标准证明，但是，当数据的特性 与采用最小距离作为相似性测度的假设所对应的情况一致时，k 均值算法可能会 获得较好的性能。 三、基于k - 均值算法的自动彩色分类 在进行正式的色彩聚类之前，我们首先要对图像进行一些简单处理，包括把 彩色图像转换为2 5 6 色的图像。之所以要采用2 5 6 色的彩色图像是基于如下考虑 的：对于一幅2 5 6 色的彩色位图图像，可以采用调色板技术来管理图像的彩色信 息。对于2 5 6 彩色图像，每个象素值对应于调色板中的一项。于是，队图像的彩 色聚类，就可以归结为对调色板中2 5 6 种颜色的彩色聚类。这样，将极大地提高 了运算速度。 我们知道，采用h s v 彩色空间比采用r g b 三基色的彩色空间更有利于我们 的彩色聚类。因此，在本中，采用了h s v 彩色空间作为我们聚类用的彩色空间。 因此，我们还必须将获取的r g b 图像转换为h s v 形式。关于从r g b 空间到h s v 空间的相互转换，我们在第二章中已经有详细的表达式。 接下来我们要进行两种色彩之间的距离定义：( 其中，h 、s 、v 的取值范围 同第二章中所述，即h 在( 0 。, 3 6 0 * ) 内，s 、v 为【0 ，1 】内) 东南大学研究生学位论文 第三章基于色彩聚类的车牌分割 定义：设两种色彩为c t2 ( 扛，s t ，v ) 与c z2 ( 矗z ，j ：，v z ) ，则它们的色调差d r 定义为： d c2 【s t c o s ( h t ) 一5 z c o s ( ) 2 + ”s i n ( h ) 一s z s i n ( h ：) 2 ( 3 7 ) 而两种色彩的色彩差d c 定义为： 见= 研+ ( v 一v ：) 2 ( 3 8 ) 很明显，d c 是指在h s v 三维色彩空间中两种色彩的空间距离，而d ，则不 考虑亮度因素，仅仅计算两种色彩在h - s ( 色度与饱和度) 平面上投影的直线距 离。 完成上面的工作后，我们就可以采用k 均值算法来进行彩色聚类了。我们 的目标是把调色板中的2 5 6 种彩色聚类为：黑、红、黄、绿、蓝、紫、白等7 种 颜色。整个聚类算法可用如下的框图来表示： 2 5 6 色彩色图像 彩色分类 饱和度扩展 h s v 空闻转化为 0 r 锄空间 r g b 空间转化为0 h s v 空间 图像平滑处理 0 均僵茸法 图3 2 彩色聚类过程框图 东南大学研究生学位论文 第三章基于色彩聚类的车牌分割 图3 3 原始的2 5 6 色彩色图像 图3 3 是原始的2 5 6 色彩色图像，该图像具有较丰富的颜色信息，经过基于 k 一均值算法的彩色聚类后，图像被聚类为8 种颜色，其颜色信息大为减小，有利 于我们更好地提取车牌。 3 3 基于数学形态学的图像滤波 一、数学形态学简介 数学形态学( m a t h e m a t i c a lm o r p h o l o g y ) i 跚1 9 6 4 年，是一门建立在严格数 学理论基础上的学科，其基本思想和方法对图像处理的理论和技术产生了重大影 响。从某种意义上讲，形态学图像处理是以几何学为基础的。它着重研究图像的 东南大学研究生学位论文 2 0 第三章基于色彩聚类的车牌分割 几何结构，这种结构表示的可以是分析对象的宏观性质，也可以是微观性质。形 态学研究图像几何结构的基本思想是利用一个结构元素去探测一个图像，看是否 能够将这个结构元素很好地填放在图像的内部，同时验证填放结构元素的方法是 否有效。在图( 3 5 ) 中给出了一个二值图像a 和一个圆形结构元素b 。结构元素放 在两个不同的位置。其中一个可以很好地放入结构元素，而在另一个位置，则无 法放入结构元素。通过对图像内适合放入结构元素的位置作标记，便可得到关于 图像结构元素的信息。这些信息与结构元素的尺寸和形状都有关。因而，这些信 息的性质取决于结构元素的选择。也就是说，结构元素的选择与从图像中抽取何 种信息有密切的关系，构造不同的结构元素，便可完成不同的图像分析，得到不 同的分析结果。 所有的形态处理都是基于填放结构元素的概念。事实上，在数学形态学中只 有一种基本运算，这种运算可以用图3 4 所示的探测概念粗略地描述。 b 图3 4 形态学基本运算 二、形态学的开运算极其滤波特性 在介绍开运算之前，我们先来介绍一下形态学中的两种基本运算，即：腐蚀 运算和膨胀运算。腐蚀表示用某种“探针”( 即某种形状的基元或结构元素) 对 一个图像进行探测，以便找出在图像内部可以放下该基元的区域。膨胀是腐蚀运 算的对偶运算，可定义为对图像的补集进行的腐蚀运算。 集合a 被集合b 腐蚀，表示为a b ，其定义为： 东南大学研究生学位论文2 1 第三章基于色彩聚类的车牌分割 a b = x ：b + x c a ) ( 3 9 ) 其中， 表示子集关系，a 成为输入图像，b 成为结构元素。a o b 由将b 平移x 但仍包含在a 内的所有点z 组成。如果将b 看做为模板，那么，a o b 则 由在平移模板的过程中，所有可以填入a 内部的模板的原点组成。腐蚀除了可 以用填充形式的上述方程表示外，还有一种更重要的表达形式： 爿0 b = n 爿一b ：b b )( 3 1 0 ) 这里，腐蚀可以通过将输入图像平移一b ，并计算所有平移的交集而得到。 二值数学形态学的第二个基本运算是膨胀。膨胀是腐蚀运算的对偶运算，可 以通过对补集的腐蚀来定义。a 被b 膨胀表示为a o b ，其定义为： 4 0 b = a 。o ( 一b ) 】。( 3 1 1 ) 其中，4 。表示a 的补集。关于膨胀，还有两个等效的方程，第一个方程为： 4 0 b = u 爿+ b ：b b ( 3 1 2 ) 因而，膨胀可以通过相对结