（交通信息工程及控制专业论文）基于射影不变量的车牌字符识别.pdf

摘要 摘要 车牌字符识别是车牌识别系统的最后环节，要求快速准确地识别出车牌图像 中分割后的单个字符，字符识别的结果直接关系到整个车牌识别系统的成败。然 而，由于车牌图像的特殊性，容易受摄像机拍摄角度的影响，其字符图像难免会 出现歪斜变形。一般的字符识别算法都不能很好的解决倾斜车牌字符的识别，在 识别倾斜字符时都要先经过倾斜校正这一步，而倾斜校正的效果往往对最后的识 别结果有很大的影响。本文提出一种新方法瑾于射影不变量的识别算法，正 是不受视点的影响，可由任意视角的二维图像识别三维目标，即它可以不经过倾 斜校正直接识别出歪斜变形的字符。它利用车牌字符的几何形状，从字符轮廓图 中提取出特征点，再由各点坐标计算出每个字符图像的射影不变量作为识别特征， 然后通过将待识别字符的特征不变量与模板字符的特征不变量进行匹配，可实现 字符的准确识别。实验结果表明，该方法是可行的和有效的。 关键词：车牌识别字符识别射影不变量特征提取 a b s t r a c t r e c o g n i t i o no fl i c e n s ep l a t ec h a r a c t e r si st h el a s ts t e pi nt h el i c e n s ep l a t er e c o g n i t i o n s y s t e m , a n di tr e q u e s t st h a tr e c o g n i z i n gs i n g l ec h a r a c t e rr a p i d l ya n da c c u r a t e l y n c r e s u l to fc h a r a c t e r sr e c o g n i t i o ns h o w st h es u c c e e so rf a i l u r eo ft h ew h o l el i c e n s ep l a t e r e c o g n i t i o ns y s t e m h o w e v e r , l i c e n s ep l a t ei m a g e sa r ee a s i l yi m p a c t e db yt h es h o o t i n g a n g l e , s oc h a r a c t e r so nt h e mw i l li n e v i t a b l yb ed e f l e c t i v ea n dd e f o r m a t i v e g e n e r a l c h a r a c t e r sr e c o g n i t i o na l g o r i t h m s 啪to f f e rag o o dw a yt or e c o g n i z ec h a r a c t e r so f d e f l e c t i v el i c e n s ep l a t e ，a n db e f o r et h e yr e c o g n i z ed e f l e c t i v ec h a r a c t e r s ，as t e pn a m e d d e f l e c t i o nr e c t i f y i n gm u s tb ep r o g r e s s e d ，b u tt h ee f f e c to ft h i ss t e pi sab i gi n f l u e n c eo n t h er e s u l to fc h a r a c t e r sr e c o g n i t i o n t l l i sp a p e rp r o v i d e san e wr e c o g n i t i o na l g o r i t h m b a s e do nt h ep r o j e c t i v ei n v a r i a n t , i tc a ne f f e c t i v e l yr e c o g n i z e3 do b j e c t sf r o mt h e i r2 d i m a g e sa n dw i l ln o tb ea f f e c t e db yv i s u a la n g l e s i tm e a n st h a tt h i sa l g o r i t h mc a n r e c o g n i z ed e f l e c t i v ec h a r a c t e r sd i r e c t l y t h ea l g o r i t h me x t r a c t sf e a t u r ep o i n t sb yu s i n g t h eg e o m e t r i cs h a p e so fc h a r a c t e r s ，a n dt h e nc a l c u l a t e st h ep r o j e c t i v ei n v a r i a n to fe a c h c h a r a c t e rb yc o o r d i n a t e so fe a c hp o i n ta st h er e c o g n i t i o nf e a t u r e ，a n di tc a nr e c o g n i z e c h a r a c t e r sa c c u r a t e l y t h ee x p e r i m e n t a lr e s u l ts h o w st h a tt h ep r o p o s e da p p r o a c hi s f e a s i b l ea n de f f e c t i v e 。 k e y w o r d ：l i c e n s ep l a t er e c o g n i t i o nc h a r a c t e r sr e c o g n i t i o np r o j e c t i v ei t * v a r i a n t l e a t u r ee x t r a c t i o n 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学分和优良的科学道德，本人声明所呈交的论文是我个人 在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加 以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的 研究成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而 使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做 了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：篮邀日期塑! 王f ：蔓 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研 究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有 权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或 部分内容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证， 毕业后结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大 学。( 保密的论文在解密后遵守此规定) 本人签名：毪坠 导师签名：望l 日期塑塑! ，臣 第一章绪论 第一章绪论 1 1 选题背景 随着经济的迅速发展，我国的汽车数量迅速增加，城市交通状况日益严峻。 2 0 0 5 年，我国高速公路通车总里程突破了4 万公里，捧名世界第二，我国汽车保有 量约为3 5 0 0 万辆，预计到2 0 0 8 年，汽车保有量将达到近5 4 0 0 万。我国的交通管理 正面临者前所未有的压力，传统的人工管理方式己经越来越不能满足实际工作的 需要。近年来，随着通信和计算机技术在交通领域的应用越来越广泛，我国的公 路交通事业逐步进入一个信息化、数字化的时代，采用智能交通管理系统( s ) 已 成为当前公路交通、城市交通管理的主要手段和发展方向。 所谓智能交通系统【1 1 ( i t s ，i n t e l l i g e n tt r a n s p o r ts y s t e m ) 是指利用信息技术对交 通进行最有效和最合理地管理和指挥的一系列软硬件的有机结合体。它通过对自 动采集的实时交通信息进行自动分析提出最优的解决方案，能最大地提高地面交 通设施的利用率和效率。 车辆牌照识别系统【2 】是智能交通系统的一个重要组成部分，在城市和公路交 通管理中发挥着举足轻重的作用。它一般安装于高速公路收费站、主干道交汇路 口、停车场，作为智能的交通监视系统，实现自动收费、不停车缴费、避免收费 漏洞、交通监视、失窃车辆查询、智能停车场管理、车辆出入监控等，己成为现 代交通工程领域中的研究重点和热点问题。车辆牌照识别系统的任务是处理、分 析摄取的汽车图像，从中自动识别出汽车牌号。车辆牌照识别系统的研究涉及数 字图像处理、计算机视觉、模式识别与人工智能等多个技术领域，其关键技术包 括车牌定位、字符分割、字符识别等。 本文着重研究车牌的字符识别环节，要求快速准确地识别出车牌图像中分割 后的单个字符。由于最初输入的车牌图像处于实际环境中拍摄，受天气，光照的 影响，存在各种噪声，使得图像质量较差；拍摄位置及角度的不同，又造成了字 符的歪斜变形；而且车辆的运动也会不同程度地造成车牌字符图像的恶化，这些 都给车牌字符的识别造成了大量困难。本文将几何学中的射影不变量理论应用到 车牌字符的识别中，结合字符图像的几何形状来构造字符的识别特征，取得了良 好的实验结果，特别是对于倾斜字符可省去倾斜矫正这一步骤，从而简化了识别 工作量。 2 基于射影不变量的车牌字符识别 1 2 研究车牌字符识别的意义 车牌字符识别是汽车牌照识别系统的重要组成部分，快速准确的字符识别是 一个车牌自动识别系统成功的关键步骤，因此研究车牌字符识别对于公路交通事 业的建设具有重要的意义。 车辆牌照识别系统作为一个专用的计算机视觉系统，能够自动地在摄取的车 辆图像中识别出车牌。目前它在公路自动收费、停车场管理、失窃车辆侦察、门 卫系统、智能交通系统等领域有着广泛的应用。利用车牌识别系统的摄像设备， 可以直接监视相应路段的交通状况，获得车辆密度、队长、排队规模等交通信息， 防范和观察交通事故；它还可以同雷达测速器或其他的检测器配合使用，以检测 违犯限速值的车辆。当发现车辆超速时，摄像机获取该车的图像，并得到该车的 牌照号码，然后给该车超速的警告信号；在对养路费交纳、安全检查、运营管理 方面可以实行不停车检查。根据识别出的车牌号码从数据库中调出该车档案材料， 可发现没及时交纳养路费的车辆。另外，还可发现无车牌的车辆。若与车型检测 器联用，可迅速发现所挂车牌与车型不符的车辆；在车辆定位方面，由于能自动 识别车牌号码，因而极易发现被盗车辆，以及定位出车辆在道路上的行驶位置， 这为防范、发现和追踪涉及车辆的犯罪，保护重要车辆( 如运钞车) 的安全有重大 作用，从而对城市治安及交通安全有重要的保障作用。 由于车牌中的字符是众多印刷体字符中的一部分，具有一定的代表性，用于 车牌字符的准确高效的识别算法，也可以尝试用于其他印刷体字符的识别，如果 成功将会在时效性以及准确率上有明显提高。因此，研究车牌字符识别对于改进 现有的印刷体字符识别技术也是有很大意义的。 1 3 车牌字符识别的特点及难点 标准的汽车车牌( 军车、警车、教练车、外交车除外) 矩形形状内的字符由7 位 组成，其中第1 位为汉字，表示省、自治区、直辖市的简称；第2 位为英文字母，表 示发牌机关代号；第3 位至第7 位为车辆注册编号，用英文字母( i ，o 不可用) 及阿拉 伯数字表示。它们基本呈水平排列，在矩形内部存在较丰富的边缘。车牌字符具有 统一性和有限性的特点，其中统一性是指车牌字符为全国统一、大小确定、字体 确定、字符间距固定；有限性是指车牌内字符数目有限、种类有限，如何对其进 行准确的识别是车牌识别系统中的一个重要问题。 与一般的字符识别系统相比，车牌字符识别系统需要处理的字符集要小很多， 只有代表地域简称的约3 0 多个汉字、2 6 个英文字母、以及1 0 个数字。然而由于车 第一章绪论 3 牌字符识别受实际拍摄条件、车牌图像噪声及分割等因素的影响，识别率一直不 能达到实际使用的要求。目前，国外汽车牌照识别系统研究工作水平较高，但由 于我国国情的不同，造成了一些特殊情况，主要有： ( 1 ) 我国标准汽车牌照是由汉字、英文字母和阿拉伯数字组成，汉字的识别与 字母和数字的识别有很大的不同，从而增加了识别难度； ( 2 ) 国外许多国家汽车牌照的底色和字符颜色通常只有对比度较强的两种颜色 ( 例如韩国，其车牌底色为红色，车牌上的字符为白色) ，而我国汽车牌照仅底色 就有蓝、黄、黑、白等多种颜色，字符颜色也有黑、红、白等若干种颜色： ( 3 ) 由于环境、道路或人为因素造成汽车牌照污染严重，这种情况下国外发达 国家不允许上路，而在我国仍在路上行驶。 因此，由于我国汽车车牌的特殊性，对识别工作造成了一定的困难，车牌字符识 别率仍有待提高。 另外，存在于车牌字符识别中还有一大难题就是对于倾斜字符的识别。待识 别的车牌图像都是处于实际环境中拍摄的，由于车辆的运动、摄像机拍摄角度等 的影响，字符图像难免会出现歪斜变形等失真情况。般的车牌字符识别算法都 不能很好的解决倾斜车牌的识别，对于发生歪斜变形的字符都要经过倾斜校正这 一步，并且倾斜校正结果的好坏对于后面的识别工作有很大的影响，容易导致识 别出错而本文提出的基于射影不变量的识别算法，正是不受视点的影响，可由 任意视角的二维图像识别三维的目标，即不需要经过倾斜校正，可以直接识别出歪 斜变形的字符。 1 4 不变量识别理论的现状与发展 不变量理论是本文研究的理论基础，它诞生于十九世纪初，由c a y l e y ，s a l m o n , c l e b s c h 等人提出了其中的代数不变量。但当h i l b e r t 于十九世纪九十年代初解决了 其中的最主要的问题后，这一理论由于已发展完备，几乎被人们遗忘。直n - 十 世纪下半叶，不变量理论才由于其与人类视觉相近的特性而被人们重新想起，并 被引入计算机视觉领域。八十年代当人们对m a n 视觉理论例提出疑问后，开始自 觉地将数学和物理学中的不变量理论引进视觉系统。1 9 9 1 年欧美学者在冰岛正式 成立研讨会，提出了视觉不变量理论，也称为几何结构不变量理论。它的出现对 以往的机器视觉研究体系是一次有益的冲击，形成了机器视觉研究和发展的新方 向，成为了机器视觉研究的新的理论框架。 从几何上看，空间对象的点与点的位置关系是固定的、相对不变的。对于某 些二维图像，特别是从“扫描仪”得到的二维图像，就具有这种点与点之间位置 关系不变的性质，例如条形码、文字字符、印章指纹图像等。这类图像尽管也有 基于射影不变量的车牌字符识别 平移、旋转、放大、缩小等变化，但图像的视角是固定的，其点与点之间的关系 也就是不变的。这类问题的处理与识别是比较容易的，m a r r 理论的应用也是成功 的。然而对于三维空间视场，对于多视角问题，特别是对于运动目标的识别与处 理问题，在视觉处理的第一步，获取原始二维图像时，就破坏了对象天然存在的 这种不变量特性，从而给后续处理带来了不可挽回的困难局面。 人的生理视觉经过大自然亿万年的进化，巧夺天功，可以从不同距离不同角 度轻而易举地识别大小和形态剧烈变化的目标。这是一种异乎寻常的本能。而人 的这一本能正是由于他提取了目标的几何结构不变量信息，这种不变量信息完全 不受距离的远近和视角的变化而改变，因此不变量理论便自然而然地被引入到计 算机视觉领域中，成为计算机视觉研究和发展的新课题。 目前，基于不变量理论的计算机识别方法已经成为识别三维目标的一种新趋 势，在军事、工业自动化等领域被广泛应用，国内外也发表了一些文章来研究其 应用价值，例如飞机机型的识别 4 1 、t 件形状的识别1 5 1 等，都取得了很好的识别 效果。 1 5 本论文的工作 本文的工作是车牌字符的识别研究，采用基于射影不变量的识别方法，即通 过提取待识别车牌字符的特征向量与模板库中标准字符的特征向量进行比对，以 确定出待识别字符，其中的特征向量是由射影不变量来构成的。整个识别过程分 为三个步骤：字符图象的预处理、特征提取和分类识别。 全文共分五章，各章的主要内容安排如下； 第一章为绪论，简要介绍了本论文的选题背景，研究意义，以及不变量理论 的现状和发展历程，并分析了车牌字符识别的特点和难点。 第二章介绍了字符识别技术的相关知识。其中包括模式识别的概念及其基本 方法；字符识别系统的各个组成部分的原理以及功能；最后对于在车牌字符识别 中常用到的几种算法进行了比较。 第三章对于本论文的理论基础不变量理论进行了详尽地阐述。第一节介 绍了不变量的概念，包括其精确的数学描述，以及不变量相对于其他目标识别方 法的优势所在；第二节详细介绍了几何学中的三种几何变换群及其对应的基本不 变量，并最后给出三种不变量的比较结果；第三节介绍摄像机的成像模型，主要 描述了其中应用最普遍的透视投影模型，并引出了其对应的射影变换；第四节重 点讲解射影几何中的基本不变量交比，给出了其数学定义及计算交比的公式。 第四章是车牌字符识别系统，涉及到具体的识别算法及流程。第一节为字符 图像预处理，包括图像的二值化、边缘检测等；第二节为字符图像的特征提取， 第一章绪论 5 主要讲述了字符轮廓图像上特征点的提取，以及应用射影不变量理论构造识别特 征的方法和过程；第三节介绍了车牌字符的分类识别算法，包括模板库的建立和 待识别字符的识别；最后给出实验结果及分析。 第五章对全文工作进行了总结。 第二章字符识别技术概述 7 第二章字符识别技术概述 车牌字符识别技术属于印刷体字符识别的范畴，字符识别是模式识别技术的 重要应用领域。字符识别技术涉及到模式识别、图像处理、人工智能、模糊数学、 组合论、信息论、计算机技术等多个学科，也涉及到语言文字学、心理学等学科， 是一门综合性的技术。 2 1 模式识别技术 分类识别是人类社会活动、生产活动以及科研活动中最基本最重要的活动之 一。随着人类社会活动及生产科研的广泛、深入发展，需要识别的对象的种类越 来越多，内容越来越深入和复杂，要求也越来越高为了减轻人们的工作强度、 改善工作条件。或为了减少费用，提高识别速率和识别正确率，或者是完成某些 人类不能完成的识别任务，人们希望机器具有类似人的识别功能，让机器代替入 进行相关的识别工作。因此，模式识别技术应运而生。 模式识别诞生于2 0 世纪2 0 年代，随着4 0 年代计算机的出现，5 0 年代人工智能 的兴起，模式识别在6 0 年代初迅速发展成为一门学科。它所研究的理论和方法在 很多科学和技术领域中得到了广泛的重视，推动了人工智能系统的发展，扩大了 计算机应用的可能性。目前模式识别理论和技术已经成功地应用于工业、农业、 国防、科研、医疗卫生、气象、天文等许多领域。例如我们熟知的指纹识别、人 脸识别、车辆驾驶系统及车牌车型识别系统等等。 2 1 1 模式识别的概念 模式识别( p a t t e r nr e c o g n i t i o n ) 是指运用计算机和分析算法进行分类 ( c l a s s i f i c a t i o n ) 和识别( r e c o g n i t i o n ) 。为了能让计算机执行和完成识别任务， 必须首先将分类识别对象的有用信息输入到计算机中。为此，应对分类识别对象 进行科学的抽象，建立它的数学模型，用以描述和代替它，把这种对象的描述称 为模式( p a t t e r n ) 。因此，模式所指的不是事物本身，而是我们从事物中所获得的 特征信息，往往表现为具有时间或空问分布的信息。模式是事物的数学模型之一， 是事物的代表，它可以代表某一个体，也可以代表某一类个体。 模式识别的目的和作用就在于，它能够根据目标对象的特征或属性运用一定 的分析算法认定它所属的类别，并且要求分类识别的结果尽可能地符合事实。例 8 基于射影不变量的车牌字符识别 如，在字符识别中，字母“a ”存在各种字体及写法，还可能会出现大小不一，发 生歪斜、旋转等形变，但它们都属于同一类，面对各种情况下的“a ”，都要正确 地将其分到“a ”这一类中去。如果给每个类命名，并且用特定的符号来表达这个 名字，那么模式识别可以看成是从具有时间和空间分布的信息向着符号所作的映 射。 通常，将通过对具体的个别事物进行观测所得到的具有时间和空间分布的信 息称为模式，而把模式所属的类别或同一类中模式的总体称为模式类( 或简称为 类) 1 6 1 2 1 2 模式识别的基本方法 模式识别现已发展成为一门多学科的交叉学科，它涉及的理论和技术相当广 泛，包括多种数学理论、神经心理学、计算机科学、信号处理等。针对不同的对 象和不同的目的，可以用不同的模式识别理论、方法【7 l i 。l ，目前常用的技术有： 统计模式识别、句法模式识别、模糊模式识别、神经网络法。 ( 1 ) 统计模式识别 统计模式识别技术是最常用的模式识别方法，它是直接利用各类的分布特征， 即利用各类的概率密度函数、后验概率或者隐含地利用上述概念进行分类识别。 基于统计方法的模式识别系统由两个过程所组成，即设计和实现。设计是指用一 定数量的样本( 叫作训练集或学习集) 进行分类器的设计；实现是指用所设计的 分类器对待识别的样本进行分类决策。通常的统计模式识别系统分为四个部分： 数据获取，预处理，特征提取和选择，分类决策。字符识别系统一般都采用统计 模式识别方法。 ( 2 ) 句法模式识别 句法模式识别也称为结构模式识别，在某些情况下，对于较复杂的对象仅用 一些数值特征已经不能比较充分地进行描述，这时可以采用句法识别技术。句法 识别技术将复杂对象分解为若干个基本单元，这些基本单元成为基元。用这些基 元以及它们的结构关系来描述对象，基元及其结构关系可以用一个字符串或者一 个图来表示。然后运用形式语言理论进行句法分析，根据其是否符合某类的文法 而决定其类别。 ( 3 ) 模糊模式识别 模糊模式识别技术运用模糊数学的理论和方法解决模式识别问题，因此适用 于分类识别对象本身或要求的识别结果具有模糊性的场合。模糊模式识别通过模 糊集合来描述模式，用隶属度将模糊集合划分为若干个子集，有多少类就有多少 个子集，然后根据一定的原则分类。隶属度反映输入对象与模式的相似程度。此 第二章字符识别技术概述 9 类方法的有效性主要在于建立的隶属函数是否良好。 ( 4 ) 神经网络法 人工神经网络是由大量简单的基本单元神经元相互联接而成的非线性动 态系统，每个神经元的结构和功能比较简单，而由其组成的系统却很复杂，具有 人脑的某些特性，能用于联想、识别和决策。神经网络通过对样本的学习建立起 记忆。然后将待识别对象的模式判决为其最接近的记忆。 2 2 字符识别系统 随着2 0 世纪5 0 年代人工智能兴起，模式识别作为一门新兴的学科逐步形成。 并且，这一学科在各个领域得到了成功的应用，其中光学字符识别o c r ( o p t i c a l c h a r a c t e r r e c o g n i t i o n ) 系统【 】1 1 0 】就是一个很好的例子。目前，o c r 作为模式识别的 一个成功应用取得了很大的发展，市场上已经有很多比较成熟的o c r 系统，特别 是对高质量的印刷文档，己经有了相当高的识别率。而当前对o c r 的研究主要集 中在有噪声较多的、多字体多字号的印刷体字符以及手写体字符的识别上。 一个o c r 系统通常由以下几个部分组成，如图2 1 所示： 图2 1o c r 系统组成 ( 1 ) 预处理 图像预处理是为了去除噪声，加强有用的信息，并对输入测量仪器或其它因 素所造成的退化现象进行复原。预处理的方法也因噪声的不同会稍有区别。假如 字符分割和特征提取两部分都具有较好的抗噪声能力，这一部分并不是必需的。 另外，为了方便后续的特征提取及识别工作，预处理还包括字符图像的大小归一 化、二值化、边缘检测等数字图像处理技术。 ( 2 ) 字符分割 由于o c r 系统最初输入的字符图像一般都是从待识别文档中采集到的整篇文 字，因此要进行单个字符的识别首先就要将字符分割开来，它是字符识别的前提， 字符分割的好坏，直接影响到字符的识别率。目前为止，字符分割还没有完全有 效的解决方案。字符分割主要面临的难题是各种各样的粘连字符的分割【l ”。正是 因为字符分割存在着这样的问题，字符识别不能过分的依赖于字符分割。现在很 基于射影不变量的车牌字符识剐 多的研究都把方向转移到分割与识别的有机结合上，而且，实际效果表明，这样 的有机结合对系统识别的正确率有明显的提高”l 。 ( 3 ) 特征提取 特征提取部分是o c r 系统的关键部分。它对研究对象固有的、本质的重要特 征或属性进行量测，并将结果数值化，以能够准确高效地完成分类识别任务。特 征提取的好坏，是决定字符识别率高低的最关键要素。这是任何一个o c r 系统成 功与否的关键，也是模式识别领域中人们研究的热点i 玎l 。 ( 4 ) 分类识别 这是字符识别的最后一步。分类其实就是一个分类决策的过程，它是在特征 空间中用统计方法把识别的对象归为某一类别。基本作法是在样本训练集基础上 确定某个判决规则，使按这种判决规则对被识别对象进行分类所造成的错误识别 率最小或引起的损失最小。 2 3 常用的车牌字符识别算法 字符识别己经经历了5 0 多年的研究历程，产生了许多有价值的思想和方法， 其中应用于车牌字符识别的方法主要有以下几种： ( 1 ) 传统模板匹配法 模板匹配法是比较经典的一种识别方法。应用于车牌字符识别中，就是把待 识弱的车牌字符图像先进行二值化、大小归一化等预处理，再跟模板库中的所有 字符模板进行匹配，选择最佳匹配为识别结果。 设模板字符图像为( i 一1 ，2 ，p ) ，p 代表字符的类别，有p 类字符，就至 少有p 个字符模板，模板大小为膨；经过归一化后的待识别字符图像为f ，大 小也为膨。匹配过程就是将待识别字符f 覆盖于模板t 之上，计算其匹配程度： 一 2 d ( i ) 一 ， ) 一，厅) 】 ( ，) ( 2 ) , i i a m f ( m i - l 2p 1 荔嗣 式中的伽，厍) 表示模板字符图像中的某一像素点的灰度值，似，弗) 表示待识别字 符图像中的某一像素点的灰度值，d q ) 即为两幅图像整体像素灰度值的比对距离。 当待识别的字符图像与模板l 越匹配时，d ( o 值越小，当o ( o 值为0 时，表示完全 匹配。可以规定一个阈值，当烈o 的最小值，j 、于这个溺值时，就将f 归入第i 类字 符。传统模板匹配的方法简单，容易实现，缺点是对于相似字符的识别能力差， 另外字符一旦出现旋转、歪斜等失真，识别结果就很容易出错。所以传统的模板 匹配算法应用于车牌字符识别中的效果比较差。 人工神经网络法 第二章字符识别技术概述 1 1 人工神经网络( a n a ) 是近些年来比较流行的模式识别方法，它为解决各种模糊 的、知识不完全的、不确定的模式问题提出了一种全新的途径。神经网络对于车 牌字符的处理过程主要分为两个阶段：字符样本的训练阶段和待识别字符的预测 阶段。 训练阶段就是通过神经网络的学习，获取字符样本的稳定权值的过程。在学 习的过程中可以得到训练集合中每一个字符样本的期望矢量。完成学习后，得到 连接权值，就进入了预测阶段，此阶段将待识别字符输入网络，利用网络权值得 到输出矢量。将输出矢最与每一个期望矢量比较，将待识别字符分类到误差最小 的那一类。 在车牌字符识别中应用最多的网络是b p 网络f 1 4 j 叫】。人工神经网络在车牌字符 识别应用中存在的缺点就是运算量大，不太适合实时性要求，另外就是要求大量 的字符样本，而牌照识别系统中存在各种各样的字符污染、断裂情况，难以得到 统一的样本。 ( 3 ) 改进的模板匹配算法 上面介绍的传统模板匹配算法是对字符图像的整体像素进行匹配，无法准确 识别发生变形、旋转的字符，为了解决这个问题，人们提出了多种改进的模板匹 配算法。其中，应用最多的就是将整体识别简化为特征识别，从图像中提取有效 的字符特征来完成字符识别的任务。即首先构造字符的特征向量，再对于两字符 的特征向量计算其匹配程度。已经被构造出的车牌字符的特征有灰度密度分布特 征、粗外围特征、字符的投影特征等。 本文提出的车牌字符的识别算法就属于改进的模板匹配算法，它的创新之处 就在于应用了种全新的理论射影不变量来构造字符的特征向量。它根据字 符的几何形状，从中提取出字符轮廓上的特征点，再由各点的坐标计算出每个字 符的射影不变量序列作为识别特征，然后计算待识别字符的射影不变量序列与模 板字符的射影不变量序列的比对距离，若小于规定的阈值，则判定属于此模板字 符。本文基于射影不变量的识别算法特别对于倾斜字符的识别取得了很好的识别 效果，在后面的章节中将作详细论述。 第三章射影不变量理论 第三章射影不变量理论 3 1 不变量理论简介 由2 d 图像识别3 d 目标是计算机视觉的重要组成部分目前，基于图像内容的 识别主要有四个方向2 ( 1 ) 基于对象颜色的识别；( 2 ) 基于对象形状的识别；( 3 ) 基 于对象纹理的识别；( 4 ) 基于空间关系的识别。本文基于射影不变量的字符识别就 属于对字符形状的识别研究。它利用字符的几何形状，从中提取出特征点，再由 各点坐标计算出每个字符的射影不变量作为识别特征，来实现字符的识别。因此， 首先必须要了解不变量理论以及射影不变量的概念。 在3 d 空间中，摄像机系统相对同一目标的视点不同，将造成目标对摄像机的 方位和姿态的变化，这些将改变目标在摄像机中的成像而使同一目标产生不同的 图像。视点的变化相当于目标在3 d 空间中相对于摄像系统运动，如目标旋转和平 移，这样会使成像形状发生各种变形。因此，为了正确地识别目标，必须找出或 构造出目标作某种运动或者无论目标作何种运动都不变化的目标图像特性和特征 量。这样的特性和特征量我们称之为不变性和不变量。正是这样的不变性和不变 量才反映了在视觉信息上同一目标或同一类目标的不变特性，或者说不同模式之 间的本质差别，因为它们与目标所处的3 d 空间的位置、姿态及环境无关，人们根 据它们容易作出正确的分类识别决策。 3 1 1 不变量的引入 人们在日常生活中可以轻而易举地从不同距离，不同角度识别出大小和形态 剧烈变化的目标。这对于人的生理视觉来说是一件很平常的事，看似一种本能。 然而，这正是由于人在识别过程中提取了目标的几何结构不变量信息，这种不变 量信息完全不受距离的远近和视角的变化而改变，从而能够准确快速地识别出目 标。因此，不变量理论便自然而然地被引入到计算机视觉领域中，成为计算机视 觉研究和发展的新课题【1 6 l 1 7 1 不变量理论相对于传统的计算机识别方法具有多方面的优势： ( 1 ) 机器视觉系统识别目标的基本困难之一就是投影图像的形状和外观随视角 而变，这造成了描述目标的极大困难。由于传统的目标识别方法通常只能处理平 移、旋转和缩放变换，目标形状一旦变化，这些方法就无能为力了。而不变量理 论利用目标的几何结构在各种变换( 包括形变) 下保持不变的特性，可以很好地 识别射影图像。 1 4 基于射影不变量的车牌字符识别 ( 2 ) 由于投影图像的形状和外观与摄像机的参数有很大的关系，因而用传统理 论进行识别时，还必须具备有关摄像机位置、方向以及内外参数的先验知识，这 使得识别过程非常复杂，甚至在某些情况下识别无法进行。而目标几何结构的不 变量函数完全不随摄像机的位置、距离及焦距的变化而变化，从而使目标的三维 描述大为简化。 ( 3 ) 在实际应用中会遇到后面的物体被前面的物体遮挡而丢失信息的问题，这 对传统识别方法的影响是相当大的。而不变量代表的是目标的全局几何特征，局 部信息的丢失不会影响识别的结果。另外，在进行大型目标的识别时，利用不变 量构成的模型库检索函数，可以用较短的、近于常数的时间访问和检索模型库， 从而可达到实时的识别要求。 由以上可以看出，不变量理论和技术，是目标模型的建立及目标识别的一种 新方法【l s l 1 9 1 ，为智能化计算机视觉系统的开发提供了一种新思想，在实际应用中 有着极大的潜力。 3 1 2 不变量的概念 不变量是几何学研究的内容【刎。把相似不变量作为研究内容的是相似几何， 如夹角不变量；把仿射不变量作为研究内容的是仿射几何，如共线直线段比，面 积比不变量；把射影不变量作为研究内容的是射影几何，如交比不变量。对物体 的成像过程较为精确的描述是仿射变换和射影变换。因而计算出物体图像的仿射 不变量或射影不变量，可以不通过恢复物体的三维形状和位置直接识别图像中的 物体。这和m a r t 的三维重建再识别物体的方法相比较无论是在要求的条件，还是 计算复杂性、可靠性和适用范围方面都优越的多。 下面介绍不变量准确的数学描述； 几何形状是按一定规则分布在空间的点的集合，因此通过选择适当的坐标和 参数，可以用如下关系来表示几何形状： 中(pz)-0(3-1) 其中工是空间坐标矢量，p 是几何形状的参数矢量，而中是通过p 和x 之间的关 系来描述几何形状的函数。 在一般情况下，当有作用于尸和x 的交换时，参数p ，x 和函数垂都会发生 变化。但是某些几何形状，在特定的变换作用下，函数中形式保持不变，例如， 二次曲线在射影变换群的作用下，其二次曲线的形式保持不变。 假设e 是某一类几何形状构成的集合，而g 是作用于坐标矢量x 的变换群，g 的元素将几何形状在同一空间e 内进行变换，如果v g g ，在g 的作用下，坐标 第三章射影不变量理论 矢量x 变成工，参数矢量p 变成p ，那么可以给出如下不变量的定义： 定义3 1设，是定义于几何形状参数矢量的量，如果 i ( p ) - l ( p ) h ( g ) ( 3 - 2 ) | l 皓) 仅仅是变换群元素的函数而和x 和p 无关，那么，( p ) 称为集合e 的不变量。 如果h ( g ) 一l ，那么，( p ) 称为标量不变量( s c a l a ri n v a r i a n t ) 或绝对不变量 ( a b s o l u t ei n v a r i a n t ) ，否则称为相对不变量( r e l a t i v ei n v a r i a n t ) 。 3 2 1 变换群的定义 3 2 几何学中的基本不变量 在几何学中，每一种几何都有一个主变换群，图形在该变换群的作用下，保 持不变的性质，就是该几何的研究对象。换句话说，几何就是研究在相应的主变 换群的作用下图形保持不变的性质和量的科学。 。首先给出群的一般定义1 2 l l ： 定义3 2 设g 为某些元素的集合，。o ”为其元素之间的一种结合方式( 或 称运算) ，如果集合g 对于运算“o ”而言，满足下面四个条件： ( 1 ) 运算封闭性：对v a ，b e g ，有( 口o b ) e g ； ( 2 ) 结合律成立：对v 矗，b ，c e g ，有( 4 。b ) o c - - a 。p o c ) ； ( 3 ) g 中含单位元1 ，对讹g ，l o a ao l - 口； ( 4 ) g 中含逆元，对v a e g ，勤一e g 使a o a 一- 口1o 口- 1 ； 则称g 在运算“o ”之下构成一个群( g ，o ) ，简称一个群g 。 定义3 3 设集合g 关于运算“o ”构成一个群，如果日c g ，而且子集日对 于同样的运算“o ”也构成群的话，则称日为g 的一个子群。 在一般群的概念的基础上，考虑变换的集合，注意到变换的结合方式( 即运 算) 是变换的乘积，于是可以引入变换群的定义： 定义3 4 设f 是一个变换的集合，如果它满足下列条件； ( 1 ) t 中任意两个变换的乘积变换存在，而且是r 中的一个变换； ( 2 ) t 中每个变换的逆变换存在，而且是r 中的一个变换； 则称r 是一个变换群。 在数学中。存在各种各样的变换群，但是在计算机视觉中获得广泛应用的是 射影变换群、仿射变换群和相似变换群，它们分别是射影几何、仿射几何和相似 1 6 基于射影不变量的车牌字符识别 几何的主变换群。由于相似变换群是仿射变换群的子群，而仿射变换群又是射影 变换群的子群，所以相似几何是仿射几何的子几何，仿射几何又是射影几何的子 几何。变换群越大，图形的不变性越少，对应的几何的对象也少：反过来，变换群 越小，图形的不变性越多，对应的几何对象也越丰富。这些变换群都有自己的基 本不变量。下面分别介绍上述三种变换群及其基本不变量【“。 3 2 2 射影变换群的基本不变量 射影变换是几何学中最一般的变换，具有代表性，对射影变换群及其基本不 变量的研究具有普遍意义。下面给出其精确定义： 定义3 - 5 射影平面上所有点的集合叫做点场。 设有点场仁) ，点x 关于一射影坐标系的坐标是( 而，屯，而) | 又有点场红。 ， 点石。关于另一射影坐标系的坐标是x ：，z ：，工：y 。两坐标系可以相同或相异。若有 常数a k , i 一1 , 2 , 3 存在，使 三 p x j - ：4 n 屯 ， f - 1 , 2 ，3 ，p _ 0 0 3 ) p 可以随x 而变，且矩阵 r 。鞋：a 3 3 r - i 口2 1 口口2 3 i ( 3 - 4 ) 口3 2， i t i , - 0( 3 5 ) 则由线性代数理论可以知道，点场扛 和点场缸 之间存在一一映射关系，即： x t x 0 - 6 1 定义3 6 由点场 z 到点场缸 且满足式( 3 - 3 ) ，( 3 - 4 ) 和( 3 - 5 ) 的一一映射叫做点 场协 到点场 x ) 的射影变换。 对平面射影变换存在下述定理： 定理3 - 1 两射影平面内的三对对应点唯一决定一射影变换。 不难证明由( 3 6 ) 给出的所有射影变换所构成的集合满足变换群的四个条件。 定理3 - 2 射影平面上的点场的所有射影变换构成二维射影变换群。 每一种变换群都应该有自己的基本不变量，射影变换群的基本不变i 璧是交比。 定理3 - 3 射影平面上共线四点的交比是平面射影不变量。 第三章射影不变量理论 1 7 3 2 3 仿射变换群的基本不变量 卜融车】 其中：令妒- ( 客麓) ，而驯一。 从仿射变换的定义可以知道，仿射变换群是射影变换群的子群，所以射影变 换群的不变性自然也就是仿射变换群的不变性。除此之外，仿射变换群也有自己 3 2 。4 相似变换群的基本不变量 且有 定义3 8 若仿射变换t ：x x x 1 1 a i x l + a 2 + a o ，x l _ p i h + p 2 + p o 妒。暖茏) 一o ( 3 8 ) ( 3 - 9 ) q 2 + 口2 2 一岛2 + 岛2 - p 2 , p 一0 ( 3 - l o ) a l 岛+ 口2 成一00 1 1 ) n t 称为相似变换。 根据式( 3 1 0 ) ，( 3 - 1 1 ) ，相似变换( 3 8 ) 可以利用如下更简单的形式表示： 1 8 基于射影不变量的车牌字符识别 f 毛。p 8 + p s i n o x 2 + 嘞 ( 3 1 2 ) l x 2 - 一p s i n o x a + p c o s o x 2 + 岛 v 或： f 。p c o s o x l + p s i n o x 2 + a o ( 3 - 1 3 ) 1 屯- p s i n o x t p c o s o x 2 + 岛 可以证明由( 3 8 ) 、( 3 一l o ) 、( 3 - 1 1 ) 确定的相似变换的全体构成的集合满足变换 群定义中的四个条件，因此可以得到定理3 - 9 ： 定理3 9 仿射平面上所有相似变换的集合构成二维相似变换群。 相似变换群是仿射变换群的子群，自然它也是射影变换群的子群，所以相似 变换群具有仿射变换群和射影变换群的所有不变性。除此之外，它也有自己独立 不变量。 定理3 1 0 在仿射平面上由两条直线构成的夹角是相似不变量。 综上所述，在各种变换群下的不变性或不变量为： ( 1 ) 射影变换保持直线性、直线与直线的相交性以及直线上点列的交比不变性； ( 2 ) 仿射变换除具有以上不变性外，还保持直线与直线的平行性、直线上点列 的简比不变性及封闭曲线所围面积之比的不变性； ( 3 ) 相似变换除具有仿射不变性外，还可保持两条相交直线的夹角不变性。 最后，将三种几何变换群中的基本不变性及不变量总结如表3 1 ： 表3 1 基本不变量比较 变换群基本不变性基本不变量 射影变换群接合性交比 仿射变换群接合性、平行性简比、面积比 相似变换群接合性、平行性夹角 3 3 1 引言 3 3 摄像机的投影模型 目标的成像过程是从三维空间到二维图像平面的投影，即将空间物体上某种 属性按一定规律投射在平面上形成图像，通常称为透视。为了研究目标的投影不 变性，首先必须用投影模型表示目标的成像过程，以便确定三维空问点及其在二 维图像平面上的投影之间的关系，从而可以找到投影不变量进行特征的提取，为 第三章射影不变量理论 1 9 识别物体做好准备。 在不同的实用条件下，根据摄像机和空间平面之间的相对位置关系，可以采 用不同的投影模型。其中，计算机视觉中最常用的三种投影模型为正透视投影( 图 3 1 ( a ) ) ，平行投影( 图3 1 ( 呦和透视投影( 图3 1 嘞。 召i 阿- r -对 圈早_ 2l 。瞄早面 空向早茁 - 正遗覆& 掌 平重 c ) 平行爰掌 空闩早面 c 矗覆投掌 图3 1 摄像机的三种投影模型 在上述三种摄像机投影模型中，透视投影是最通用的投影模型，但透视投影 在某些特殊应用条件下，可以用其他两种投影模型来简化或近似。 当空间平面垂直于摄像机光轴时，空间平面点的投影过程就可以用正透视投 影来准确的表示，所以正透视投影是透视投影的特例。 当空间平面上物体的最大尺寸相比于物体到摄像机之间的距离小得多的情况 下，可以用平行投影模