基于数字图像处理的车牌号码识别.doc

河 北 农 业 大 学毕业设计(论文)外文资料翻译院（系）： 现代科技学院 专 业： 电子信息科学与技术 姓 名： 李蓬阁 学 号： 2007614140209 外文出处： Recognizing Cars Louka Dlagnekov, Serge Belongie 附 件： 1.外文资料翻译译文；2.外文原文。 完成日期： 二零一一 年 四 月二十日 汽车识别作者：罗卡戴朗科，塞尔贝朗克计算机系科学与工程专业美国加州大学圣地亚哥分校，加州92093号摘要：车牌号码识别（LPR）的研究是一个相当重要的问题，这一系统已经是商业运作系统的几个重要组成部分之一。然而许多类似系统需要复杂的视频采集硬件并且需要与红外闪光灯利用技术相结合，用以形成大尺寸车牌在某些区域和（人工）字符鉴别。在本文中，我们描述了一个车牌识别系统，这一系统实现了高质量的视频信号分辨，具备较高的识别率而且不需要昂贵的硬件。我们也探讨了汽车制造和模式识别问题，其目的在于搜寻用于部分车牌号码监控并与录像档案馆联合一些汽车视觉描述系统。我们的提出的方法将提供给民间基础设施宝贵的信息，并提供以各种情境为执法对象的信息。1简介车牌识别问题（LPR）被广泛认为是与许多系统急待解决的问题之一。一些较为著名的是为伦敦交通拥挤而设置的收费系统，以及为美国海关边境巡逻任务开发的系统，还有在加拿大和美国的部分收费公路用于执法的收费系统 。虽然向公众发布了一些关于商业的准确性细节，但是部署的车牌识别系统仅仅在可操作的条件下才能正常工作。因而，他们有两个主要缺点是我们可以解决的：首先，他们需要高解析度成像，需要有专门的硬件。大多数的学术研究在这方面也需要高清晰度图像或依赖于特殊地理位置的车牌，并考虑下到这些地区的人和实物因素，甚至是一些常见的误读字符和特殊字符。其次，具有一定性质的LPR系统可以当作是汽车的指纹车牌。换句话说，确定车辆的身份完全基于附带的车牌。可以想见，这种情况下需要考虑两个板块从完全不同的品牌和型号的汽车被调换的情况，在这种情况下，这些系统将无法发现这一问题。我们作为分辨者也不太会容易分辨汽车的车牌号码，除非汽车很接近我们的。我们也不能非常容易的记忆所有字符。然而，我们能够识别和记忆的汽车外观，即使当汽车正在加速离开我们。事实上，信息记忆表现出这样了一种迹象，首先是汽车的品牌和型号，只有那么它的车牌号码，有时甚至不是一个完整的号码。因此，考虑到汽车的外观描述和部分车牌号，当局应该能够查询他们对类似的车辆监控系统和检索时，该车辆失踪与当时存档的录像资料以及时间记号。在本文中，我们描述了一个车牌识别方法，执行良好，而且不需要使用昂贵的成像硬件，同时可以用于探索汽车制造商和型号识别（MMR）。由于车牌的互补性和品牌和型号的信息不同，使用时需要考虑分辨能力，不仅具备高精度文字分辨能力，而且具备更强能力的汽车监控系统。1.1车牌识别系统采用了角落的匹配如11模板的检测方法和霍兹变换12 27 ，与各种直方图为基础的方法相结合。金等人。 13采用的色彩识别和韩国采用的车牌（例如绿色的背景上的白色字符）质地识别的优势，我们研究了基于支持向量机（SVM）来进行检测车牌号码的系统。检测的的车牌图像的尺寸范围从79 38 到390 185像素，而他们的报表处理低分辨率输入图像（320 240）在超过一个奔腾处理器（3 800MHz）12秒，存在97.4的检出率和9.4错误率。更简单的方法，如用字符输入整个图像自适应二值化后的定位，类似内藤等所展示的工作。 15和3，但很少用于设置而且背景杂波的处理有很大可能不是很有效。最常见的习惯做法时用现有的LPR光学字符识别系统与所使用的相关模板相匹配16，有时做了一组字符6，有时相关是通过主成分分析（PCA）9。联系其他22适用于二值化图像分割成分分析的特点，尽量采取减少自定义模板与人物之间距离等措施。分段字符分类也可以通过利用神经网络17从而达到良好的效果。这种分类不是明确分段检测板，阿米特等字符。 2 而是使车牌分为两个字符识别检测和由粗略到细致的分类方法。目前他们的系统具有高识别率，所处理的车牌图像同样具有较高高清晰度，而且目前尚不清楚能否应用在我们的方法中，并应用在我们的数据集来处理低清晰度的图像。据我们所知，错误率是尚未未开发的问题。各项工作都一直在对汽车的街景图像10 21 19和空中拍摄的照片进行检测 20。 Dorko和Schmid 7使用尺度不变性特征来侦测与50的平均背景图片的汽车。阿加瓦尔等 1自主创建了汽车部件，如轮胎，挡风玻璃，车牌字符用来实验，通过寻找和发现个别地区并比较它们的空间关系的。有趣的是，只处理不稳定因的的意见也许是因为汽车从一个大的距离提供了更丰富的侧面，因而更具有片面性。8 而汽车检测才是与我们最密切相关的问题。他们的工作是建立一个范围广泛的车辆跟踪系统，并不是为识别问题而制定的，但他们得体统存在调用对象的识别问题。与我们的系统我们相关的是确定哪些品牌和型号的车属于A类，尽管在所有种类的汽车组成中，每个类都有相当大的品牌和型号的变化范围。与此相反，在不同的时间和不同摄像头的方向拍摄的两幅图像完全相同的汽车更为难以分辨，实际上这些只是一些作为典范的例子。通过自动查找解决他们几百个训练的例子，总结其中的特点和功能，在不同汽车之间的分辨存在偏差，因而采用了角落匹配。1.2数据集 在安装在路灯俯瞰停车标志杆的数码相机拍摄的培训和测试视频数据视频中。图1显示了一个典型的帧从相机拍摄。视频流有一个分辨率为640 480 并进行采样，每秒6帧。图1：从提取训练集和测试集所使用的视频流帧。使用这个视频源，我们采样，大约在同一地点交汇，这样的车牌尺寸为104 31像素的419车的图像，然后手动提取这些图像，图像分割成60张图片集测试集。2车牌侦测在任何物体识别系统中，有两个需要加以解决的重大问题 - 即检测到场景中的对，并且认识它，检测是一个重要的先决条件。我们进入车牌检测问题则作为一个文本提取的问题5。该检测方法可作如下描述。窗口大约一个车牌图像的尺寸，被安置在每个视频流和帧的图像内容作为输入传递给一个分类器，如果窗口包含一个车牌其输出为1否则为0。然后把放置在画面中的车牌和候选地点的所有可能的地点记录该在类并输出一览表。而实际上，这种分类，我们需要一个强大的分类器，存在许多弱分类，针对于不同功能的专门牌照，从而使每一个更为准确的分辨出来。这种有效的分类器采用AdaBoost算法，因为它们只需要超过50的准确度，AdaBoost的选择最佳的现象并从弱分类设置，每一个单一的功能都能用弱分类器实现。朗读显示对应的拉丁字符的拼音图二：按选定AdaBoost的功能类型。在彩色区域的计算值的总和中减去从价值比非色地区的总和2.1特征选择按照功能来分类，弱势的回应是非常重要的整体精度，应注意区分车牌和无车牌车辆的偏差。哈尔和琼斯使用类似的功能，其中像素强度超过矩形子窗口26计算。陈和尤尔认为，虽然这种技术可能用于人脸检测，但文本与人脸没有什么共同之处 5。为了支持他们的假设， 他们执行了他们的训练样本的主成分分析（PCA），发现约150个组件是需要捕获百分之九十的变异，而在典型的人脸数据集，只有一小部分是必要的。一共有2400生成的特征输入到AdaBoost算法。这是一个变化特征的Haarlike由中威尔和琼斯 26使用的，但是更为普遍，但仍需要计算效率。无论是水平或垂直区域都分为2至7个大小相等的均匀的扫描窗口。每个功能当时就在一个地区，其余地区的总和减去设定值的总和计算的变化。因此，每个功能应用在一个标值的阈值函数。其中的部分功能见图2。这些地区的每个窗口都存在像素值强度，衍生工具或衍生工具的变化手段。没有实际的功能使用选定的原始像素强度，但可能是因为他们照明方面的广泛差异导致AdaBoost的鉴别能力不足。每个弱分类器都是一个贝叶斯分类器，在一个单一的功能训练通过形成类条件密度训练实例（CCD）的。当作出分辨时车牌区域的CCD是比非车牌区域的CCD较大为，反之亦然分类，而不是使用一个简单的一维门槛。朗读显示对应的拉丁字符的拼音2.1 Tzhng xunz字典2.2 AdaBoost训练在其原来的形式，AdaBoost的是用来提高分类的，形成了一套功能强大的单一分类，如感知分类精度。对于这个项目，AdaBoost的是用来选择弱分类器组合，形成一个强大的分类器。弱分类器之所以称为，因为他们需要51的时间。在训练开始时，每个训练实例被赋值底片和Wi = 1 2公升为阳性，其中Y 2 0，1，m是底片数量，重量和l = 1 200无线是阳性的数量。在初次分配不均导致重命名为“非对称AdaBoost”为此提高技术。然后，对于T = 1，.，T回合，每个薄弱classi - Pfier hj为训练和它的误差为_t =我的Wi computedd |黄建忠（11） - 易|。以最低的错误hj为选中，更新权重根据：如果XI是正确分类，不作修改，如果分类不正确。这实质上迫使弱分类困难， 最经常误判的例子。经t轮，T弱分类选择和分类，使分类的强烈按照：其中，_t =除积极培训手工裁剪359号法律公告的例子，我们产生了通过提取10个随机偏移（高达1 / 8的宽度和高度的车牌1 / 4）图像的每一个额外的正面例子车牌位置（一3,590个）。我们发现，这比只使用实例产生了单标记的区域，当然，在操作时，探测器是车牌的位置更好的结果，许多地区发射了约一个车牌，我们实际上作为一个质量指示从而产生负面的例子，我们选择了从已知不包含在每一个积极的框架，这导致10,052每套28车牌地区，随机车牌大小的图像。然后，我们采用了其中的两个引导误报从试验获得的训练数据操作的顺序是为再培训额外的反面典型的级联使用，并获得9948额外反面典型。2.3 结果每帧扫描每一个可能的位置将缓慢它的两个关键优化技术引进威尔勒和琼斯没有积分图像和级联分类器26。该技术允许积分图像图3：ROC曲线为6级级联探测器2，3，6，12，40和60个阶段的特点分别。图4：各地区的例子错误地车牌的标签。为有效实施和级联分类器大大加快了检测过程中，因为不是所有分类需要进行评估，以排除大多数非车牌次区域。有了这些优化，该系统能够处理在640 480像素每秒10帧。图3显示了受试者工作特征（ROC）曲线为我们的级联探测器。我们并未达到每低一个虚假的检测率和尤尔陈为任，或中威尔勒和琼斯的数据集阳性率，但0.002的假阳性率在96.67的3集检出率是相当高的。在实践中，检测周围一帧中的车牌号码每帧每地区的一些误报是比较小的。因此，在我们最后的检测，我们不认为一个区域来包含所有区域，除非在该地区检测车牌号码高于阈值。 图4显示了一个地区，我们的探测器错误地在我们的测试数据集的车牌标记的几个例子。也许并不奇怪，其中有大量从城市公交车，或穿梭UCSD的广告文字中获得。那些图片包含尾灯可以很容易地通过应用颜色阈值过滤。3车牌识别 在本节中，我们提出了一个检测程序，以识别车牌上的字符。我们首先描述了长期跟踪车牌的方法，然后描述我们的光学字符识别（OCR）算法。 3.1跟踪往往从我们的车牌检测假阳性检测是不稳定的，如果在车体上，他们的立场不是临时一致。通过跟踪我们使用了尽可能多的帧候选车牌区域，这对我们是有利的。那种情况先只有那些具有平滑轨迹地区被视为有效。跟踪的车牌也产生出牌照，可作为预先输入到一个超分辨率处理前的OCR对它们执行的步骤是使用采样序列。 存在许多跟踪算法可以被应用到我们的问题。也许最有名的一个是金出武雄，卢卡斯- To托马斯（康莱特）跟踪器23。该跟踪器利用一个康莱特哈瑞斯角检测器用来检测好的特点每到一个首次允许帧的相似性仿射变换就跟踪感兴趣的区域（我们的车牌）和措施。沙利文 25为追踪的目的而使用一个相机，车辆通过选择跨越个别通道来定义感兴趣区域（ROI）。当某一边缘特征是观察的投资回报率他们就开始跟踪，并就今后的车辆位置进行预测。与大多数的准确预测相同这些轨道被视为有效。大隈公司等 18使用威尔勒和琼斯 26架构，以检测曲棍球运动员，然后应用混合粒子过滤器作为假设的检测以保持球的轨道。虽然这些跟踪方法可能曾在我们的应用程序很好的应用，但是我们选择了一个在实践中工作良好更为简单的做法。由于是车牌有效的检测，我们只需要运行我们对每一帧探测器的每个检测到的板块，我们确定该检测是一个新的板块或实例。一个板块已被跟踪。要确定是否检测到的板块是否是新的，根据下面的条件检查： 是现有跟踪像素内T 该板块内现有的像素和跟踪T0代 该板块在跟踪的历史范围内的板块运动的大方向_度 如果其中任何一个是真的，该板块添加到相应的跟踪，否则为该板块创建新的跟踪。在我们的应用中是一个数量级T0代比t更大的订单，我们的追踪算法也在车牌丢弃探测器误报中有用。各种错误侦测，通常导致每个存储图像序列起始数的不稳定，有 5个或更少的图像序列帧会被遗漏。3.2字符识别 应用二值化算法，这是我们最初的意图，如对尼布莱克算法的修改后的版本由陈和尤尔5用于提取牌照从我们的检测器板的图像，然后使用商业二元化的形象OCR的包作为输入。我们发现，即使我们尝试在104 31的OCR软件包决议也产生了非常糟糕的结果。也许这不应该作为许多定制的OCR车牌识别系统在现有的解决方案考虑。除非在阅读文字手写的形式,然后对分割图像进行识别，这是与OCR软件来分割共同的特点。市场细分最简单的方法通常涉及的行和列像素，并把部门在当地最小的投影功能的投影。在我们的数据中，分辨率太低可依靠分割字符以这种方式解决，因此，我们决定采用模板匹配，而不是简单的匹配，它可以同时找到两个位置的人物和他们的身份。 该算法可描述如下：对于每个字符的例子，我们搜索在车牌图像模板的图像中所有可能的偏移量，并记录前N最佳匹配。的搜索是通过使用标准化互相关（NCC）的，以及关于评分阈值的位置，然后才考虑一个可能匹配的应用。如果有多个字符匹配一个地区的平均字符的大小，选择具有较高的相关性特征，具有较低的相关性字符将被丢弃。一旦所有的模板已检索，发现每个地区的特点是从左向右形成一个字符串。 N是对车牌图像分辨率的依赖性，应当选择恰当，并不是所有的N场比赛是在一个单一的字符相同的字符时，多次出现在图像里，所以，并非所有地区都可能处理。 这种方法似乎效率不高，但是，认识过程的一类二阶时的时间为104 31分辨率，我们是可以接受的这一范围的。 图5：字符识别结果显示牌照号码牌确认0，1，2，3，4，5，6和7的错误。3.3结果 用于字符识别训练和测试数据，得到 通过运行几个小时的视频检测器和我们的车牌每个跟踪提取车牌图像序列。这一过程在一个总的系统，导致879每个序列的一项是手工标记。其中，随机抽取121人，形成一个字母字符的培训。这些序列中包含的121个字符必要的分布，形成了360例（26个字母和10个数字）共计10个字符的例子。其余的758板被用于光学字符识别率测试。 要测试的字符识别的准确性，我们使用了编辑距离来衡量的相似性，是我们识别出的文字标有板的测试集。由于某些字符与其他人很容易混淆甚至人类一样，我们采用了松字相等测试每当编辑距离算法进行了比较两个字符。字符的群体，0，q的，E类名称，f，我的T，1，乙 ，8和Z的，2分别被认为是同一类型的，没有对集合内的应用不正确的读数。图5显示了牌照号码牌的阅读和不使用松比较衡量不同数量的错误。请注意，有超过一半的测试集具有两个或更少的错误认识。 3.4品牌和型号识别 由于与车牌识别问题，探测车的第一步，品牌和型号进行识别（MMR）。为此，我们可以应用运动分割方法估算的感兴趣区域（ROI），其中包含了汽车。相反，我们决定使用作为存在和一个视频流中车辆的位置显示检测到的车牌位置，并为作物识别汽车的投资回报率。这种方法也将是有益品牌和型号的静态影像，那里的分割问题是比较困难的。 4.1数据集 我们会自动生成运行在几个小时的视频数据检测和跟踪车牌和种植400 220像素周围的每个跟踪序列中的车牌架固定窗口的大小的汽车图像数据库。这种方法产生的图像，其中1,140辆各品牌和型号的大小都大致相同。该作物窗口位置，这样的车牌是在底部的第三个中心的外形。我们选择这个作为参考点，以确保匹配的正确性，完成的只有车的提取而不是背景的提取。如果我们为中心的车牌纵向和横向的汽车，车牌装在他们的保险杠会在图像中出现道路的图像。 在收集这些图片，我们手动指定品牌，型号和年份标签的1,140张图片中的790。我们无法标签其余350张图像由于我们与这些汽车不很熟悉的。我们经常做的汽车的网站来确定汽车的制造和使用。该网站允许用户输入检查汽车号码检测是否已通过最近的烟雾检查。对于每个查询，该网站返回烟雾的历史以及汽车的品牌和型号说明如果可用。美国加利福尼亚州要求所有车辆超过三年以上才能通过烟雾检查每二年。因此，对我们个人的经验而言，他们依靠标签查询汽车。 我们分成查询设置1,140标记图像和数据库设置。查询集包含选择代表了38多种品牌和型号的图像类，与相同品牌和型号，但不同年份多个查询在某些情况下，为了捕捉随着时间的推移变化的模型设计。我们评估在数据库中找到的查询每个图像的最佳匹配的识别方法每场演出。 4.2 SIFT特征匹配 尺度不变特征变换（SIFT）特征洛韦最近开发的14是不变的规模，甚至部分不变旋转和光照差异，这使得它们也适合用于识别物体。我们采用SIFT特征匹配的孕产妇死亡率问题如下：1。为每个图像D的数据库和查询影像q时，执行关键点定位和描述符的任务。 2。对于每个数据库图像D： （一）对于每一个关键点克勤Q中找到关键点在D第纳尔具有最小的L2距离，并至少有一个最近的描述距离较小的因素。如果没有这样的科威特第纳尔存在，检查下克勤的理论不成立。 （二）计数的n的成功匹配在描述号码d. 3。 选择具有最大的N和认为的最佳匹配。 4.3讨论 我们发现，几种类型的特征点匹配算法，从上述结果并没有作出贡献的一个最好的选择。例如，某些特征点对应匹配的数字和字母的牌照板整个群体的汽车，即使他们看上去所属完全不同的形象和查询数据库的形象。由于在数据库中是以确定关键点的匹配数为基础，其余应该被忽略。因此，我们采用了以下关键点修剪程序： 限制匹配的关键点之间的水平距离。这有助于去除异常点，估计的查询和数据库图像之间的仿射变换。 在车牌区域发生忽略的关键点。 不要让多个查询相匹配的关键点到同一个数据库关键点。 计算从查询仿射变换在数据库中的图像时，有超过3个匹配关键点。如果改造的规模，剪切或翻译参数阈值外，设置关键点的匹配n到0的数字。 我们使用Lowe的执行情况14该算法的关键点定位的一部分。不像在Lowe的执行情况，查询的关键点描述进行了比较与数据库中的每个关键点的形象描述。这意味着，第二个最好的描述是不为一个对象数据库中的图像比目前其他选择。此外，修改从0.36发布的代码出现的阈值0.60（这是更接近在洛的文件提出的建议）增加了匹配的数量，但对整体识别率影响不大 - 误判车使用一种方法是正确归类与在其他不同的错误分类代价。 当查询影像之间的匹配和数据库图像描述符的数量是相等的另一个 数据库中的图像，我们打破挑选较小的L2之间的所有远程数据库的整体形象的领带 描述符。这只发生在数据库中的最佳匹配有一个或两个匹配的描述，并运用七程序对整体识别率影响不大。 4.4结果 对SIFT匹配算法产生上述的查询设置了89.5的识别率。对于在集合测试一些疑问识别结果显示在图6。前10场比赛都是同一品牌和超过20的数据库中的一些类似的模型车的所有疑问。 SIFT特征匹配的查询大部分无法正确分类有5个或更少的条目类似的数据库了。对制造和相应的查询与数据库中的许多例子模型的结果，它是安全的假设，拥有品牌和型号，每类将提高识别率更多的例子。 5总结和结论 我们已经提出了一个有用的框架，承认车，结合LPR和错误率两个子问题，我们拥有非常有前途的识别率，可以作为一个重要的基础，基于查询的车辆监控系统。我们的文字识别能力要求的解决方案是实时的，可以利用廉价的摄像头硬件，并不需要照明或红外线感应器，通常在商业系统中使用的文字分辨能力要求。我国分辨率的解决方案也非常准确的，但是，需要进一步研究，使其实时有效。 存在几种可能性，可能有助于在这方面。而是在查询比较形象的每一个数据库中的图像功能，这将是有益的群集到同类群体，如轿车，越野车等，数据库图像和执行阶层式搜寻，以减少比较次数。 这是一个很有前途的方法适用于我们的情况是由Sivic和Zisserman 24最近的工作。他们制订为文本检索问题，这本身已证明是非常有效的基于互联网搜索引擎与我们日常的经验对象的识别问题。在今后的工作应纳入调查类似的方法的可能性。 图6：20个查询图像测试集和数据库中的前7场比赛识别结果。黄线表示SIFT特征匹配之间的对应关系。 除了搜索使用一些品牌和型号的描述和部分车牌，这也将是有益的，以便能够搜索特定颜色的车的牌子和型号的信息可能是不完整的汽车监测数据库。各种颜色和纹理的图像分割中的应用，如基于内容的图像检索，可适合作此用途的技术。在我们的工作中，我们还没有探索汽车构成的变化 超出通常发生在我们的场景。一个强大的MMR系统也应该在幕后工作的地方有一个良好的大的变化。这可能需要车的三维结构的估计，可作为补充投入使用的混合算法。 参考文献 1黄阿加瓦尔，答：阿万和D.罗斯。通过学习来检测稀疏，部分代表性的图像对象。帕米， 26（11）:1475 - 1490，2004。 2华阿米特，四杰曼，十番。一种多类形状检测粗到细的战略。 IEEE期刊。模式分析与机器智能，26岁，1606年至1621年。 2004。 3曹克，学者陈，学者江，自适应方法，车牌定位。工业电子学会，2003。 IECON 03。第2卷，第1786至1791年 4三卡森，学Belongie，阁下格林斯潘，学者马利克。 Blobworld：颜色和纹理的图像分割使用EM andits应用到图像查询和分类。帕米，24（8）:1026 - 1038，2002。 5十，陈答：尤尔。检测和阅读在自然场景文本。 CVPR。容量：2，第366-373，2004。 6页Comelli，体育Ferragina，米Granieri，楼稳定的。光学汽车牌照识别牌。 IEEE期刊。在汽车技术，卷。 44，第4，第790-799，1995。 7克Dorko和C施密德。选择的对象类识别尺度不变部分。触发。 ICCV，2003。 8答：Ferencz，大肠杆菌米勒，学者马利克。学习超的视觉识别功能。债券发行计划，2004年。 9全汗河德拉艾，答Hegt。一个车牌识别系统。光学学报机密。对数字图像处理应用。 1998。 10二亮。基于组件的场景影像中街车检测。硕士论文，麻省理工学院，2004。 11 Hegt，河德拉艾，全汗。高性能的车牌识别系统。 SMC98会议程序。 1998年IEEE国际会议系统，人与控制论（目录No.98CH36218）。规程。部分第5卷，1998年，pp.4357 - 62第5卷。纽约，纽约州，美国。 12 Kamat Ganesan。一种有效执行的霍夫变换检测车牌使用DSP的。实时技术与应用研讨会（目录No.95TH8055）。电机及电子学工程师联合会微机。芯片。出版社。 1995年，pp.58 - 9。洛杉矶托斯，加州，美国。 13光金，光荣，以及色彩纹理的目标检测J. Kim的：一对车牌定位中的应用。在计算机科学讲义：模式识别与支持向量机，页293-309，2002年国际研讨会。 14四洛韦。从规模不变的关键点鲜明的形象特征。 IJCV，2（60）:91 - 110，2004。 15内藤吨，吨冢田，山田光，光Kozuka，山本学，乐百氏车牌传递underoutside环境的车辆识别方法。电机及电子学工程师联合会T，请设在TECHNOL 49（6）：2309年至2319年2000年11月。 16内藤吨，吨佃，山田光，光Kozuka。牌照斜板鲁棒识别方法在不同的光照条件室外。触发。对IEEE / IEEJ / JSAI国际智能交通系统，第697702,1999。 17 j的耐荷，米布鲁日，光Helmholt，学者Pluim湖Spaanenburg，河Venema，米Westenberg。车牌与神经网络和模糊逻辑车牌识别。诉讼的IEEE神经网络，珀斯，西澳大利亚州，民国21852903国际会议。 1995。 18 Teleghani，全德弗雷塔斯，学者和D.小洛。一个推动粒子过滤器：多目标检测与跟踪，ECCV，2004。 19 Papageorgiou，T. Poggio着。一个可训练的目标检测系统：车辆在静态图像检测。麻省理工学院人工智能备忘录，1673年（CBCL人备忘录180），1999。 20三施洛瑟，学者Reitberger尔欣斯，自动在高分辨率汽车检测都市风光一种自适应3Dmodel基础。 触发。电机及电子学工程师联合会/ ISPRS研讨会“及以上城市的遥感领域的数据融合”。 2003。 21阁下Schneiderman，金出武雄吨。一种三维物体检测的统计方法应用到脸和汽车。电机及电子学工程师联合会CVPR，2000。 22五夏皮罗湾Gluhchev。跨国公司车牌识别系统：分割和分类。触发。 ICPR 1051-4651，2004。 23 j， Tomasi，跟踪好等特点。触发。电机及电子学工程师联合会机密。计算机视觉与模式识别（CVPR94） 24 j Sivic，答Zisserman。视频谷歌：一个文本检索方法中的对象的视频匹配。触发。 ICCV，2003。 25克沙利文。，光贝克，答沃勒尔，角阿特伍德，体育Remagnino，基于模型的车辆检测和分类 采用正交近似。图像与视觉计算。 15（8），649-654。 26，米琼斯。快速检测对象使用一个简单的功能增强级联。计算机视觉和模式识别 承认，2001年。 CVPR 2001。诉讼2001年IEEE计算机上，体积学会会议：1，8-14， 页511-518。 2001。 27Yanamura，米藤，西山四，米索加，谷阁下，阁下佐治。提取和使用Hough变换牌照板块匹配跟踪和表决。电机及电子学工程师联合会IV2003智能车辆研讨会。pp.243 - 6。皮斯卡塔韦，美国新泽西州，2003年。 朗读显示对应的拉丁字符的拼音Recognizing CarsLouka Dlagnekov, Serge BelongieDepartment of Computer Science and EngineeringUniversity of California, San Diego, CA 92093ldlagnek,AbstractLicense Plate Recognition (LPR) is a fairly well explored problem and is already a component of several commercially operational systems. Many of these systems, however, require sophisticated video capture hardware possibly combined with infrared strobe lights or exploit the large size oflicense plates in certain geographical regions and the (artificially) high discriminability of characters. In this paper,we describe an LPR system that achieves a high recognition rate without the need for a high quality video signalfrom expensive hardware. We also explore the problem of car make and model recognition for purposes of searchingsurveillance video archives for a partial license plate number combined with some visual description of a car. Our proposed methods will provide valuable situational information for law enforcement units in a variety of civil infrastructures.1 IntroductionLicense plate recognition (LPR) is widely regarded to be a solved problem with many systems already in operation.Some well-known settings are the London Congestion Charge program in Central London, border patrol duties by the U.S. Customs, and toll road enforcement in parts of Canada and the United States. Although few details are released to the public about the accuracy of commercially deployed LPR systems, it is known that they work well under controlled conditions. However, they have two main disadvantages which we address in this paper.Firstly, they require high-resolution and sometimes specialized imaging hardware. Most of the academic researchin this area also requires high-resolution images or relies on geographically-specific license plates and takes advantageof the large spacing between characters in those regions and even the special character features of commonly misread characters.Secondly, LPR systems by their nature treat license plates as cars fingerprints. In other words, they determine a vehicles identity based solely on the plate attached to it. One can imagine, however, a circumstance where two plates from completely different make and model cars are swapped with malicious intent, in which case these systems would not find a problem. We as humans are also not very good at reading cars license plates unless they are quite near us, nor are we very good at remembering all the characters. However, we are good at identifying and remembering the appearance of cars, and therefore their makes and models, even when they are speeding away from us.In fact, the first bit of information Amber Alert signs show is the cars make and model and only then its license plate number, sometimes not even a complete number. Therefore, given the description of a car and a partial license plate number, the authorities should be able to query their surveillance systems for similar vehicles and retrieve a timestamp of when that vehicle was last seen along with archived video data for that time. In this paper, we describe an LPR method that performs well without the need for expensive imaging hardware and also explore car make and model recognition (MMR). Because of the complementary nature of license plate and make and model information, the use of MMR can not only boost the LPR accuracy, but allow for a more robust car surveillance system.1.1 PreviousWorkMost LPR systems employ detection methods such as corner template matching 11 and Hough transforms 12 27 combined with various histogram-based methods. Kim et al. 13 take advantage of the color and texture of Korean license plates (white characters on green background, for instance) and train a Support Vector Machine (SVM) to perform detection. Their license plate images range in size from 79 38 to 390 185 pixels, and they report processing low-resolution input images (320 240) in over 12 seconds on a Pentium3 800MHz, with a 97.4% detection rate and a 9.4% false positive rate. Simpler methods, such as adaptive binarization of an entire input image followed by character localization, also appear to work as shown by Naito et al. 15 and 3, but are used in settings with little background clutter and are most likely not very robust. The most common custom OCR approach used by existing LPR systems is correlation-based template matching 16, sometimes done on a group of characters 6. Sometimes, the correlation is done with principal component analysis (PCA) 9. Others 22 apply connected component analysis on binarized images to segment the characters and minimize a custom distance measure between character candidates and templates. Classification of segmented characters can also be done using neural networks 17 with good results. Instead of explicitly segmenting characters in detected plates, Amit et al. 2 use a coarse-to-fine approach for both detection and recognition of characters on license plates. Although they present high recognition rates, the license plate images they worked with were of high-resolution, and it is not clear whether their method will be as effective on the low-resolution images in our datasets. To the best of our knowledge, MMR is a fairly unexplored recognition problem. Various work has been done on car detection in street scene images 10 21 19 and aerial photographs 20. Dorko and Schmid 7 use scale invariant features to detect cars in images with 50% background on average. Agarwal et al. 1 automatically create a vocabulary of car parts, such as tires and windshields, from training images and detect cars by finding individual parts and comparing their spatial relations. Interestingly, most of the car detection literature only deals with side-views of cars, perhaps because from a large distance the side profile provides richer and thus more discriminating features. The work of Ferencz et al. 8 is most closely related to our problem statement. Their work is helping develop a wide-area car tracking system and is not formulated as a recognition problem, but what they call an object identification problem. In our system we are interested in determining to which make and model class a new vehicle belongs, and although all classes consist of cars, there is fair amount of