车牌自动识别系统的设计与研究车牌定位与分割毕业设计.doc

南 京 工 程 学 院 毕业设计说明书 论文 专 业 信息工程 题 目 车牌自动识别系统的设计与研究 车牌定位与分割 A Dissertation Submitted to Nanjing Institute of Technology For the Academic Degree of Bachelor of Science By Xiaowei Ma Supervised by Lecturer Ying Tong College of Communication Engineering Nanjing Institute of Technology June 2011 The Design and Research of Automatic License Plate Recognition System License plate location and segmentation 毕业设计 论文 原创性声明和使用授权说明毕业设计 论文 原创性声明和使用授权说明 原创性声明原创性声明 本人郑重承诺 所呈交的毕业设计 论文 是我个人在指导教 师的指导下进行的研究工作及取得的成果 尽我所知 除文中特别 加以标注和致谢的地方外 不包含其他人或组织已经发表或公布过 的研究成果 也不包含我为获得 及其它教育机构的学位 或学历而使用过的材料 对本研究提供过帮助和做出过贡献的个人 或集体 均已在文中作了明确的说明并表示了谢意 作 者 签 名 日 期 指导教师签名 日 期 使用授权说明使用授权说明 本人完全了解 大学关于收集 保存 使用毕业设计 论 文 的规定 即 按照学校要求提交毕业设计 论文 的印刷本和 电子版本 学校有权保存毕业设计 论文 的印刷本和电子版 并 提供目录检索与阅览服务 学校可以采用影印 缩印 数字化或其 它复制手段保存论文 在不以赢利为目的前提下 学校可以公布论 文的部分或全部内容 作者签名 日 期 学位论文原创性声明学位论文原创性声明 本人郑重声明 所呈交的论文是本人在导师的指导下独立进行 研究所取得的研究成果 除了文中特别加以标注引用的内容外 本 论文不包含任何其他个人或集体已经发表或撰写的成果作品 对本 文的研究做出重要贡献的个人和集体 均已在文中以明确方式标明 本人完全意识到本声明的法律后果由本人承担 作者签名 日期 年 月 日 学位论文版权使用授权书学位论文版权使用授权书 本学位论文作者完全了解学校有关保留 使用学位论文的规定 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版 允许论文被查阅和借阅 本人授权 大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索 可以采用影印 缩印或扫描等复制手段保存和汇编本学位论文 涉密论文按学校规定处理 作者签名 日期 年 月 日 导师签名 日期 年 月 日 指导教师评阅书指导教师评阅书 指导教师评价 指导教师评价 一 撰写 设计 过程 1 学生在论文 设计 过程中的治学态度 工作精神 优 良 中 及格 不及格 2 学生掌握专业知识 技能的扎实程度 优 良 中 及格 不及格 3 学生综合运用所学知识和专业技能分析和解决问题的能力 优 良 中 及格 不及格 4 研究方法的科学性 技术线路的可行性 设计方案的合理性 优 良 中 及格 不及格 5 完成毕业论文 设计 期间的出勤情况 优 良 中 及格 不及格 二 论文 设计 质量 1 论文 设计 的整体结构是否符合撰写规范 优 良 中 及格 不及格 2 是否完成指定的论文 设计 任务 包括装订及附件 优 良 中 及格 不及格 三 论文 设计 水平 1 论文 设计 的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格 2 论文的观念是否有新意 设计是否有创意 优 良 中 及格 不及格 3 论文 设计说明书 所体现的整体水平 优 良 中 及格 不及格 建议成绩 建议成绩 优优 良良 中中 及格及格 不及格不及格 在所选等级前的 内画 指导教师 指导教师 签名 单位 单位 盖章 年年 月月 日日 评阅教师评阅书评阅教师评阅书 评阅教师评价 评阅教师评价 一 论文 设计 质量一 论文 设计 质量 1 论文 设计 的整体结构是否符合撰写规范 优 良 中 及格 不及格 2 是否完成指定的论文 设计 任务 包括装订及附件 优 良 中 及格 不及格 二 论文 设计 水平二 论文 设计 水平 1 论文 设计 的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格 2 论文的观念是否有新意 设计是否有创意 优 良 中 及格 不及格 3 论文 设计说明书 所体现的整体水平 优 良 中 及格 不及格 建议成绩 建议成绩 优优 良良 中中 及格及格 不及格不及格 在所选等级前的 内画 评阅教师 评阅教师 签名 单位 单位 盖章 年年 月月 日日 教研室 或答辩小组 及教学系意见教研室 或答辩小组 及教学系意见 摘 要 教研室 或答辩小组 评价 教研室 或答辩小组 评价 一 答辩过程一 答辩过程 1 毕业论文 设计 的基本要点和见解的叙述情况 优 良 中 及格 不及格 2 对答辩问题的反应 理解 表达情况 优 良 中 及格 不及格 3 学生答辩过程中的精神状态 优 良 中 及格 不及格 二 论文 设计 质量二 论文 设计 质量 1 论文 设计 的整体结构是否符合撰写规范 优 良 中 及格 不及格 2 是否完成指定的论文 设计 任务 包括装订及附件 优 良 中 及格 不及格 三 论文 设计 水平三 论文 设计 水平 1 论文 设计 的理论意义或对解决实际问题的指导意义 优 良 中 及格 不及格 2 论文的观念是否有新意 设计是否有创意 优 良 中 及格 不及格 3 论文 设计说明书 所体现的整体水平 优 良 中 及格 不及格 评定成绩 评定成绩 优优 良良 中中 及格及格 不及格不及格 在所选等级前的 内画 教研室主任 或答辩小组组长 教研室主任 或答辩小组组长 签名 年年 月月 日日 教学系意见 教学系意见 系主任 系主任 签名 年年 月月 日日 随着信息化时代的到来 我们的生活变得更加便捷 汽车的数量也与日俱 增 这就需要一个高效的方法来实现对汽车的管理 智能交通系统在这种背景 下应运而生 而智能交通系统的关键技术便是车牌识别系统 本文就是对车牌 识别系统 System of License Plate Recognition 中的车牌定位算法和车牌 字符分割算法的研究 车牌识别系统能够广泛用于高速公路车辆监测 十字路 口车辆监测 小区车辆管理等 有了车牌识别系统 我们便可以对车辆进行 24 小时的自动监控 这大大提高了效率 节省了人力和物力 车牌识别系统主要由硬件和软件构成 车牌识别算法主要分为三个部分 车牌定位 字符分割 字符识别 本文主要介绍了车牌定位与字符分割算法 论文首先介绍了汽车车牌识别技术课题开展的背景和意义 阐述了它在 国内国外发展的概况 并且对车牌定位系统的组成进行了研究 其次 论文对汽车车牌识别系统中的关键技术 车牌定位 字符分割分 别进行了阐述 介绍了车牌定位中常用方法的比较 提出了基于数学形态学 与边缘特征相结合的车牌定位技术 最后 对设计的车牌自动识别技术系统中存在的不足做出总结 对系统 的改进提出建议 指出论文的进一步研究工作展望与设想 关键字 车牌识别系统 车牌定位 字符分割 ABSTRACT Along with the coming of the Information age our life become more and more convenient at the same time there is more and more vehicle So it is urgent for us to study an efficient method to manage them Intelligengt Transportation System emerges in this condition and the key technology of this system is License Plate Recognition System LPRS This article studies the algorithm of license plate location and the algorithm of license plate character segmentation in details LPRS is widely used in the monitoring of vehicle on highway the monitoring of vehicle at cross road and vehicle management in district The system can work in day and night efficiently which saves labors and resources LPRS is consisting of hardware and software LPRS includes three steps Locating License plate Segmengting Characters Recognizing Characters And this article studies the algorithms of the former two steps This article firstly introduces the background knowledge and meaning of carrying out the subject of License Plate identification technology expounds the general situation of its development at home and abroad It also surveys the build up of the License Plate Location system and structure of the main hardwares Secondly this article expounds the main technologies of License Plate identification character segmentation and identification Conceived the license plate location technology which is based on mathematical morphology and edge features Lastly it concludes the deficiency of the car indentification technology brings out suggestion to improve this technology Keywords License Plate Reconition System License Plate Location Character Segmentatio 目录 第一章 绪论 1 1 1 课题研究背景与意义 1 1 2 车牌定位与分割国内外发展 1 1 3 主要研究内容 3 1 4 论文章节安排 4 第二章 图像处理技术 6 2 1 图像灰度化 6 2 2 图像增强 9 2 3 车牌图像的二值化 11 2 4 空间域滤波 13 第三章 车牌定位 16 3 1 车牌的规格及特征 16 3 2 车牌定位中常用方法 16 3 2 1 基于颜色的定位方法 16 3 2 2 基于纹理的定位方法 17 3 2 3 基于边缘检测的定位方法 17 3 2 4 基于数学形态学的定位方法 17 3 2 5 基于遗传算法的定位方法 18 3 2 6 基于神经网络的定位方法 18 3 3 车牌定位流程及结果 18 第四章 倾斜校正 23 4 1 Hough 变换角度检测原理 23 4 2 Radon 变换角度检测原理 24 4 3 基于 Radon 变换的车牌图像校正 25 第五章 车牌字符分割 27 5 1 车牌区域的预处理 27 5 2 字符的分割与归一化 30 第六章 总结与展望 33 6 1 总结 33 6 2 今后展望 33 致谢 35 参考文献 36 附录 38 第一章第一章 绪论绪论 1 1 1 1 课题研究背景与意义课题研究背景与意义 近年来 随着经济的快速发展 社会信息化程度同益提高 智能交通管理 系 统已经逐渐成为 21 世纪道路交通的发展趋势 同时高速公路的持续发展和车辆 管理体制的不断完善 使图像场景同益简单化和标准化 也为以图像理解为基 础的智能交通管理系统进入实际应用领域提供了契机 车牌自动识别 License Plate Recognition LPR 系统正是在这种应用背景下提出的能够自动 实时地 检测车辆经过和识别汽车牌照的智能交通管理系统的重要组成部分 车牌自动识别系统具有广泛的应用范围 主要应用于 1 高速公路收费 监管管理 2 小区 停车场的管理 3 闯红灯等违章车辆监控 4 车辆流量检测与控制 5 车辆安全防盗 堵查指定车辆等 车牌自动识别系统应用于这些地方 可以解决通缉车辆的自动稽查问题 可 以解决车辆高峰期因出入车流瓶颈造成的陆桥卡口 停车场交通堵塞问题 可 以 解决因工作人员作弊造成的陆桥卡口 高速公路 停车场应收款流失的问题 还 可以最简单的方式完成交通部门的车辆信息联网 解决数据统计自动化 模糊 查 询的问题 1 1 2 2 车牌定位与分割国内外发展车牌定位与分割国内外发展 从 20 世纪 80 年代 1988 年 国外的研究人员就开始了对车牌识别系统 的 研究 其主要途径就是对车牌的图像进行分析 自动提取车牌信息 确定汽车 的 车牌号 在车牌识别的过程中 虽然运用了很多的技术方法 但由于外界环境 光 线变化 光路中有灰尘 季节环境变化及车牌本身被污染而模糊等条件的影响 使得车牌识别系统一直处于实验室阶段 得不到很好的应用 而且 很多的方 法 都需要大量的数值计算 不能很好地满足实时性要求 为了解决图像恶化的问 题 目前国内外的研究机构和公司企业采取的办法是采用主动红外照明摄像或使用 特殊的传感器来提高图像的质量 虽然提高了识别率 但是 这同时也造成了 系统的投资成本过大 应用领域变窄 不能普遍推广应用 目前 国内外已开发出的一些产品有 以色列 Hi Tech 公司的 See Car System 系列产品 香港 Asia ViSion Technology 公司的 VECON 产品 新加坡 Optasia 公司的 VLPRS 产品等 其中 VECON 和 VLPRS 产品主要适合于香港和新 加坡的车牌 Hi Tech 公司的 See Car System 有多种的产品来分别使用于某 一个国家的车牌 See Car Chinese 系统可以对中国大陆的车牌进行识别 但 也有很大的缺陷 而且不能识别车牌中的汉字 另外日本 加拿大 德国 意 大利 英国等各个西方发达国家都有适合本国的车牌识别系统 各个国家的产 品虽然不同 但基本上都足基于车辆探测器的系统 设备投资巨大 国内做得好的产品有中科院自动化所汉王公司的 汉王眼 除此之外国内 的亚洲视觉科技有限公司 中科院沈阳自动化所的沈阳聚德公司 深圳市吉通 电子有限公司 中国信息产业部下属的中智交通电子预先公司等也都有自己的 产品 另外 西安交通大学的图像处理与识别研究所 上海交通大学的计算机 科学与工程系 清华大学人工智能国家重点实验室 浙江大学的自动化系等也 都做过类似的研究 关于车牌定位的研究 国外起步比较早 现在比较好的车牌定位方法主要 有 J Barroso 等提出的基于水平搜寻的定为方法 R Parisi 等提出的基于 DFT 变换的频域分析方法 J Bulas Crue 等人提出的基于扫描行车牌提取方法 上述方法 尽管在一定的条件下能够定位出车牌 但车牌识别系统大多是利用 摄像机室外拍摄车牌图像 存在许多外在的干扰 如天气 背景因素 车牌磨 损 污染 图像中车牌倾斜等因素 因此定位并不十分理想 车牌定位是解决 图像分割 图像分析与理解的问题 它的方法多种多样 它可以是对先前方法 的改进 也可以是独辟蹊径的创新 也可以是新老方法的结合 对一些复杂的 图像应用某些数学工具不仅可以加快处理速度 而且可以改善和优化处理结果 车牌定位是车牌识别的基础 车牌定位的结果直接影响着字符分割和字符识别 的效果 所以有必要对车牌定位方法进行深入的研究 车牌字符分割是把车牌的字符一个个分离出来 为车牌字符的识别做好准 备 工作 车牌字符分割属于印刷体字符分割的范畴 印刷体字符分割的任务是从 多 行或多字符图像中切割出单个字符 对于字符分割的问题常常不被重视 但是 字符的正确分割对字符的识别又很关键 由于各种因素的影响 使得字符分割 的复杂性大 目前的字符分割的算法一直在不断完善 针对车牌图像的字符分 割 是字符分割的一个具体应用 目前人们根据车牌字符的特征已提出了一些 算法 比如 基于先验知识的分割算法 基于投影轮廓和拓扑结构的分割算法 等 但是考虑到车牌中字符可能存在的粘连 断裂情况 字符分割技术仍然需 要进一步改进 1 1 3 3 主要研究内容主要研究内容 课题研究的主要内容是对数码相机拍摄的车牌 进行基于数字图像处理技 术的车牌定位技术和车牌字符分割技术的研究与开发 涉及到图像预处理 车 牌定位 倾斜校正 字符分割等方面的知识 总流程图如图 1 1 所示 其中车牌 定位的流程图如图 1 2 所示 字符分割与归一化的流程图如图 1 3 所示 输入车牌图像车牌图像预处理车牌定位 倾斜校正字符分割 图 1 1 系统总流程图 对车牌图像进行预处 理 得到车牌的基本 形态 去除非目标区域 通过计算寻找 X 和 Y 方向车牌的区域 完成车牌定位 图 1 2 车牌定位的流程图 m n size d 逐排检查有没有白色像素点 设置 1 j T d 二值图像 imwrite d 2 车牌图像二值化 jpg figure 10 subplot 3 2 2 imshow d title 2 车牌图像二值化 图 2 8 车牌图像二值化 图 2 9 车牌图像二值化 图 2 10 车牌图像二值化 以上图片是对一些车牌图像采用全局阈值分割方法的结果 从中可以看出 经过采用上述方法进行阈值分割后 能够很好的把车牌字符与背景分割开 同 时该方法简单快捷 易于理解 实用性强 2 2 4 4 空间域滤波空间域滤波 对于包含噪声污染的车牌图像 通常采用空间域法对车牌图像进行滤波 常使用的方法有 线性滤波 中值滤波等 1 线性滤波 线性滤波可以去除图像中某些类型的噪声 如采用邻域平均法的均值滤波 器 就非常适合去除用扫描方式得到的图像中的颗粒噪声 邻域平均法对于给定的图像 f i j 中的每个像素点 i j 取其邻域 S 求 邻 域 S 中像素值的平均值作为处理后所得图像像素点 i j 处的灰度 用一个像 素邻域内各像素灰度平均值来代替像素原来的灰度 即使用了邻域平均技术 邻域 S 的形状和大小根据图像特点确定 一般取的形状是正方形 矩形及 十 字形等 S 的形状和大小可以在全图处理中保持不变 也可根据图像的局部统 计 特性而变化 点 i j 一般位于 S 的中心 如 S 为 3 3 邻域 点 i j 位于中 心 则 2 11 11 1 9m n f i jf im jn 10 假设噪声 n 是加性噪声 在空间各点互不相关 且期望为 0 方差为 g 2 是未受污染的图像 含有噪声的图像 f 经过邻域平均后为 2 111 f i jf i jg i jn i j MMM 11 式中 M 为邻域 S 内的像素总数 由公式 2 11 可知 经邻域平均后 噪声的均值不变 方差 即 2 2 1 M 噪声方差变小 说明噪声强度减弱了 即抑制了噪声 同时 由公式 2 10 还可 看出 邻域平均法也平滑了图像信号 特别是可能使图像目标区域的边界变得 模糊 可以证明 对图像进行邻域平均处理相当于使图像信号通过一个低通滤 波器 2 中值滤波 中值滤波是一种非线性信号处理方法 它被用来抑制图像中的噪声 对于 给 定的 n 个数值 将它们按大小有序排列 当 n 为奇数时 位于中间 12 n a aa 位置的那个数值称为这 n 个数值的中值 当 n 为偶数时 位于中间位置的两个数 值的平均值称为这 n 个数值的中值 记作 med 中值滤波就是这样 12 n a aa 的一个变换 图像中值滤波后某像素的输出等于该像素邻域中各像素灰度的中 值 中值滤波器可以推广到二维 即对二维图像操作 二维中值滤波的窗口形 状 和尺寸对滤波效果影响较大 不同的图像内容和不同的应用要求 往往采用不 同 的窗口形状和尺寸 常用的窗口形状有线状 方形 圆形 十字形以及圆环形 等 窗口的尺寸一般先用 3 再取 5 逐点增大 直到其滤波效果满意为止 一般对 于 有缓变的较长轮廓线物体的图像 采用方形或圆形窗口为宜 对于包含有尖顶 角 物体的图像 适宜用十字形窗口 而窗口大小则以不超过图像中最小有效的细 线 状物体为宜 如果图像中点 线 尖角细节过多 不宜采用中值滤波 在本文算法的实际应用中 对车牌图像采用了均值滤波的方法 图 2 11 为 采用上述滤波方法的结果 实现代码如下 h fspecial average 3 d im2bw round filter2 h d 图 2 11 均值滤波后的车牌图像 利用领域平均法可以消除或减少噪声 改善图像的质量 从信号分析的观 点来看 均值滤波的本质是低通滤波 它通过信号的低频部分 阻截高频的噪 声信号 但是由于图像边缘也处于高频部分 这样往往带来另外一个问题 在 对图像进行均值滤波操作时 往往对图像的细节造成一定的破坏 h fspecial average 3 中 3 代表模板的大小 本文选择的模板3 3 进行均值滤波 效果如图 2 12 所示 如果选用的模板大 去除噪声的效果会更 明显 但是计算复杂 所涉及的像素多而容易把细节抹去 造成模糊 如图 2 13 所示 图 2 12 均值滤波后的车牌图像 模板的大小为 3 3 图 2 13 均值滤波后的车牌图像 模板的大小为 8 8 第三章第三章 车牌定位车牌定位 3 3 1 1 车牌的规格及特征车牌的规格及特征 我国现有车牌主要有六种类型 1 小型车使用的蓝底白字车牌 2 大型车使用的黄底黑字车牌 3 军用或警用的白底黑字 红字车牌 4 国外驻华机构使用的黑底白字车牌 5 摩托车牌 6 农用车 拖拉机车牌 第一种车牌的前车牌长度均为 440mm 宽度为 140mm 共有 8 个字符 本文 研究的各种算法主要使用这种车牌 车牌的第一个字符是汉字 是各省 自治 区 直辖市的简称 如 京 沪 渝 湘 冀 等 第二个字符是除 去 I 之外的 25 个大写的英文字母 是发证机关代号 如 A B C 等 第三 个 字符是一个间隔符 第四个字符可能是字母也可能是阿拉伯数字 从第五 个字符起都是阿拉伯数字 表示是车辆的注册号码如 冀 A 53288 就是典 型的车牌号码 车牌上的字符高度为 90mm 宽度为 45mm 分隔符的直径为 lOmm 实际上 每个字符是居中分布在一个高度为 90 宽度为 45mm 的矩形范围 内 具体某个字符并不一定充满这个矩形区域 例如 字符 1 就没有充满这 个矩形 字符的宽度没有达到 45mm 字符与字符之间或字符和分隔符之间的 距离为 12mm 3 3 2 2 车牌定位中常用方法车牌定位中常用方法 3 3 2 2 1 1 基于颜色的定位方法基于颜色的定位方法 该方法是根据不同颜色车牌出现的概率 合理利用投影技术 进行统计分 析 而后定位和分割出车牌 该算法具有速度快 准确率高 适应性强等特点 但是 该方法在车牌区域颜色与附近区域颜色非常相近时 车牌的定位误差会 有所增加 3 3 2 2 2 2 基于纹理的定位方法基于纹理的定位方法 利用字符纹理定位车牌 对于光照偏弱 偏强或不均匀 牌照倾斜和变形等 情况定位较好 但应用于背景复杂的图像时 很容易把一些纹理分布比较丰富 的其他非车牌区域也定位进来 产生包含真车牌在内的较多的车牌候选区域 通 过结合垂直投影的方法可以弥补纹理分析法的不足 3 3 2 2 3 3 基于边缘检测的定位方法基于边缘检测的定位方法 该方法的定位准确率较高 反映时间快 能有效去掉噪声 适合于包含多 个车牌的图像 并且在多车牌图像的情况下定位速度也很快 但是对车牌严重 褪色的情况 由于检测不到字符笔画的边缘会导致定位失败定位后的区域在外界 有干扰以及车牌倾斜时比车牌稍大 3 3 2 2 4 4 基于数学形态学的定位方法基于数学形态学的定位方法 数学形态学图像处理的基本思想 是利用一个结构元素来探测一个图像 看是否能将这个结构元素很好的填放在图像内部 同时验证填放元素的方法是 否有效 腐蚀 膨胀 开操作和关操作是数学形态学的基本运算 膨胀最简单的应用之一就是将裂缝桥接起来 腐蚀的一种最简单的用途就 是消除不相关的细节 膨胀使图像扩大 腐蚀使图像缩小 而开操作与闭操作 同样是两个重要 的心态学操作 开操作一般使对象的轮廓变得光滑 断开狭窄的间断和消除细 的突出物 闭操作同样使轮廓线更光滑 但与开操作相反的是 它通常消弥狭 窄的间断和细长的鸿沟 消除小的孔洞 并填补轮廓线中的断裂 3 3 2 2 5 5 基于遗传算法的定位方法基于遗传算法的定位方法 传统算法进行特征提取的时候 当目标图像质量较差或者有较大的退化时 不是很有效 而遗传定位算法能够对全图的待定目标区域图像进行小范围的图 像增强和提取 实际应用也表明该方法在图像质量较差时对目标区域都有很好 的目标增强效果 对夜间迎车头灯时抓拍的图像定位很成功 但仍然具有进一 步算法优化的潜力 可以在算法中加入适当的局部搜索算子来进一步改善算法 的性能 3 3 2 2 6 6 基于神经网络的定位方法基于神经网络的定位方法 该方法利用牌照的长宽比 面积 面积与周长比来区分真正的牌照区域与 类牌照区域 该方法具有较强的自适应能力 可以在较复杂背景中精确定位大 小不同的车牌 并且通过对传统的 BP 网络的改进 一定程度上提高了定位的精 度和速度此方法要求图像中的牌照尺寸基本不变 一旦图像中的牌照尺寸发生了 较大的变化 必须对神经网络重新进行训练 定位效果比较好 但计算量较大 3 3 3 3 车牌定位流程及结果车牌定位流程及结果 本文采用基于数学形态学和边缘检测以及颜色相结合的方法实现车牌定位 其流程图如下 对车牌图像进行预处 理 得到车牌的基本 形态 去除非目标区域 通过计算寻找 X 和 Y 方向车牌的区域 完成车牌定位 图 3 1 车牌定位流程图 第一步 对经过灰度拉伸的车牌图像进行边缘检测 结果如图 3 2 所示 图 3 2 经过灰度拉伸的车牌图像的边缘检测 边缘是指图像局部亮度变化最显著的部分 边缘主要存在于目标与目标 目标与背景 区域与区域 包括不同色彩 之间 是图像分割 纹理特征提取 和形状特征提取等图像分析的重要基础 第二步 边缘检测结果进行腐蚀 结果如图 3 3 所示 图 3 3 腐蚀后的车牌图像 第三步 对腐蚀图像进行闭操作 保持车牌图像的基本形态特征 图 3 4 图像的轮廓 第四步 对闭操作图像使用bwareaopen函数 去除目标中不相干的小对象 图 3 5 车牌的轮廓 第五步 通过对车牌图像的蓝色像素点的统计找出车牌的范围 然后通过 修剪得到最终图像 具体步骤如下 首先对车牌图像做垂直投影和水平投影 其统计图如图 3 6 图 3 7 所示 统计的目的主要是找到车牌图像在整个图像中的坐标范围 统计完成以后 实 际上就得到了车牌的大体外围 再对原始图像进行切割 显示它在 Y 方向的图 像范围 如图 3 8 所示 然后找出它在 X 方向的图像范围 最后对其进行修剪 放大 显示结果图像 如图 3 9 所示 Comment 微微微微1 图 3 6 X 方向统计图 图 3 7 Y 方向统计图 图 3 8 Y 方向车牌区域确定 图 3 9 定位剪切后的彩色车牌图像 图 3 10 是对其他一些车牌图像进行定位的结果 从中可以看出 对于不同类型 的车牌图像采用本文方法都可以得到较好的定位结果 a 车牌 1 定位结果 b 车牌 2 定位结果 c 车牌 3 定位结果 d 车牌 4 定位结果 e 车牌 5 定位结果 图 3 10 多幅定位剪切后的彩色车牌图像 程序 dw I PY1 PY2 8 PX1 PX2 表示截取 PY1 和 PY2 8 PX1 和 PX2 之间 的像素矩阵 其中 PY2 8 是一个经验值 对于不同的拍摄角度获得的图像也可 以选择 PY2 3 或者 PY2 1 因此实际应用中需要根据大量数据统计获得 在本文算法中选用的车牌颜色必须要不同于图像整体背景色 否则将无法 提取出车牌区域 这也是本算法的不足之处 第四章第四章 倾斜校正倾斜校正 由于图像采集设备的安装位置一般在车道旁 在拍摄时不能正对车牌 因 此拍摄到的车牌图像会存在一定的倾斜 车牌倾斜不但会给字符切分带来困难 而且还会给汉字和字符识别带来困难 降低识别率 所以有必要进行倾斜校正 由于车牌变形一般是线性的 所以可以通过线性变换进行车牌的倾斜校正 但 是车牌倾斜校正前必须计算车牌的倾斜角度 倾斜校正分两步 第一步是求出角度 第二步是进行校正 目前对车牌进行倾斜校正主要采用以下几种方法 1 Hough 变换法 通过 Hough 变换来求取车牌的边框倾斜度 该方法过于 依赖车牌边框的清晰度和连贯度 在噪声 污渍干扰和车牌边框不明显的情况 下 就难以准确地通过 Hough 变换来求取倾斜度 2 Radon 变换法 首先采用 canny 算子对图像进行边缘检测 然后用Radon 变换检测车牌的倾斜角 对车牌的倾斜校正 该方法具有角度估计精确 速度 快 抗干扰能力强等优点 4 4 1 1 HoughHough 变换角度检测原理变换角度检测原理 Hough 变换是一种变换域提取的方法 它把直线上点的坐标变换到过点的 直线的系数域 巧妙的利用了共线和直线相交的关系 使直线的提取问题转化 为计数问题 Hough 变换采用的是直线标准式 cossinxy 1 在 的取值范围内建立一个理想的参数空间 考虑车牌的倾斜角度 小于 10 度 为了减少计算量 取 n为车牌图片 0 10 1 5 1 5 nn 的 宽度 2 建立一个累加器数组 countM p1 k 并置每个元素为 0 3 对边缘图上的每一个边缘点计算 Hough 变换值 即计算出该点在 坐标系中对应的曲线 并在相应的累加器加 1 countM p1 k countM p1 k 1 值的变化步长为 0 1 度 4 找出对应图像平面共线的累加器中的最大值 该最大值对应的为此直 线的倾斜角度 在求垂直方向的偏角时 算法同上 4 4 2 2 RadonRadon 变换角度检测原理变换角度检测原理 Radon 变换的基本思想是点一线的对偶性 图像变换前在图像空间 变换 后在参数空间 二维空间 x y 平面内的一条直线可以表示为 见图 4 1 4 1 cossinxy 图 4 1 直线的极坐标表示 将其映射成 Radon 空间的一个点 具体步骤如下 1 对原图像进行二值化 2 二值图像边缘化后进行 Radon 变换 3 找出 Radon 变换矩阵中的局部极大值 就是车牌图像一条边 11 R 1 框的倾斜角度 Radon 变换后 原图像中的直线段对应 Radon 空间中的点 且线段越长 对应的点亮度越大 有时边缘检测之后的图像中 车牌的边缘往往还会有一些 干扰的线段 这种情况下如果直接寻找 Radon 空间的的局部极大值可 11 R 能会出现误判 因此需要采取一些措施以防误判 根据先验知识 我们知道拍 摄的车牌图像中车牌的 2 条竖直边偏离垂直方向的角度不会超过某个角度 如 且 2 条水平边偏离水平方向的角度也不会超过某个角度 如 25 此外 Radon 变换总能在或附近取得局部极大值 这 25 1 0 1 90 样我们就可以设置一个阈值来求取和范围内的 Radon 变换的局部极 90 大值 所求得的局部极大值就是检测的车牌水平和垂直边的倾斜角 4 4 3 3 基于基于 RadonRadon 变换的车牌图像校正变换的车牌图像校正 检测到了车牌的水平边倾斜角度和垂直边的倾斜角度之后 我们先对 车牌图像进行水平校正 水平校正采用对车牌图像旋转即可实现 我们设变 换前的坐标为 x y 变换后的出标为 x1 y1 旋转变换的公式 4 2 如下 4 1 1 cossin sincos xxy yxy 2 垂直校正采用对图像按公式 4 3 进行坐标变换来实现 4 1 1 tanxxy yy 3 实现代码如下 figure 8 subplot 2 2 4 imshow dw title 定位剪切后的彩色车牌图 像 gray rgb2gray dw bw edge gray canny theta 1 180 R xp radon bw theta I0 J find R max max R J 记录了倾斜角 qingxiejiao 90 J dw1 imrotate dw qingxiejiao bilinear crop figure 9 imshow dw1 title 倾斜校正后的车牌 图 4 2 是对其他一些车牌图像进行倾斜校正前后的对比 从中可以看出 对于不同类型的车牌图像采用本文方法都可以得到较好的倾斜校正 a 车牌 1 倾斜校正前的结果 b 车牌 1 倾斜校正后的结果 c 车牌 2 倾斜校正前的结果 d 车牌 2 倾斜校正后的结果 e 车牌 3 倾斜校正前的结果 f 车牌 3 倾斜校正后的结果 g 车牌 4 倾斜校正前的结果 h 车牌 4 倾斜校正后的结果 图 4 2 多幅车牌图像进行倾斜校正前后的对比 车牌 1 和车牌 2 是存在水平边倾斜角度 从图 4 2 b 和图 4 2 d 中 可以看出车牌 1 和车牌 2 得到了很好的倾斜校正 车牌 3 和车牌 4 不但存在水平边倾斜角度 而且存在垂直边的倾斜角度 从图 4 2 f 和图 4 2 h 中可以看出车牌 3 和车牌 4 得到了较好的倾斜 校正 车牌仅仅进行了水平校正 并没有进行垂直校正 这也是算法的不足之 处 第五章第五章 车牌字符分割车牌字符分割 5 5 1 1 车牌区域的预处理车牌区域的预处理 经过上述方法分割定位出来的车牌图像中存在目标物体 背景还有噪声 要想从车牌图像中准确地分割出车牌字符 还需要对车牌区域进行预处理 车 牌图像的预处理过程如下 第一步 对经过倾斜校正后的车牌图像进行灰度化 图 5 1 车牌图像的灰度化 第二步 对灰度图像进行二值化 减少背景像素的干扰 增强目标区的色 素度 图 5 2 车牌图像二值化 第三步 对二值化图像进行均值滤波 通过均值滤波可以消除或减少噪声 改善图像的质量 图 5 3 均值滤波后的车牌图像 第四步 对滤波图像进行腐蚀或膨胀 膨胀是将裂缝桥接起来 腐蚀的一 种是消除不相关的细节 图 5 4 膨胀或腐蚀后的车牌图像 图 5 5 是对其他一些车牌图像的预处理结果 可以看出车牌图像经过预处 理后 噪声在不断减弱 为后期字符分割提供基础 a 车牌1的预处理结果 b 车牌2的预处理结果 c 车牌3的预处理结果 图5 5 对分割定位车牌的预处理结果 5 5 2 2 字符的分割与归一化字符的分割与归一化 m n size d 逐排检查有没有白色像素点 设置 1 j 5 end PY2 Max index while Blue y PY2 1 5 end IY I PY1 PY2 figure 8 subplot 2 2 1 plot Blue y title Y 方向统计 grid on figure 8 subplot 2 2 2 imshow IY title Y 方向车牌区域确定 X 方向 Blue x zeros 1 x 进一步确定 x 方向的车牌区域 for j 1 x for i PY1 PY2 if myI i j 1 1 Blue x 1 j Blue x 1 j 1 end end end PX1 1 while Blue x 1 PX1 3 end PX2 x while Blue x 1 PX2 PX1 PX2 PX2 1 end figure 8 subplot 2 2 3 plot Blue x title X 方向统计 grid on PX1 PX1 1 对车牌区域的校正 PX2 PX2 1 dw I PY1 PY2 8 PX1 PX2 t toc figure 8 subplot 2 2 4 imshow dw title 定位剪切后的彩色车牌图像 gray rgb2gray dw bw edge gray canny theta 1 180 R xp radon bw theta I0 J find R max max R J 记录了倾斜角 qingxiejiao 90 J dw1 imrotate dw qingxiejiao bilinear crop figure 9 imshow dw1 title 倾斜校正后的车牌 imwrite dw1 dw1 jpg filename filepath uigetfile dw1 jpg 输入一个定位裁剪后的车牌图像 jpg strcat filepath filename a imread dw1 jpg b rgb2gray a imwrite b 1 车牌灰度图像 jpg figure 10 subplot 3 2 1 imshow b title 1 车牌灰度图像 g max double max max b g min double min min b T round g max g max g min 3 T 为二值化的阈值 四舍五入 m n size b d double b T d 二值图像 imwrite d 2 车牌二值图像 jpg figure 10 subplot 3 2 2 imshow d title 2 车牌图像的二值化 figure 10 subplot 3 2 3 imshow d title 3 均值滤波前 滤波 h fspecial average 3 d im2bw round filter2 h d imwrite d 4 均值滤波后 jpg figure 10 subplot 3 2 4 imshow d title 4 均值滤波后 se eye 2 eye n returns the n by n identity matrix 单位矩阵 m n size d if bwarea d m n 0 365 d imerode d se elseif bwarea d m n 0 235 d imdilate d se end imwrite d 5 膨胀或腐蚀处理后 jpg figure 10 subplot 3 2 5 imshow d title 5 膨胀或腐蚀处理后 寻找连续有文字的块 若长度大于某阈值 则认为该块有两个字符组成 需 要分割 d qiege d m n size d figure subplot 2 1 1 imshow d title n k1 1 k2 1 s sum d j 1 while j n while s j 0 j j 1 end k1 j while s j 0 d k1 num 5 0 分割 end end 再切割 d qiege d 切割出 7 个字符 y1 10 y2 0 25 flag 0 word1 while flag 0 m n size d left 1 wide 0 while sum d wide 1 0 wide wide 1 end if widey2 flag 1 word1 temp WORD 1 end d 1 wide 0 d qiege d end end 分割出第二个字符 word2 d getword d 分割出第三个字符 word3 d getword d 分割出第四个字符 word4 d getword d 分割出第五个字符 word5 d getword d 分割出第六个字符 word6 d getword d 分割出第七个字符 word7 d getword d subplot 5 7 1 imshow word1 title 1 subplot 5 7 2 imshow word2 title 2 subplot 5 7 3 imshow word3 title 3 subplot 5 7 4 imshow word4 title 4 subplot 5 7 5 imshow word5 title 5 subplot 5 7 6 imshow word6 title 6 subplot 5 7 7 imshow word7 title 7 m n size word1 商用系统程序中归一化大小为 40 20 此处演示 word1 imresize word1 40 20 word2 imresize word2 40 20 word3 imresize word3 40 20 word4 imresize word4 40 20 word5 imresize word5 40 20 word6 imresize word6 40 20 word7 imresize word7 40 20 subplot 5 7 15 imshow word1 title 1 subplot 5 7 16 imshow word2 title 2 subplot 5 7 17 imshow word3 title 3 subplot 5 7 18 imshow word4 title 4 subplot 5 7 19 imshow word5 title 5 subplot 5 7 20 imshow word6 title 6 subplot 5 7 21 imshow word7 title 7 imwrite word1 1 jpg imwrite word2 2 jpg imwrite word3 3 jpg imwrite word4 4 jpg imwrite word5 5 jpg imwrite word6 6 jpg imwrite word7 7 jpg liccode char 0 9 A Z 苏豫陕津 建立自动识别字符代码表 SubBw2 zeros 40 20 l 1 for I 1 7 ii int2str I t imread ii jpg SegBw2 imresize t 40 20 nearest if l 1 第一位汉字识别 kmin 37 kma