数字图像处理车牌识别

数字图像处理车牌识别第1页，共55页，2023年，2月20日，星期六一、车牌识别技术简介车牌识别是现代交通管理的重要措施，是智能交通系统的重要环节内容： 车牌识别系统是采用数字摄像技术和计算机信息管理技术，对运行车辆实现智能管理的综合运用技术理论基础：数字图像处理和模式识别车牌识别技术具有典型性，容易推广到其它识别对象第2页，共55页，2023年，2月20日，星期六主要应用领域主要应用场合(1)公安卡口(2)高速公路收费管理(3)城市道路监控系统(电子警察)(4)海关车辆管理(5)停车场管理(6)车辆流量统计第3页，共55页，2023年，2月20日，星期六车牌识别技术现状完整的车牌自动识别系统由图像釆集、图像处理、模糊识别等模块组成；在现有的技术条件下，车牌识别系统均无法达到100%的识别率，好的识别系统可达95%以上；先进识别系统的识别时间在一百毫秒以下；基于视频技术的识别系统，可方便地进行图像回放、检索；其它识别系统：条形码识别、射频标识识别等。第4页，共55页，2023年，2月20日，星期六有关识别率的统计数据各环节的识别率：（1）牌照定位98%（2）单字分割97.8%（3）车牌识别95%

从上面统计情况可看出，目前单项识别率均达到95%以上，但总识别率仅能达91%以上，仍需进一步提高。第5页，共55页，2023年，2月20日，星期六系统组成车牌识别系统组成第6页，共55页，2023年，2月20日，星期六识别流程主要由三部分组成图像捕获一般采用CCD摄像头，包括整车图像或牌照(一般为彩色图像)后两步由计算机实现关键部分是第三步：字符识别（OCR）第7页，共55页，2023年，2月20日，星期六识别步骤具体识别步骤如下(不是唯一的)：(1)获取整车或局部图像；(2)对获取车辆数字图像进行预处理；(3)车牌定位；(4)二值转换；(5)车牌分类；(6)车牌分割；(7)字符识别；(8)结果优化(车牌模糊识别)。第8页，共55页，2023年，2月20日，星期六二、车牌定位与分割车牌定位：通过车牌区域的特征来判别牌照的位置，将车牌从图像中分割出来步骤：(1)彩色图像灰度化(2)图像增强(3)边缘检测(4)模板匹配(5)输出牌照子图像第9页，共55页，2023年，2月20日，星期六CCD输出CCD捕获的汽车图像第10页，共55页，2023年，2月20日，星期六灰度图像彩色图像灰度化第11页，共55页，2023年，2月20日，星期六灰度增强灰度增强改变对比度第12页，共55页，2023年，2月20日，星期六边缘提取(方法多种)定位、分割后输出下步工作是对分割输出进行字符识别第13页，共55页，2023年，2月20日，星期六车徽边缘提取与识别

第14页，共55页，2023年，2月20日，星期六1、彩色图像灰度化CCD摄像头输出的图像一般是24位真彩色图像，需进行灰度化，使不同颜色车体统一化，同时实现快速处理两种制式都可以采用

PAL制：亮度

NTSC制：亮度第15页，共55页，2023年，2月20日，星期六2、对比度增强利用灰度变换增强对比度，突出车牌区一般采用截取式变换： 常采用下式第16页，共55页，2023年，2月20日，星期六3、边缘检测主要方法(1)对图像进行直分析处理(2)提取车牌区域边界(3)灰度点运算(4)模板匹配(5)算子法(6)形态学处理(7)其它边缘提取方法第17页，共55页，2023年，2月20日，星期六车牌图像特征车牌定位与分割的理论与方法是根据车牌图像的特点来确定的车牌图像主要特征有：(1)车牌区域内的边缘灰度直方图统计特征(2)车牌的几何特征(3)车牌区域的灰度分布特征(4)车牌区域的水平、垂直投影特征(5)车牌形状特征和字符排列格式特征(6)车牌的形态学特征(7)频谱特征第18页，共55页，2023年，2月20日，星期六车牌图像的组成组成：省份汉字(或其他汉字)+字母或阿拉伯数字，共7位，即X1X1•X3X4X5X6X7

例：川A•K0387尺寸：宽45mm、高90mm、间隔符宽10mm、单元间隔12mm字符笔画在竖直方向是连通的牌底与字符颜色对照大，边缘非常丰富四类：蓝底白字、黄底黑字、黑底白字、 白底黑字第19页，共55页，2023年，2月20日，星期六定位分割难点抓拍图像受环境因素干扰，特别环境光的干扰，环境光太强时，图像淡薄，对比度变差；车尾有其它字符，使车牌定位困难；车牌大都存在污染而变脏；车牌部分被遮挡；车牌图像为运动图像，拍摄时产生失真。第20页，共55页，2023年，2月20日，星期六环境光太强车牌图像太弱第21页，共55页，2023年，2月20日，星期六文字干扰其他字符干扰第22页，共55页，2023年，2月20日，星期六车牌污染车牌被污染第23页，共55页，2023年，2月20日，星期六部分被挡车牌字符下边被遮挡第24页，共55页，2023年，2月20日，星期六运动失真车牌字符因运动失真第25页，共55页，2023年，2月20日，星期六梯度法边缘提取梯度法(一阶偏微分)又称Roberts算子 一种利用局部差分法提取边缘(锐化)的方法

F(j,k)f(j,k+1)F(j+1,k)第26页，共55页，2023年，2月20日，星期六边缘模板法边缘模板是一种算子，常用的有Sobel算子Sobel算子是一种由两个卷积构成的梯度模板 分别检测水平边缘和垂直边缘，运算结果是一幅边缘图像第27页，共55页，2023年，2月20日，星期六Prewitt算子边缘提取与Sobel算子类似，这也是一种边缘模板，仅是模板权系数不一样输出：第28页，共55页，2023年，2月20日，星期六快速边缘检测在车牌系统中还常采用一种更简单的模板来提取边缘(对于有干扰的图像效果不理想)特点：运算速度快，车牌笔画轮廓突出，而车体其他部分轮廓不突出第29页，共55页，2023年，2月20日，星期六掩模匹配法锐化：罗比逊模板、普雷外特模板、柯赤模板上述三种模板均可用于边缘提取，车牌检测常用柯赤(Krisch)模板,由8个算子组成第30页，共55页，2023年，2月20日，星期六高斯-拉普拉斯算子法二阶微分算子 该算子对噪声不敏感(5×5)输出:第31页，共55页，2023年，2月20日，星期六哈夫(Hough)变换提取直线利用图像全局特性将边缘像素连接起来形成区域封闭边界的一种方法原理：将二维空间(x,y)平面中的直线用二维极坐标(ρ,θ)空间表示 将直线表示为：

即将(x,y)平面的直线变换为r-θ空间的一个点 该方法亦用于倾斜校正第32页，共55页，2023年，2月20日，星期六哈夫(Hough)变换原理第33页，共55页，2023年，2月20日，星期六模板匹配用与图像中车牌一样大小的已知模板，在经对比度增强后的图像中，从起点(0,0)开始，逐步平移一一匹配，寻找最佳区域匹配公式： 最大值为输出 已知模板并不是某个具体的车牌，而是具有车牌统计特性的通用模板，是一种模糊匹配第34页，共55页，2023年，2月20日，星期六形态学处理确定车牌位置将图像二值化,通过膨胀、腐蚀操作定位第35页，共55页，2023年，2月20日，星期六车牌定位算法之一(1)对原始图像进行基于方向区域距离测度的彩色边缘检测得到原始边缘图像(2)对原始边缘图像中的每一边缘点进行边缘颜色对检测，获得候选车牌边缘图像(3)对候选车牌边缘图像进行闭运算获得连通域图像(4)计算各连通域的宽高比，剔除不在阈值范围内的连通域，若只剩下一个连通域，则可确认为车牌区域，转(7)第36页，共55页，2023年，2月20日，星期六车牌定位算法之一(5)若还有多于一个连通域，则计算r。剔除不在阈值范围内的连通域，若只剩下一个连通域，则可确认为车牌区域，转(7)(6)若还有多于一个连通域，则对其进行彩色边缘检测然后进行水平扫描，统计每行灰度值为1的个数N，如果有连续M行以上N∈[n1,n2]，则可认为此连通域为车牌区域(7)在原始图像中提取车牌图像第37页，共55页，2023年，2月20日，星期六其它方法：自适应边界搜索法

利用倒L型、水平直线、垂直直线这些结构元素搜索、定位字符，然后找出符合一定格式的字符群，即认为是车牌。

第38页，共55页，2023年，2月20日，星期六其它方法：区域生长法

对边缘图像进行均匀性区域生长，以获得潜在的车牌区域，然后利用车牌的几何特征以及车牌区域内的边缘灰度直方图统计特征删除伪车牌，获取真实车牌。第39页，共55页，2023年，2月20日，星期六其它方法：形态学运算法

灰度图像数学形态学运算法则利用车牌形状特征、字符排列格式特征，对预处理后的灰度图像进行一系列的形态学运算，得到直线与一定数目的字符相邻的区域即认为是车牌。

第40页，共55页，2023年，2月20日，星期六其它方法：

DFT变换法

DFT变换法是先对图像逐行做DFT变换，然后把频率系数逐行累加平均并根据这些平均值做出频谱曲线，根据频谱曲线中的“峰”的起始点位置确定车牌水平位置，对这一水平区域逐行做DFT变换可确定车牌竖直位置。虽然上述车牌定位算法已在实践中取得成功，但对于车辆实时监控系统来说上述方法所需的时间仍然偏长。第41页，共55页，2023年，2月20日，星期六其它方法：图像差分投影法

基于图像差分投影法：将车辆灰色图像按水平方向求差分图，然后按垂直方向求差分，最后对差分后的车辆图像分别在水平和垂直方向投影，按照给定的车牌尺寸范围找出可似车牌区域；按照水平和垂直方向投影得出有可能的车牌区域有三个，包括两个车灯区，由于车灯区在尺寸和字符数上不符合常规车牌特征，所以即可排除，从而仅剩下唯一的车牌区域，再从灰色图像中切出真正的车牌区图像。

第42页，共55页，2023年，2月20日，星期六三、车牌字符识别技术与通用的OCR识别方法类似模板匹配法 首先对字符二值化，并归一化字符尺寸，然后进行模板匹配，选取择最匹配输出神经网络匹配法，两种算法：(1)先对各字符进行特征提取，利用特征训练网络分类器，然后用分类器识别字符(2)由网络对输入图像自动提取特征并识别第43页，共55页，2023年，2月20日，星期六1、预处理车牌经定位、分割检出后，基本上具有被识别的条件，但还需做适当预处理预处理：(1)图像二值化 在彩色图像灰度化后，因车牌类型不同，会出白底黑字和黑底白字两种，需要统一为一种(2)字符分割第44页，共55页，2023年，2月20日，星期六2、二值化二值化的关键是阈值的选择二种方法：全局阈值、局部阈值全局阈值其中hl是灰度值为l的像素个数。第45页，共55页，2023年，2月20日，星期六3、倾斜校正提取的车牌图像有可能是倾斜的，为了便于识别，需对图像进行倾斜度校正方法：哈夫(Hough)变换 计算车牌图像上、下边界直线计算边界直线的倾斜度P倾斜度校正第46页，共55页，2023年，2月20日，星期六拍摄造成的倾斜字符第47页，共55页，2023年，2月20日，星期六二值化后的倾斜字符第48页，共55页，2023年，2月20日，星期六4、尺寸归一化字符的大小归一化可以简单地用统计分析法来完成归一化内容: (1)位置归一化，即把字符移到规定的位置上，使字符的质心对中，也可字符边框定位

(2)大小归一化，使被识别字符具有同样大小第49页，共55页，2023年，2月20日，星期六5、字符识别识别方法较多匹配法识别采用相关函数作为相似度测度 其中，T为模板，S为模板覆盖下的图像子块，i、j为子块左上角坐标，M、N为模板长和宽第50页，共55页，2023年，2月20日，星期六6、字符优化按照上述车牌定位和切割方法取得的单个字符图像，可能存在字符与边框相连、字符变形和字符断裂等情况，为此在真正识别之前需要对字符位图作进一步的技术处理；常用的方法是将用于识别的字符位图按新的点阵大小重新采样，然后搜索字符位图的准确上下左右边界值，依照字符位图的宽高值和新的边界值重新确定字符像素点，并排除非字符情况，如左右边界值之差过小、上下边界差过小等情况即认为非字符。

第51页，共55页，2023年，2月20日，星期六7、字符类型民用车汉字：京、津、晋、冀、蒙、辽、吉、黑、沪、苏、浙、皖、闽、赣、鲁、豫、鄂、湘、粤、桂、琼、川、贵、云、藏、陕、甘、青、宁、新，渝”；英文字母：除“I”外的“A—Z”其他字母；数字：0—9；数字和字母：“WJ”、“警”+0—9；军用车汉字：甲、乙、丙、丁、戊、己、庚、辛、壬、癸、子、丑、寅、卯、辰、巳、午、未、申、酉、戌、亥；民用车尾字：