智能图像处理:Python和OpenCV实现-课件 13.1 使用OpenCV进行车牌提取及识别_第1页
智能图像处理:Python和OpenCV实现-课件 13.1 使用OpenCV进行车牌提取及识别_第2页
智能图像处理:Python和OpenCV实现-课件 13.1 使用OpenCV进行车牌提取及识别_第3页
智能图像处理:Python和OpenCV实现-课件 13.1 使用OpenCV进行车牌提取及识别_第4页
智能图像处理:Python和OpenCV实现-课件 13.1 使用OpenCV进行车牌提取及识别_第5页
已阅读5页,还剩23页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

13.1使用OpenCV进行车牌提取及识别要完成车牌定位提取以及车牌字符识别任务,需要在运行环境中添加imutils库文件和pytesseract库文件。imutils是AdrianRosebrock开发的一个python工具包,它整合了OpenCV、Numpy和matplotlib的相关操作,主要是用于图形图像的处理,如图像的平移、旋转、缩放、骨架提取、显示等等,后期又加入了针对视频的处理,如摄像头、本地文件等。

在cmd下安装imutils库使用pipinstallimutils命令,在anaconda下安装win-64imutilsv0.5.3版本使用命令:condainstall-cconda-forgeimutils或condainstall-cconda-forge/label/cf202003imutilsimutils库

在imutil库中用于车牌检测中的函数是imutils.grab_contours,它经常搭配寻找轮廓的cv2.findContours函数一起使用,其语法格式为:cnts=cv2.findContours(thresh.copy(),cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)其中输入参数如下:thresh.copy():输入图像(二值图像,黑色作为背景,白色作为目标);cv2.RETR_EXTERNAL:轮廓检索方式;cv2.CHAIN_APPROX_SIMPLE:轮廓近似方法。

再使用cnts=imutils.grab_contours(cnts)语句返回cnts中的countors(轮廓)。pytesseract是一款用于光学字符识别(OCR)的python工具,即从图像中识别出其中嵌入的文字。pytesseract是对Tesseract-OCR的一层封装,同时也可以单独作为对Tesseract引擎的调用脚本,支持使用PIL库(PythonImagingLibrary)读取各种图像文件类型,包括jpg、png、gif、bmp、tiff等其它格式。

在cmd下安装pytesseract库使用如下命令:pipinstallpytesseract。安装完pytesseract库后还需要安装Tesseract-OCR.exe,然后进行变量配置后就可以使用了。2.pytesseract库

在pytesseract库中,提供了如下函数将图像转换成字符串,具体语法格式如下:image_to_string(image,lang=None,boxes=False,config=None)其中输入参数如下:image表示图像lang表示语言,默认使用英文。如添加lang=‘chi_sim’表示可以识别简体中文boxes设为True,那么“batch.nochopmakebox”被添加到tesseract调用中如果设置了config,则配置会添加到命令中,例如config=“-psm6”。Config中psm参数的设置如下:0:定向脚本监测(OSD);1:使用OSD自动分页;2:自动分页,但是不使用OSD或OCR(OpticalCharacterRecognition,光学字符识别);3:全自动分页,但是没有使用OSD(默认);4:假设可变大小的一个文本列;5:假设垂直对齐文本的单个统一块;6:假设一个统一的文本块;7:将图像视为单个文本行;8:将图像视为单个词;9:将图像视为圆中的单个词;10:将图像视为单个字符。

当有多个语言包组合并且视为统一的文本块时,通过+来合并使用多个语言包,使用如下参数:pytesseract.image_to_string(image,lang="chi_sim+eng",config="-psm6")13.1.1车牌提取过程

车牌识别系统一般包括4个部分:车辆图像获取、车牌定位、车牌字符分割和车牌字符识别。本节只介绍车牌的提取分割过程。

车辆图像获取是车牌识别的第一步,也是很重要的一步,车辆图像的好坏对后面的工作有很大的影响。如果车辆图像的质量太差,连人眼都无法分辨,那么肯定不会被机器所识别出来。车辆图像都是在实际现场拍摄出来的,实际环境情况比较复杂,图像受天气和光线等环境影响较大,在恶劣的工作条件下系统性能将显著下降。现有的车辆图像获取方式主要有两种:一种是由彩色摄像机和图像采集卡组成,其工作过程是:当车辆检测器(如地感线圈、红外线等)检测到车辆进入拍摄范围时,向主机发送启动信号,主机通过采集卡采集一幅车辆图像,为了提高系统对天气、环境、光线等的适应性,摄像机一般采用自动对焦和自动光圈的一体机,同时光照不足时还可以自动补光照明,保证拍摄图像的质量;另一种是由数码照相机构成,其工作过程是:当车辆检测器检测到车辆进入拍摄范围时,直接给数码照相机发送一个信号,数码相机自动拍摄一幅车辆图像,再传到主机上,数码相机的一些技术参数可以通过与数码相机相连的主机进行设置,光照不足时也需要自动开启补光照明,保证拍摄图像的质量。1、车辆图像获取车牌定位的主要工作是从摄入的车辆图像中找到汽车牌照所在位置,并把车牌从该区域中准确地分割出来,供字符分割使用。因此,牌照区域的确定是影响系统性能的重要因素之一,牌照的定位与否直接影响到字符分割和字符识别的准确率。目前车牌定位的方法很多,但总的来说可以分为以下4类:基于颜色的分割方法,这种方法主要利用颜色空间的信息,实现车牌分割,包括彩色边缘算法、颜色距离和相似度算法等;基于纹理的分割方法,这种方法主要利用车牌区域水平方向的纹理特征进行分割,包括小波纹理、水平梯度差分纹理等;基于边缘检测的分割方法;基于数学形态法的分割方法。

本文采用的是基于边缘检测的分割方法,主要是利用水平投影方法和垂直投影方法进行车牌定位。2、车辆定位

要识别车牌字符,前提是先进行车牌字符的正确分割与提取。字符分割的任务是把多列或多行字符图像中的每个字符从整个图像中分割出来成为单个字符。车牌字符的正确分割对字符的识别是很关键的。传统的字符分割算法可以归纳为以下三类:直接分割法、基于识别基础上的分割法、自适应分割线聚类法。直接分割法简单,但它的局限是分割点的确定需要较高的准确性;基于识别基础上的分割法是把识别和分割结合起来,但是需要识别的高准确性,它根据分类和识别的耦合程度又有不同的划分;自适应分割线聚类法是要建立一个分类器,用它来判断图像的每一列是否是分割线,它是根据训练样本来进行自适应学习的神经网络分类器,但对于粘连字符训练困难。也有直接把字符组成的单词当作一个整体来识别的,诸如运用马尔科夫数学模型等方法进行处理,这些算法主要应用于印刷体文本识别。3、车辆字符分割

对于获得的带有字符(数字/字母)的图像,使用OCR(光学字符识别)识别出车牌字符上的具体文字了。4、字符识别13.1.2车牌检测与提取

以汽车图像为例,首先检测该汽车上的车牌。然后再使用相同的图像进行字符分割和字符识别。在此使用的车牌图像如图:

首先将图像调整为所需大小,可以避免使用较大分辨率的图像而出现处理时间过长的问题,但是我们要确保在调整大小后,车号牌仍保留在图像中。在处理图像时如果不再需要处理颜色细节,那么灰度化就必不可少,这加快了其他后续处理的速度。程序代码如下:1、调证图像大小,并灰度化img=cv2.resize(img,(640,480))gray_img=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

车牌图像中会包含有用和无用的信息,在这种情况下,对于我们来说,只有牌照是有用的信息,其余部分几乎是无用的。这种无用的信息称为噪声。通常,使用双边滤波会从图像中删除不需要的细节。2、双边滤波其中双边滤波的函数语法为:dst_image=cv2.bilateralFilter(source_image,diameterofpixel,sigmaColor,sigmaSpace)

可以将sigmaColor颜色和sigmaSpace空间从15增加到更高的值,以模糊掉更多的背景信息。gray=cv2.bilateralFilter(gray,13,15,15)

使用OpenCV中的Canny算子进行边缘检测,程序语句为edged=cv2.Canny(gray,30,200)。3、边缘检测contours=cv2.findContours(edged.copy(),cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)contours=imutils.grab_contours(contours)contours=sorted(contours,key=cv2.contourArea,reverse=True)[:10]screenCnt=None4、图像中寻找轮廓

一旦检测到图像轮廓,我们就将它们从大到小进行排序,并只考虑前10个轮廓而忽略其后的轮廓。由于车牌是四边形的矩形,为了获得车牌图像,我们将遍历所有轮廓,并检查其具有四个侧面和闭合图形的矩形轮廓。forcincnts:#近似轮廓peri=cv2.arcLength(c,True)#计算轮廓的周长approx=cv2.approxPolyDP(c,0.018*peri,True)#用于获得轮廓的近似值#参数说明:第一个参数为输入的轮廓值;第二个参数为阈值T,通常使用轮廓的周长作为阈值;第三个参数True表示轮廓是闭合的。#如果近似轮廓有四个点,那么我们已经找到了车牌字符位置iflen(approx)==4:screenCnt=approxbreak

找到正确的车牌字符轮廓后,将其保存为screenCnt,然后在其周围绘制一个矩形框,以确保我们已正确检测到车牌,如图:

对车牌区域进行掩模,去除车牌外的图像部分,只保留车牌所在的区域。程序代码如下:5、提取车牌mask=np.zeros(gray.shape,np.uint8)new_image=cv2.drawContours(mask,[screenCnt],0,255,-1,)new_image=cv2.bitwise_and(img,img,mask=mask)提取的车牌图像如图:13.1.3字符分割

车牌识别的下一步是通过裁剪车牌并将其保存为新图像,将车牌从图像中分割出来。然后使用此图像来检测其中的字符。下面显示了从主图像裁剪出ROI(感兴趣区域)图像的代码:

(x,y)=np.where(mask==255)(topx,topy)=(np.min(x),np.min(y))(bottomx,bottomy)=(np.max(x),np.max(y))cropped=gray[topx:bottomx+1,topy:bottomy+1]importcv2importimutilsimportnumpyasnpimg=cv2.imread('D:/pics/chepai1.jpg',cv2.IMREAD_COLOR)img=cv2.resize(img,(600,400))cv2.imshow('Originimage',img)img_gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)img_gray=cv2.bilateralFilter(img_gray,13,15,15)#双边滤波

img_edged=cv2.Canny(img_gray,30,200)cv2.imshow('edgedimage',img_edged)#寻找轮廓。三个输入参数:输入图像,轮廓检索方式,轮廓近似方法img_contours=cv2.findContours(img_edged.copy(),cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)#返回countors中的轮廓img_contours=imutils.grab_contours(img_contours)img_contours=sorted(img_contours,key=cv2.contourArea,reverse=True)[:10]#排序#print('contours',contours)screenCnt=None【例13.1】车牌字符图像的定位与剪切的完整程序代码如下:

forcinimg_contours:peri=cv2.arcLength(c,True)#计算轮廓的周长approx=cv2.approxPolyDP(c,0.018*peri,True)#多边形拟合曲线iflen(approx)==4:screenCnt=approxbreak

ifscreenCntisNone:detected=0print("Nocontourdetected")else:detected=1ifdetected==1:cv2.drawContours(img,[screenCnt],-1,(0,0,255),3)mask=np.zeros(img_gray.shape,np.uint8)new_image=cv2.drawContours(mask,[screenCnt],0,255,-1,)cv2.imshow('mask_image',new_image)#找到车牌位置,并掩模new_image=cv2.bitwise_and(img,img,mask=mask)#与原图像“与”操作#cv2.imshow('bitwisenew_image',new_image)(x,y)=np.where(mask==255)(topx,topy)=(np.min(x),np.min(y))(bottomx,bottomy)=(np.max(x),np.max(y))#切割车牌图像cropped=img_gray[topx:bottomx+1,topy:bottomy+1]cropped=cv2.resize(cropped,(400,200))cv2.imshow('Cropped',cropped)

cv2.waitKey(0)cv2.destroyAllWindows()程序运行结果如图:(a)原图像

(b)边缘检测图像(c)车牌掩模图像(d)剪切的车牌图像13.1.4基于Haar特征分类器的车牌检测HaarCascadeXML特征分类器,是一种基于机器学习的方法,它利用了积分图像(或总面积)的概念有效地提取特征(例如,边缘、线条等)的数值。“级联分类器”,即意味着不是一次就为图像中的许多特征应用数百个分类器,而是一对一地应用分类器。(1)导入要使用的汽车图像。(2)使用OpenCV的CascadeClassifier函数为车牌引入HaarCascade功能集XML文件。

(3)使用detectMultiScaleCascadeClassifier分类器方法进行检测。detectMultiScale函数允许输入不同大小的图像,并返回检测图像的矩形边界列表。对于每个矩形,将返回4个值,它们分别对应矩形(x)左下角的x坐标、矩形(y)的左下角的y坐标、矩形宽度(w)和矩形高度(h)。基于Haar分类器的车牌检测步骤如下:

detectMultiScale函数语法格式为:

objects=detectMultiScale(image,scaleFactor,minNeighbors,flags,minSize,maxSize)

其中输入输出参数如下:image--待检测图像,一般为灰度图像加快检测速度;objects--被检测物体的矩形框向量组;scaleFactor--表示在前后两次相继的扫描中,搜索窗口的比例系数。默认为1.1即每次搜索窗口依次扩大10%;minNeighbors--表示构成检测目标的相邻矩形的最小个数(默认为3个)。如果组成检测目标的小矩形的个数和小于min_neighbors-1都会被排除。如果min_neighbors为0,则函数不做任何操作就返回所有的被检候选矩形框,这种设定值一般用在用户自定义对检测结果的组合程序上;flags--使用默认值或使用CV_HAAR_DO_CANNY_PRUNING。如果设置为CV_HAAR_DO_CANNY_PRUNING,那么函数将会使用Canny边缘检测来排除边缘过多或过少的区域,因此这些区域通常不会是车牌所在区域;minSize和maxSize用来限制得到的目标区域的范围。importcv2carplate_haar=cv2.CascadeClassifier('D:/anaconda3/Lib/site-packages/''cv2/data/haarcascade_russian_plate_number.xml')defcarplate_detect(image):carplate_overlay=image.copy()carplate_rects=carplate_haar.detectMultiScale(carplate_overlay,scaleFactor=1.1,minNeighbors=3)forx,y,w,hincarplate_rects:cv2.rectangle(carplate_overlay,(x,y),(x+w,y+h),(255,0,0),5)returncarplate_overlaydefcarplate_extract(image):carplate_rects=carplate_haar.detectMultiScale(image,scaleFactor=1.1,minNeighbors=5)forx,y,w,hincarplate_rects:carplate_img=image[y+15:y+h-10,x+15:x+w-20]returncarplate_imgif__name__=='__main__':

img=cv2.imread('D:/pics/chepai4.jpg')

img1=carplate_detect(img)#检测车牌

cv2.imshow('Carimage',img1)

img2=carplate_extract(img1)#截取车牌

cv2.imshow('Plateimage',img2)

cv2.waitKey(0)

cv2.destroyAllWindows()【例13.2】基于Haar的特征分类器进行车牌检测,程序代码如下:

程序运行结果如图:Haar检测车牌轮廓截取车牌字符区域13.1.5字符识别

车牌识别的最后一步是从分割的图像中识别出车牌字符文字信息。目前常用的车牌字符识别方法有三种:(1)使用字符库进行识别,如使用pytesseract、paddleocr等。(2)使用SVM支持向量机进行车牌字符识别。(3)使用深度学习神经网络CNN进行车牌字符识别。importcv2importimutilsimportnumpyasnpimportpytesseractpytesseract.pytesseract.tesseract_cmd=r'C:\ProgramFiles(x86)\Tesseract-OCR\tesseract.exe'

img=cv2.imread('D:/pics/chepai7.jpg',cv2.IMREAD_COLOR)img=cv2.resize(img,(600,400))

gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)gray=cv2.bilateralFilter(gray,13,15,15)

edged=cv2.Canny(gray,30,200)contours=cv2.findContours(edged.copy(),cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)contours=imutils.grab_contours(contours)contours=sorted(co

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论