【《某基于深度学习的车牌识别系统的应用案例分析》5600字】

第第页某基于深度学习的车牌识别系统的应用案例分析目录TOC\o"1-3"\h\u10154某基于深度学习的车牌识别系统的应用案例分析 1153721基于深度学习的车牌识别系统总体设计 1250871.1系统总体架构 1286851.2系统流程设计 227191.3车牌检测模块 3244191.4车牌颜色分类模块 4234531.5车牌字符的识别模块 6326571.6本章小结 7289872系统实现及应用效果分析 7198032.1系统的实现 721982.1.1关键模块的实现 7325762.2系统整体效果分析 973272.2.1普通环境下的系统实验 943822.2.2复杂情况下的系统实验 101基于深度学习的车牌识别系统总体设计1.1系统总体架构车牌识别系统是主要结合深度学习技术，采用经过训练调优的车牌检测网络，模型和车牌字符识别网络模型来实现车牌识别系统中的两大功能即车牌区域的检测和字符识别功能，系统能够在多种环境下拍摄的图片中准确的检测出车牌区域并且在该区域中精确识别车牌颜色和车牌字符。系统架构设计如图4-1。业务层车牌检测模块车牌颜色分类模块字符识别模块数据加载层数据集文件加载检测网络模块加载颜色分类模型加载识别网络模型加载任务调度层开发平台GUI应用程序工具包Opencv视觉库深度学习框架图4-1系统架构图Figure4-1Systemarchitecturediagram以上系统架构图中主要包括开发平台、数据加载、任务调度、业务功能等几大关键模块，下面将对各个模块进行阐述：（1）开发平台，采用PyQt应用程序工具包用来开发GUI程序，它是Python编程语言和Qt库结合的工具包，提供了众多类和函数满足用户的开发。QtCore模块实现数据加载层的数据集和网络文件的加载以及可利用该模块所包含的线程类实现任务调度，采用QtGUI模块来绘制系统界面。Opencv视觉库提供可跨多个平台的中高层API，同时支持Python编程语言的开发，可在Linux操作系统上开发，库中所提供的方法可以实现系统中对图像的二值化等处理以及计算机视觉等方面的功能。通过上文的分析和总结，现选择Tensorflow框架作为深度学习开发框架，该工具架构很清晰，还有多种优化算法，开发中可以很快的选取合适的算法进行训练网络，并且还可以提供图像化工具，能快速了解网络训练时各个参数的变化情况。（2）数据加载层，从测试数据集所在文件夹中加载待检测的图片路径、图片文件名等信息，加载车牌检测网络、颜色分类网络、字符识别网络模型的图结构和权重参数信息。（3）任务调度层，利用Qt中提供的QThread类创建线程，在后台中处理业务层比较消耗时间的操作，以便及时响应用户的请求，提高用户体验度。（4）业务层，主要包括车牌检测模块、车牌颜色分类模块、车牌字符识别模块。车牌检测模块主要目的是从获取到的图片路径信息中读取数据，利用Opencv库中图片解码功能转为图像格式，调用检测网络模型和检测方法得到车牌区域。车牌颜色分类模块是将车牌区域输入颜色分类模型中获取到车牌颜色所属类别。字符识别模块是在得到车牌所在区域的基础上进行倾斜校正，然后再对图像进行端到端的识别来获得字符识别的结果。1.2系统流程设计本文将车牌检测方法和车牌字符识别进行了改进优化。把改进后的方法运用在该系统中，提高了系统的准确率和识别速度。以系统的总体架构图设计出系统的主要工作流程，包括车牌区域粗定位、颜色分类、边界精确定位、字符识别等关键部分。（1用PyQt提供的UI界面QtDesigner绘制系统界面，工具使用方法简单快捷，可随时查看界面的效果图；（2）加载待测试的车牌图片数据集，获取图片所在目录路径等信息；（3）车牌检测类中加载检测网络的图结构和参数文件，运用本模型进行车牌监测，没有检测到车牌区域或检测到扩展部分，应该用边缘检测算子等方法对车牌区域的边界定位；（4）车牌颜色分类中加载颜色识别网络的模型文件，检测出的车牌区域主要颜色类别，将得到的RGB色彩转换为更符合人眼观察的色彩模式HSV色彩空间，根据色调H、饱和度S、明度V三个分量的值确定所属颜色类别；（5）车牌字符识别类中先基于倾斜校正算法对车牌区域进行校正，然后通过加载的字符识别网络模型端到端识别车牌字符并得出。1.3车牌检测模块车牌检测模块主要分为网络检测车牌区域、精确定位车牌边界两部分。先对图像进行大致的车牌区域检测获得车牌区域，但为降低车牌检测模块的错误率，另外增加了一个精确定位车牌边界的方法，该处理过程可以确保车牌图像完整性和有效性，精确定位边界的操作流程如图4-3。图4-3车牌精确定位流程示意图Figure4-3Asketchmapofthelicenseplateprecisepositioningprocess该模块主要步骤为：扩展经过网络模型检测到的车牌区域，接着设定多个参数将该区域进行自适应二值化操作，经过以上步骤处理后对图像进行连通域分析找出满足字符长宽比的轮廓。将矩形框的角点画出，采用随机抽样一致算法拟合矩形框的角点，得到的两条直线判定为车牌的上下边界，最后将该区域剪切出。在此基础上使用Sobel算子找到车牌的垂直边缘，该算子通常应用在边界检测中。它由维度为3×3的横纵向矩阵组成，该矩阵通过与图像进行卷积操作得到横纵向亮度差分近似值用于检测图像边缘。检测图像的边缘计算具体过程如公式（4-1）所示，将图像A和横纵向矩阵即Gx，Gy相乘可得到水平和垂直方向上边缘检测的图像，使用公式（4-2）可计算计算出梯度方向。Gx=−10+14-1θ=4-21.4车牌颜色分类模块在车牌检测功能完成之后接着进行对车牌颜色的分类处理，针对现使用的各类车牌进行颜色分类，具体颜色包括：蓝色、黄色、黑色以及白色。该功能主要处理步骤分为两步，获取车牌颜色，然后进行颜色空间转换判断该成分所属类别。K-means算法是一种典型的无监督学习算法，按照相似性准则将样本划分到多个子集中，使得在相同集合中各样本差别最小，而在不同集合中样本差别最大。将图像中的RGB值划分成两个色彩类别，在两个色彩类别中获得主要成分色彩，通过后期判断主成分色彩空间所属的色彩分类，即可得出车牌背景色彩分类。由于RGB色彩模型的三个组成成分高度相关，因此相同色彩属性的RBG值在不同的环境条件下表现较为分散，在需要识别特定色彩时该色彩模型并不适用。而且考虑到车牌图像容易受到一些外界环境的影响比如：光线；天气状况等，因此RGB色彩空间不利于车牌颜色的识别。HSV模型是由三个参数构成的一种由RGB立体化而来的色彩空间，其中色调H表示色彩信息、饱和度S表示色彩靠近光谱色的程度、明度V表示颜色明亮的程度。HSV空间更符合人类对于色彩的识别方式。在上述步骤中获得RGB值后选取主要成分色彩，由公式（4-3）计算可将RGB色彩空间转到HSV色彩空间。H=S=V=4-3其中max为RGB色彩模型的分量R、G、B中的最大值，min为该模型中的分量最小值。为了能够方便划分车牌颜色各个分量的范围，在得到HSV色彩空间的三个分量后，对各个值进行归一化处理，依据表4-1中的HSV色彩空间分量范围即可判断出主成分色彩空间所属的色彩分类，从而得到该车牌的颜色。蓝黄白黑H{0.6,0.7}{0.14,0.2}{0,1}{0,1}S{0.17,1}{0.17,1}{0,0.12}{0,1}V{0.18,1}{0.18,1}{0.87,1}{0,0.18}表4-1HSV色彩空间分量范围表Table4-1HSVcolorspacecomponentrangetable1.5车牌字符的识别模块完成车牌检测和车牌颜色分类之后，最后是识别车牌的字符。在车牌字符识别之前，通过图像的倾斜校正处理，提高车牌的识别率和识别速度。主要采用的倾斜校正方法有旋转投影法、Hough变换法、Radon变换法、主元分析倾斜校正方法等。不过以上方法各有不足，旋转投影法要将图像旋转在一定角度范围内进行，分析投影值大小的方差分布最终确定最优的识别角度，旋转投影法运算量比较大；Hough变换法提前获取车牌的边框参数，然后进行后面的校正过程，如果车牌边框参数有变化，对最终校正效果也有很大的影响；Radon变换法则是求取图像的水平、垂直两个方向上的线性积分，比较水平、垂直两个方向上的线性积分用剪切变换来对图像校正，图像中的噪声影响校正效果；计算图像的主元分量和变换矩阵是主元分析法的常用方法，对变换矩阵来特征矢量分析，把原始坐标旋转到主元方向来进行图像校正，畸变图像校正不常用，因为主元分析法对图像的二值化处理要求苛刻。我对车牌的图像进行倾斜校正是基于方向场的倾斜校正算法。基于方向场的倾斜校正算法的步骤如下:用Sobel水平算子来处理图像，把图像拆分成互不重叠的图像块，公式（4-5）计算每个图像块的中心像素点(i1，j1)的方向O(i2，j2)。04-5其中，[Gx，Gy]表示x，y方向上的梯度。经过转化方向弧度值和对频数直方图的统计，得出图像块的水平倾斜的角度α。根据图像块的水平倾斜角度α和原始图的坐标像素点(X0，Y0)由旋转公式（4-6）得出图像块经过旋转的坐标像素点，达到车牌图像在水平方向上的倾斜校正。双线性插值算法对图像进行运算，车牌的竖直倾斜变形校正用投影法。x=4-6车牌图像校正完成之后开始车牌图像字符识别，我国车牌的规定车牌固定的长度是7个字符，用多标签分类的方法来分成多个标签。在本系统中字符的识别类加载已完成的字符识别模型，输入车牌的图像，可直接输出车牌字符的结果。区别于常用的先进行字符分割后再进行单个字符的识别的方法，本文中实现了端到端的识别字符方法，步骤简单，避免了在一些复杂的自然情况下，车牌字符的分割、识别难的情况。1.6本章小结本章对我国车牌字符识别的问题研究，介绍了该网络结构各层设计，通过实验结果设置合理的参数。通过对样本的数据集进行添加仿射置换、噪声等操作人为生成有复杂类型的车牌图像，网络结构采用多个连续卷积层进行卷积来提取更多车牌图像特征，有效提高了车牌字符识别的识别率，采用多标签分类的方法优化了传统的识别方法中字符分割处理的步骤，该识别方法操作简单行之有效。2系统实现及应用效果分析2.1系统的实现我通过基于SSD的车牌检测方法的研究，构建了相应的网络框架，然后制作的车牌检测PASCALVOC的数据集和车牌字符的数据集输入到对应的网络中进一步训练和测试，得到车牌检测和字符识别网络模型。本章将依照系统总体设计方案，在实际系统采用车牌检测和字符识别两个网络模型，完成基于深度学习的车牌识别系统，来高效的完成检测车牌区域和识别车牌字符。2.1.1关键模块的实现主控程序和车牌识别模块为系统主要构成，主控程序分为三个部分，1、界面绘制模块：系统初始化系统界面，系统界面设计简洁用户操作简单，方便交互，2、数据集目录加载模块：用户通过界面交互来选择待测试数据集的所在目录，系统直接从用户选择目录中获取待测试数据集信息用于车牌检测和识别，3、线程调度模块：增加多线程提高系统的处理能力。车牌的识别模块中主要分三部分1、车牌的检测模块：预先加载车牌的检测网络模型例如车牌图结构、参数值等，下一步将待检测的车牌图像数据集输入到车牌的检测网络，返回检测结果；2、车牌的背景颜色分类模块：加载颜色的分类模型判断车牌的颜色；3、车牌的字符识别模块：先对车牌图像进行倾斜校正处理，通过字符的识别程序进行端到端的车牌字符识别。系统的模块框架如图5-1。系统主控程序界面绘制模块系统主控程序界面绘制模块数据集目录加载模块线程调度模块车牌监测网络车牌监测网络文件字符识别模型文件字符识别程序车牌倾斜校正程序车牌检测程序车牌边界监测程序车牌颜色分配程序字符识别模型文件字符识别程序车牌倾斜校正程序车牌检测程序车牌边界监测程序车牌颜色分配程序颜色分类模型文件颜色分类模型文件图5-1系统模块框架Figure5-1Systemmoduleframework根据上述的系统模块框架依次创建了6个类即DrawUIClass、SysThreadClass、PlateRecognizeClass、PlateDetectClass、ColorClassifyClass、CharacterRecognitionClass。1、DrawUIClass：负责系统界面的初始化，待测数据集文件加载；2、SysThreadClass：继承QThread类，获取数据集列表重写run()方法调用车牌识别的方法；3、PlateRecognizeClass：负责车牌的检测方法、颜色的分类方法、字符的识别方法，传递各类间的参数；4、PlateDetectClass：负责网络模型的图结构和参数文件的getDetectModel()方法，networkDetect()方法车牌区域的检测，findHboundary()，随机抽样一致算法获得区域的上下边界，findVboundary()，做Sobel算子垂直边界，判断车牌的精确边界；5、ColorClassifyClass：加载颜色识别网络模型文件的getClassifyModel()方法，车牌的区域颜色的识别的colorCategory()方法；6、CharacterRecognitionClass：使用倾斜校正算法对车牌区域进行校正的tiltcorrect()方法，加载字符识别网络模型的getRecModel()方法，进行字符识别操作的characterRec()方法。2.2系统整体效果分析车牌的识别系统界面分为1、图片的列表区，2、车牌的图像展示区，3、车牌的检测和字符的识别结果展示区构成，系统界面如图5-3。系统的左侧是图片列表区，该区域显示从待测数据集文件夹中得到的图片文件名和经过系统检测和识别后的车牌的颜色、车牌的字符识别结果与识别的置信度，用户可以通过选择文件路径按钮加载待测数据集的所在文件目录，将该文件目录下的车牌图像信息在文件列表中列出，点击检测按钮后系统开始对车牌图像识别，在对应的文件名后显示车牌图像的识别结果，包括车牌颜色、字符识别结果、字符识别de置信度。系统的右侧上半部分是车牌的图像展示区，用红色框标识展示经过该系统检测后的车牌区域以及车牌的颜色、车牌的字符识别结果，直观的看到系统识别后的结果。针对单张图片的具体识别信息展示区在系统的右侧下半部分，呈现当前车牌图像文件名、车牌图像字符识