基于神经网络图像处理智能车牌识别系统

基于神经网络图像处理智能车牌识别系统摘要：本文介绍一个可以安装在收费站的使用车牌照片就可以自动识别车牌信息的智能车牌识别系统。一个可以应用于费用支付控制、停车场、高速公路、桥梁或者隧道等的自动化系统。我们考虑过这样一种方法，通过利用图像融合、神经网络、阈值技术以及一些实验结果来成功识别车辆牌照，从而达到识别车辆的目的。 关键词：安防 车牌识别 人工智能1.介绍 汽车识别的工作可以通过牌照识别来解决。它的应用前景很广，比如入口许可、安防、停车控制、机场或港湾货物控制、道路交通控制、限速等。该领域的相关商业软件也已经开发。然而，当所提供的车辆照片风格和格式不适合该方法时，便无法识别牌照信息1-3。结合以下两种方法可以克服上述缺点：(i)从源图像流检测和提取车牌图像区域(ii)车牌的字符识别。边缘检测、阈值转换、重采样等图像处理技术可用于定位车牌和分割字符，处理模型可以使用神经网络，这种技术被成功地应用于汽车牌照的识别。如果一个车牌被准确地识别，该车辆的信息就可从各种数据库获得。一旦信息表明该车辆有疑点，就可以采取适当的措施。该车牌识别算法步骤如下：(i)捕获汽车的照片；(ii)提高图像画面的清晰度；(iii)提取图像中的牌照区域；(iv)从牌照图片提取字符；(v)识别牌照字符和车辆信息。2.去模糊技术和图像融合图像的获取：我们研究由数码相机采集的8位灰度图像，并将它传送到计算机上。图像由像素的矩阵构成。为获得更好的图像进行进一步的处理，我们应该进行视频流的接收，包括在同一时间用不同的焦距所捕获的一些画面。去模糊的图像帧：我们考虑这样一个情景，场景中有两个或多个物体，而且它们与相机的距离各不相同。如果使用便宜的相机难以使照片中的各个物体都充分地聚焦。也就是说，获得的图像里，每个物体都很清晰是很难的。如果一个物体充分聚焦了，另一个则不然。尽管如此，通过应用多聚焦的图像融合技术，也是有可能提高那些对象焦点分散的图片质量的。图像融合指，通过两个或多个相机拍摄的照片的融合，产生一个新的增强的图像的图像处理技术4。融合后的图像更适合作后续的图像处理，如图像分割、特征提取和对象识别。最简单的图像融合方法只需要对原始图像逐个像素取灰度值的平均值。然而，这种方法容易导致图像减小对比度类似的负面影响。多尺度转换的各种方法被用来来解决这个问题。最基本的办法是对每张源图像进行多分辨率分解，然后对其进行重新组合，最后通过一个逆多分辨率转换，重构融合的图像。这种方法的例子有拉普拉斯金字塔融合算法5，梯度金字塔6，低通比率金字塔7，形态学金字塔8以及小波变换4, 9, 10。我们提出了基于平均对比频率的图像融合方法，这种方法计算简单，可以应用于实时程序。图像融合：图像融合的主要目的是尽可能接收更多的清晰的图像，在图像捕获过程要考虑不同天气状况、车辆移动和噪声影响。图像融合算法包括以下步骤：1. 从源图像中创建灰度值为的的图像模板。这种模板由水平和垂直方向的两张图像转换而成。2. 计算模板每个位置的平均对比频率值。是模板第m行n列像素对应的颜色值；M，N代表模板的大小。模板频率是为这两幅模糊图像而计算的。3.通过阈值过程为变清晰了的图像创建每一个像素：是位于模板中心的像素，这模板是之前通过源图像融合获得的。为了研究该方法，我们通过使图像分别在逆时针方向以75和90方向上做像素为8的直线运动，使得图像的不同部分进行人为的模糊处理（图1a和图1b）。而这像素的图像模板也被用于图像融合过程。 a) b) c)图1 模糊的图像（a和b），通过图像融合技术得到的结果（c） 阈值转换法：通过定位那些已经拥有汽车牌照的位置，图片里呈现的不同对象就会被建立和标记。那些与这些车牌字符有相似几何特征的将会被选择。我们假定如果被选中的对象的相对位置与汽车牌照相符合，那么可以确定位置找好了。在一个灰度图像中，阈值转换会为阈值T小于等于0和大于1的设定每一个灰度级别5。结果是一幅黑白图像，0代表黑色，1代表白色如图2所示。通过数码相机获得的图像被转化成了黑白二值图像，图像中颜色低于阈值的部分被设为黑色，而高于阈值的部分都设为白色。阈值水平T主要取决于照明条件和源图像明亮的区域。考虑到一些过路收费亭检查点的人工生成的灯光，我们只能实验性地挑选出那些被选择的值。图2 阈值的二值图像3.车牌识别 最困难的任务就是找到车牌，,因为它可能在图片上的任何一个位置上。而如果不同牌照的图像光照度不一样的话，将会使得这项任务变得更加有难度。在车牌识别1,2,3方面已经有过许多的研究。其中有一个研究运用霍夫变换（HT）来分析图像。霍夫变换是一种用来检测二值图像线路的一种方法。通过这种技术，我们有可能以积聚的网格的形式生成线路表。然后对这些网格进行分析，并将列表的水平和垂直的线段进行组合，作为矩形区域的选择集合。通过分析之前获得的线路的长度，就能得到牌照的候选区域1。然而，当图像里的车牌并不是水平定位，以及由于信号干扰或光照不均造成图像中牌照边界线的损坏或缺失的情况下，边界线检测的方法就完全不适用了。而且，霍夫变换本身就是一个比较费时的方法1。 我们的车牌识别系统是通过阈值迭代操作来识别车辆的牌照。为了确定包含牌照信息的图片区域，通过矩阵里每个像素的连通性原理，图片呈现的不同对象就会被找出并标记。然后对被标记的对象进行分析，那些与牌照字符有相似几何特征的对象将会被挑选出来。到目前为止我们用的牌照特征都只局限于高度和宽度，但其他特征，比如外形比例特征，也是可能可以应用的。可以通过以下条件来识别牌照：(i)一个对象的总像素，(ii)对象的高度，(iii)对象的宽度，(iv)在区域里展现的牌照字符。计算出每个对象最大宽度和高度的比例。然后把对象视为一个区域，如果比例范围为0.1到0.25之间，而且如果该对象的总像素数大于2000且小于8000，那么该对象可能包含牌照信息。下一步，根据连通性原理，要将选中的区域进行颠倒和重新编号（重新标记）。之后那些阈值高于白色像素阈值（等于1）的对象区域将会被挑选出来。这阈值显示了一个数字字符的白色像素的最小值。在这之后，计算出在图像区域里选中的对象的牌照信息的数字。如果牌照的每个字符位于位置相邻近的同一块区域，最简单的方法就是用基于静态边缘进行处理，那么这个区域就会被定位为汽车牌照（如图3）。否则，将考虑图像的下一个区域。图3 识别带有车牌号的区域4.车牌字符提取 我们有好几种找出字符边界的方法。其中最简单的方法是运用静态边界，即假设车牌的每一个字符都是位于同一个位置。为实现前一阶段选定的目标，把带有牌照的区域分割为均等的网格，这些网格可能包含字符。这种技术的优点在于图片质量的简化与独立性。而该技术的缺点在于选择区域时的一些背景和车牌移位时的网格划分问题。 我们可以用汇总牌照行和列像素总数的直方图来取代静态的边界11。在这种情况下，我们或许可以排除牌照外的一些背景区域。而波峰和波谷表示牌照的字符。这种方法是非常有用的，因为它只取决于牌照的质量，而与牌照字符的位置无关。但这种技术取决于图像质量。 我们建议用如下通用算法高效地从牌照中提取字符： 1.将上一阶段从所有源图像中获得的带有带有牌照方形区域进行切割，从而加快该算法的执行。 2.利用公式（5）降低阈值区域，从而提高牌照质量。再根据背景和字符像素的比例来确定阈值水平的值。这比例大约为背景占69%（如图4a）。3.反转前一阶段获得的牌照信息色调（如图4b）。a) b)图4 选择牌照 4.将中值滤波器应用于被反转色调的牌照，从而排除模板中的噪音。5.根据连通性原理，要对每个选定的区域重新编号，但要考虑以下必要参数：(i)被重新编号了的选中区域的宽度，(ii) 被重新编号了的选中区域的高度，(iii)选中区域里的白色像素总数(像素选为1)。这些参数要与牌照的宽、高和字符数成相应的比例。如果选定的对象在一些阈值边界上与上述参数并不符合，那么下一个对象将会被拒绝并进行重新编号（如图5a）。6.在每个选定的区域中，以高度和宽度的最大和最小参数值截取字符区域（如图5b）。7.应用双三次插值技术将上一步中获得的字符区域的大小调整为标准的宽度和高度，以便在接下来的识别程序中应用该图像（如图5c）。 a) b) c) 图5 从牌照中提取字符5运用神经网络识别字符 车牌字符的顺序唯一地确定了每辆车。考虑到它们的属性可被视为一种联想记忆，我们提出利用人工神经网络来识别车牌字符。从现有的相关性和统计数据模板技术12来看，利用神经网络具有优势，它可以在存在噪声或车牌字符位置有所变动的情况下维持稳定。字符图像（像素）形成了神经网络的训练集。多层神经网络将用于字符识别13。这神经网络的训练向量由663个元素构成（这也是输入层神经元的数量），它是由以二进制格式表示的车牌字符图像行向量产生的。管理器在训练阶段会设定神经网络中输出神经元的数量。神经网络的每一层都包含矩阵的加权系数W，阈值向量b和向量输出值a（如图6）。神经网络每一层的输出值是由一个开销指数表示出来的，计算过程如下： 图6中的神经网络包括输入，隐层神经元和输出层神经元。每个过渡层的输出量就是下一层的输入量。因此，输出层2也可以被视为一层神经网络输入，神经元，且加权举证为。向量等于2层的输入减去的输出。神经网络的任何一层都用相同的方法计算。带动量项的反向传播梯度下降法和自适应学习速率被用于神经网络训练14。反向传播是用来计算衍生产品性能权重和偏差变量的。每个变量根据带动量的梯度下降法进行调整：dXprev是上一个权重或偏差的变化，lr是学习速率，mc是不变的动量。 图6 神经网络构造在每个时间点上，如果性能朝目标方向降低，那么学习速率会因lr_inc系数而增加。如果性能的增加超过了max_perf_inc系数，那么学习效率将会被调整到lr_dec系数水平上，而造成性能提升的改变也不会发生。当以下情况发生时，培训过程将停止：(i)达到了epochs的最大值，(ii)超过了时间的最大值，(iii)性能已经最小化到目标点，(iv)性能梯度下降到最小梯度以下，(v)自上次减少以来，验证性能已经增长超过max_fail倍。6.实验结果我们运用通过Matlab 6.5软件程序对汽车牌照识别系统进行了研究。在研究过程中，我们将分辨率为像素灰度的富士MX-1700数码相机通过USB串口与电脑连接使用。该相机传递速度达25帧/秒。LPR系统使用的是前馈神经网络。神经网络结构包括一个有366个节点的输入层，一个有50个神经元的隐藏层和一个有46个节点的输出层。每层都包含S型对数转移函数。上面所描述的反向传播梯度下降法与动量和自适应学习速率是用于神经网络的训练。含有字母字符的高质量的图片由神经网络主输出训练。每个神经网络输出显示一个可能被识别的字符。神经网络训练的均方差为0.00001，如图7所示。图7 神经网络的训练过程 为了识别图片的噪声并转移它对字符的影响，采用均匀分布法和不同密度法去除图像上字符的盐椒噪声15。含噪声的字符被送入神经网络并分类。牌照字符识别的分类结果由图8所示。 图8中的第一列表示神经网络训练后识别的牌照字符的理想图片，第二列表示受椒盐噪声影响的由神经网络识别后的字符，第三列表示正确或错误的分类识别的结果。图8 神经网络字符的识别结果为了研究噪声强度和神经网络正确识别车牌字符的相关度，对每个字符图像加上50次同样密度的噪声，并检测其识别的正确率，如图9所示。图9 噪声水平和正确识别字符的关系 从图9可以看到，神经网络在50%噪声密度的背景下，