【《利用视频多帧序列信息提升车牌识别率的分析》2300字】

利用视频多帧序列信息提升车牌识别率的分析目录TOC\o"1-3"\h\u5105利用视频多帧序列信息提升车牌识别率的分析 1214321.1基于视频序列信息的车牌识别 1100791.2移动视频中车牌序列的构建 154131.3视频多帧序列信息的融合统计 3277961.4实验与分析 61.1基于视频序列信息的车牌识别我提出的方法主要分为三个步骤，首先是对移动视频中的车牌进行定位和跟踪，对视频中的一个车牌进行图片序列的构建，用于后续的字符识别工作；然后在字符识别阶段，运用前文的基于循环神经网络和门控循环单元的识别模型对车牌图片序列进行免字符分割的端到端的识别；最后一步就是利用车牌图片的清晰度指标对分类结果进行统计，得到最终的字符识别结果。图1.1基于视频序列信息的车牌识别1.2移动视频中车牌序列的构建根据图1.1所示的流程图，对移动视频中的车牌信息进行融合统计的第一步就是车牌图片序列的构建，该程式通过基于YOLO的车牌定位算法从移动视频中提取不同的车牌帧图片构建序列。由于大多数视频的格式都是每秒24帧，所以这里我使用OpenCV对移动视频进行每秒截取24次，每次间隔1/24秒的方法，得到一系列包含车牌的图像，然后对这些图片进行车牌的定位，得到截取后的车牌图片；再通过判断连续两次截取的车牌图片中，定位识别的车牌中心区域偏移小于一定的阈值，将这两次截取的车牌判定为同一块车牌的连续序列，从而实现对整个移动视频中的车牌完成序列图片的构建。图1.2构建好的车牌序列实例1图1.3构建好的车牌序列实例2通过观察得到的车牌图片序列，我们可以发现部分车牌由于偏移角度过大或视频录制时移动过快导致的视频模糊，定位截取的图片中包含的数据有着较为明显的差异，可能会造成在一些较易混淆的字符识别（如“B”和“8”、“D”和“0”）时无法达到高准确率，所以需要对这些车牌序列进行融合数据统计以达到更好的识别效果。

1.3视频多帧序列信息的融合统计根据图1.1所示的流程图，在构建车牌图片序列后，利用本文第三章的基于RNN和GRU的字符识别模型进行识别，针对每一个车牌序列图片的识别结果，这一节提出了几种不同的统计序列信息的策略，进行比较后以达到更好的车牌字符识别效果。在基于循环神经网络和门控循环单元的车牌字符识别模型中，对每个字符的识别是通过得到Softmax概率矩阵，判定得到相应的分类结果。下图展示的是识别模型对车牌x第二位仅包含英文大写字母的字符计算输出结果过程中的Softmax示例。图1.4Softmax结果示例由此得知，当输入为车牌x时，对第二位字符的分类结果如下公式所示，其中1到k为该字符分类待定的k种结果，第二位字符在只有大写英文字母时k取26。根据此可以得到每张车牌图片的分类结果，即取当前输出中概率最大值作为对应字符的分类结果。Pz=基于车牌中七个字符的Softmax矩阵分类情况，本课题提出了三种融合多帧序列信息的方法，充分利用视频中的车牌序列信息，比较出识别率更高的策略方法，从而提高车牌识别的准确率。下面以N张车牌图片构成的序列Q为例，通过不同的融合序列新的方法，可以得到识别准确率不同的结果。（1）序列累加方法这种方法是通过对所有车牌图像的预测结果进行矩阵的累加，再取最大值得到的分类结果。对序列Q中的每个图片得到的概率矩阵进行简单的累加计算，用得到的结果矩阵来统计分类结果，通过此方法来预测分类结果的公式如下所示。其中i=1N（2）基于车牌序列图像位置的带权重累加方法在移动视频的拍摄中，大部分视频在录制时都有一个由远到近再消失的过程，所以在车牌刚刚进入图像画面时，往往车牌形变较为明显，车牌可能也只有一部分出现在视频中，导致遮挡的情况较为明显，同时刚进入画面时车牌目标较小可能会出现定位不准确的情况；而序列中部的车牌则可以较好地规避上述问题，此时的车牌变形不明显并且目标较大，适合用于进行定位和检测。所以这个方法引入根据车牌在序列中所处的位置信息变化的权重值U，对于位于序列前期和后期的车牌图片，也就是刚刚进入摄像机视野和即将离开摄像机视野的车牌图片帧给予较低的权重值，对于位于序列中部的车牌图片帧，也就是较为稳定的录制部分给予较大的权重值。根据此方法，对于序列Q中的车牌图片x，得到的分类结果如公式所示。其中Ui（3）基于图形质量得分权重的序列累加方法这个方法基于每张车牌图片质量的好坏来给予不同的权重值，图片质量的好坏我将使用对Softmax概率矩阵中的各项相加来进行评估，即所有分类器预测每个字符的最高概率之和qi1.4实验与分析本节的目的是对上述提出的三种不同的对移动视频中多帧序列信息的利用策略进行识别实验，并分析各个方法的识别准确率，得到最优的策略并采用。我选取了一段执法记录仪拍摄的视频进行测试，通过使用YOLO车牌定位模型对车牌进行分割，一共得到了177张车牌序列图片，然后利用上一节提出的融合统计车牌识别后，得到了一系列Softmax矩阵，对这些概率矩阵进行策略统计，得到的识别精确率如下。表1.1不同序列统计方法的精确度序列统计方法精确率随机取帧76.72%序列累加方法90.61%基于车牌序列图像位置的带权重累加方法92.27%基于图形质量得分权重的序列累加方法91.88%上表给出了不同的融合统计方法处理177张车牌序列得到的最终精确率，可以得知，无论使用哪种方法对视频中的车牌序列进行累加统计，都比随机取帧进行车牌识别的效果要来的更好，后者只能达到76.72%的识