基于视觉感知的多特征融合车辆识别关键技术探析.doc

基于视觉感知的多特征融合车辆识别关键技术探析 DOI1013439ki itscxx03009基于视觉感知的多特征融合车辆识别关键技术探析吴峻(安徽省交通控股集团有限公司，安徽台肥230088)摘要通过研究基于视觉感知的多特征融合车辆识别的关键枝术，时超限、改装等不法车辆进行有效的辨认，及时发现联网收费中逃费漏货现象，有力打击串卡、藏卡等犯罪行为，为解决高速公路逃费现象和多路径识别问题提供有力的技术支持本文主要针对其中的关键技术予以探析以期为相关问题的解决提供新思路关键字视觉感知多特征融合车辆识别本文通过对卒【吐频信息的在线分析，采用车辆外形尺、车脸特征、车标及车牌等多特征融合技术，构建多特征融合模型，通过不同条件下的大样本数据集训练，不断智能地优化和改进模型，实现车辆的精准i只别和对通行在高速路口上的车辆进行入口和出口的自动比对。 将通常意义上的车型与高速公路收费车型相结合，对超限、改装等不法车辆进行有效的辨认，为解决高速公路逃费现象和多路径识另q问题提供有力的技术支持，以期及时发现联网收费中的逃费漏费现象有力打击串卡、藏卡等犯罪行为，规范高速公路管理，提升服务水平。 通过信息增值服务，亦可为公安交警提供信息查询对车辆超速、套牌等违法行为处罚提供依据。 一、总体技术方案由于受到IC卡存储空间和算法运行效率的限制，传统的基于图像模板匹配和基于特征点匹配技术在其应用环境下均存在明显缺陷。 基于CSS算法提耳5(的特征容易受到边缘检测结果的影响。 经典的SIFT=f=I SURF算法，虽然相对成熟、稳定，但算法的运算量火且特征描述信息量大。 采用SURFDAISY特征描述子虽然效率提高了，但高维度的描述子对内存要求很高。 把SIFT算法描述子由128维降到32维，降低了特征描述信息量，但准确率不足。 本项目对多特征融合技术、复杂环境下车辆模型的变化和与现有系统集成这三个层次进行深入研究。 第一层次主要是在实验室条件下使用现场采集的视频数据，结合机器学习的方法，完成对车辆外形尺、车标、车牌、车脸等特征的检测与识别；第二层次主耍研究在复杂环境背景下(如雨雾天气、夜晚光照较暗的情况等)，如何增强图像的质量以及图像对比度，以期提高在恶劣环境下多特征融合技术的适用性；第三层次主耍是通过与现有系统(如车牌识别系统、收费系统等)的集成，实现车辆的识别和为计重联网收费提供依据。 通过在实验室的反复试验，融合车辆的外形尺寸、车标、车牌、车脸等多种特征的检测与识别，最后采用改进ORB算法有效降低了特征描述子信息量；匹配策略上使用汉明距离做一次粗匹配，然后采用双向匹配法初步提纯，再使用RANSAC算法，滤除误匹配，同时针对RANSAC算法的不足，提出继续在“内点”集上采用最小二乘法估算最佳的仿射变换矩阵，依据“内点”比例与仿射变换矩阵的参数判定。 有效降低误判率。 最终，将入口车辆特征压缩至不足450字节的空间内，成功实现出入口车辆的特征比对。 经实际应用表明，该方法可准确判断车卡一致性，有效弥补了现有高速公路收费的技术缺陷。 二、关键技术研究 (一)多特征融合车辆识别技术本项目成果由两部分组成，在高速公路入口侧，当车辆进入计算机视觉感知区域，系统将自动获取车辆视频信息，智能选取合适的图像帧及特征区域经过光照补偿、去雾、增强等预处技术 进行外形尺寸测量、车脸特征提取、车标识别等多特征提取，并将获取的多特征进行融合计算，再将融合后的特征值记入车辆通行卡中交由驾驶员随车带往出口。 围I多特征融合车辆识别系统框架图车辆到达出口时，车辆进入计算机视觉感矢口区域，系统将自动获取车辆视频信息，智能选取合适的图像帧及特征区域，经过光照补偿、去雾、增强等预处理后，进行外形尺寸测量、车脸特征提取、车标识别等多特征提取，将获取的多特征进行融合计算，并将该特征侑与随车通行IC卡的特征值进行匹配处理，如发现出口车辆信息与随车通行IC卡的持征值不匹配，则进行报警处置，否则视为正常通行车辆，予以收费放行。 (二)恶劣气候条件下车辆检测抗干扰模型在恶劣天气下受雨、雪、风、霜等的影响，高速公路外场视频采集过程中，监控视频质量急剧下降，尤其是雾霾天气下，视频图像的清晰度和对比度下降程度明显，高清化的视频监测手段难以达到预期的监测效果。 而在雨、雪天气下，雨线、雪块充斥于监视画面中，监控范围的视频画面受雨、雪反光影响，局部过亮和模糊情况十分严重。 视频作为目前高速公路远程监控的主耍手段，画面的清晰度将直接影响高速公路运营管理和服务水平。 本项目课题组基于传统的MSR算法，对原有卷积函数增加了自适应性滤波嚣进行判断处理即在一定范围内，采用同态滤波，否则使用备向异态滤波器，同时用SDMSR算法中可变自适应权重因子取代常数权重因子，改善图像效果，这样能够很好地达到去雾和增强图像整体效果的目的。 -原图MSR效果本项目效果图2基于MsR的车辆检测抗干扰效果比对图本项目针对雨雾天气引起的图像降质，改进了MSR算法，提高图像对比度，达到去除雨雾的效果；采用卡尔曼滤波算法，去除视频图像中的雨滴，提高图像的视觉效果。 (三)基于图像的车辆外观特征感知技术为解决高速公路监控尤其是收费监控中的车辆识别问题，课题组拟基于高清化车辆图像，从业务需求角度出发，对车辆尺寸参数昕具有的特点，应用大尺寸空间坐标测量方法，结合近年来新兴的数字化视频监测技术，对汽车轮廓尺寸进行测量和分类，并建立对应车辆外观特征模型库。 通过后台大数据分析高速比对，实现对车辆类型的有效识别。 在视频智能分析中应用的主要技术重点包含以下两个方面。 1、摄像机标定技术基于摄像机拍摄的图像后台服务将其转换为对应的三维模型，需要确定空间坐标系中观测点同它在图像平面上成像点之间的对应关系。 视频画面上每一点在三维图像上的位置与空间物体表面对应点位的几何位有关，由摄像机成像三维模型所决定。 在模型设立中，将这些三维模型记录下来，通过实地实验与计算分析来校准。 图3靶标在摄像机坐标系下的空间分布 2、三维重建双目视觉如图4所示，O 1、02分别为摄像机A、B的镜头中心。 对于空间物体任意一点M(X，Y，Z)，确定A摄像机图像上的点与在B摄像机图像上的点是空间同一点M的图像点，灿M点的空间位置可由与两商线的交点唯一确定。 图4双目视觉示意图设A、B摄像机的投影矩阵如下崔矧=订口1r jl=。 d dI L_J北方辅控的可切换的监控管理方案”就会受到影响。 2、保持整个神水泉隧道内监控设备高的完好率是及时发现隧道内事件并能应急响应的前提，然而，由于神水泉隧道内机电设备由两个业主投资建设，两段隧道内机电设备具有不同的产权归属，两省能否及时更换或维护损坏j勺机电设备是降低运营管理风险的一个关键。 3、秋林隧道管理站监控应用软件与河北李村路段管理中心监控应用软件的统一性、可靠性是保证神水泉隧道正常运营的一个关键。 4、山西段高速公路事件报送和应急处理响应机制与河北段高速公路事件报送和应急处理响应机制的差异、与各自省内高速公路交警的协同管理模式的差异也可能是形成隧道运营风险因素之一，这一管理范畴的因素应通过管理手段以及事先商定的意见来处理。 四、管控对策 1、双方监控人员均应实时关注两个隧道管理站之间专用监控光缆的通信状态，做好维护记录，如有故障应及时维护处理。 2、山西侧秋林隧道管理站作为监控主控方，除及时维护本省界内机电设备外，还应及时提醒辅控方监控人员及时更换或维修河北界内发生故障的机电设备，时刻保持较高的设备完好率，反之亦然。 3、应重点对两个隧道管理站内配置的监控应用软件切换功能做多方位、全系统的测试，积极处理软件出现的缺陷，及时优化完善，确保软件能按山西主控河北辅控的思路实现，保证山西方控制权的释放和收回等功能可正常实现。 4、双方可定期就高速公路事件报送和应急处理响应机制进行深层次协商，制定一些需要双方监控人员共同遵守的管理制度，研究完善软件预案，定期组织双方人员对各类事件予以演练，提高双方应急处理事务的熟练度；尤其耍提升“隧道应急处理过程中出现光缆故障或一方软件故障”情况下的处理能力，且应针对此项特殊工况提出具体应对措施。 5、双方在运营中应注意及时总结经验，提升管理能力。 省界隧道的运营管理及风险管控是一个综合_生课题，不仅与系统监控方案的成熟度有关，也与运营管理体制有关，需要在实践中通过摸索来逐步完善。 崔雪薇(上接第106页)根据被测点M在摄像机像面上的坐标以及上述方程，就可以求出点M的世界坐标(X，Y，Z)，实现三维重建。 三、后续研究重难点下一步主要完成对现有算法的优化和与现有系统的集成工作，其中包括 (1)开展更多关于图像处理算法、标定算法、匹配算法及三维重建等内容的研究，前期算法并不是最优的，计算的速度、精度和可靠度有进一步提高的空间； (2)针对车脸识别，为扩大识别范围，需要增加更多的特征信息，而更多的特征信息还需要一个系统的结合方法，设计出更合理的特征向量结构。 而使用简单的最小距离分类器，并未对分类器选择进行过多深入的探讨，应结合车型特征结构选择合适的分类方法； (3)提出的基于MSR的改进算法在浓雾条件下效果不好，需研究更深入的算法，对视频去雾技术进行更全面深入的研究。 因光流法运算效率较低，下一步将结合其他算法，如三I帧差法或者与块匹配法相结合等。 在时空一致性校正的过程中，有大量的数据运算，算法效率较低，无法用于实时陛视频； (4)对于复杂环境下的夜间车辆检测与交通视频昼夜亮度变化模型没有提供一个重要的交通参数车辆类型。 车灯之间的距离不能表征车辆的宽度(大前灯不一定在外侧)，而且无法得到车辆的长度，而基于图像的车辆分类通常需要这两种参数； (5)完成与现有收费系统和车牌识别系统的集成方案设计和软件开发。 系统上线联凋，完成现场测