基于单幅运动模糊图像的车速测量方法研究

基于单幅运动模糊图像的车速测量方法研究陈佳1Chen Jia11.梧州学院 计算机科学系,广西 梧州 543002 1. Department of Computer Science，Wuzhou University, Wuzhou, Guangxi 543002, ChinaVehicle speed detection Based on single motion blurred image.Abstract：In view of vehicle speed detection, how to extract the motion information of the moving target from single motion blurred image is analyzed. Based on the relationship between the local motion blur and transparency, a vehicle speed estimation strategies with improvements based on a single motion blur image is put forward. The defocus blur is separated from the motion blur on the direction of the motion in order to get the motion parameters with more accuracy. An improved interlace-scanning method is used to estimating vehicle speed and judging its accelerated/retarded motion. The result is compared with a detection method based on local motion blur image, proving that our scheme not only skillfully achieving the distance between the target and the camera by the marks on the road, but also comparing the speed with the instantaneous speed. Key words: detection of vehicle speed; motion blur; transparency; defocus blur; interlace-scanning 摘 要：针对车速测量的问题，对利用单幅运动模糊图像提取运动目标的运动信息进行了分析，基于局部运动模糊与透明度之间的关系，对基于单幅运动模糊图像进行车速测量的方法提出改进意见，在模糊尺度估算中从运动方向中分离出散焦模糊对运动模糊的影响，改进隔行扫描的方法去估算车速及车辆的加减速情况。对比现有基于局部运动模糊图像的测速方法，本方法通过人行横道标记巧妙地获取了目标与相机的距离，并将测得的车速和瞬时车速进行对比。关键词：车速测量；运动模糊; 透明度；散焦模糊；隔行扫描文献标识码: A 中图分类号: TP391 1 引言据统计，2011年全国涉及人员伤亡的道路交通事故210812起1，共造成62387人死亡。从事故原因看，超速行驶导致的事故死亡人数占全部死亡人数的14.2%，这个比例还是相当高的。故研究出更方便有效的车速检测方法，对减少因超速引起的交通事故有着重要作用。目前，智能交通系统中常用于车速检测的方法主要有：感应线圈测速、激光测速、雷达测速和视频测速，但这些测速方法都存在着一定的不足2-4。经研究得知，基于计算机视觉的测速具有一定的优势，在车速测量方面大有可为，而现有的计算机视觉测速主要集中在视频测速，从数字图像出发研究测速的相对较少，而基于单幅运动模糊图像进行测速的研究更少。当然也有少数学者做了这方面的研究。在文献4中，作者提出了一种新的车速测量方法，即利用相机在静止不动情况下拍摄的单张运动模糊图像进行车速测量，先用判断运动模糊方向，再根据模糊图像的亮度曲线估算检测模运动糊参数的过程。利用复原图像的方式挑选最清晰的图像从而确定最优的模糊长度，最后利用几何模型、相机位置和模糊长度等参数计算出运动目标的速度。在文献5中，作者分析了文献4中提出的基于单张运动模糊图像的车速测量方法，指出用扫描线方法估算模糊长度和车速估算方面的不足，并提出了弥补这些不足的改进方法，即用抠图的方法来消除散焦模糊对运动模糊在计算中的干扰，使模糊长度的计算更加准确，并提出了基于隔行扫描运动模糊图像的方法，即隔行扫描模糊图像得到奇数行和偶数行图像并通过扩展获取两幅运动图像，再分别根据两个模糊参数去判断车辆在成像时间内是否有加速或减速的情况。本文就从研究单幅运动模糊图像的透明度入手，去估算运动模糊图像的运动参数，再结合各环境参数去实现车速测量。重点研究文献4和5的内容，分析现有车速测量中的问题，并尝试对存在的问题进行改进，提出一个有所改进的车速测量方法。2基于运动模糊的车速测量基础这里简要介绍车速测量模型和估算公式，详细推导过程请见文献4。1.通用模型三维空间中，车辆的运动平面与成像平面成任意夹角的情况，如图1所示。图1 车辆运动平面与成像平面成任意夹角的通用模型图2 通用模型成像平面上的夹角情况图1中，z代表焦距和目标的距离；K是模糊长度，f是焦距；为车辆运动平面与成像平面的夹角。成像平面上的夹角情况如图2所示，用表示运动方向与成像平面上水平方向x轴的夹角。基于针孔成像的原理和物像对应关系，再结合图1和2分别在三维空间的模型和成像平面上的夹角情况，得到车速估算公式： （1）式（1）中，SX是CCD的像素尺寸，T是曝光时间，还有焦距f都是跟相机有关的参数。如果在三维空间里，车辆的运动平面与成像平面平行，即=0，则式（1）可以简化为： （2）2.特殊角度模型特殊情况下，车辆的运动平面与成像平面平行，且成像平面上运动方向与成像平面的水平方向x轴平行。三维空间中，车辆运动平面与成像平面平行如图3所示。图3 车辆运动平面与成像平面平行的特殊模型同时，运动方向与成像平面上水平方向x轴也平行，如图4所示。图4 特殊模型成像平面上的夹角情况在这个特殊模型中，式（1）中包含的两个夹角和都为0，那么车速估算公式（2）可进一步简化为： （3）式（3）中，T、f和SX都可以由相机参数直接得到，只要测量出目标与相机的距离z和图像的模糊长度K就可以计算出车速。从车速测量通用模型得到的公式（1）和（2）可知，T、f和SX都是跟成像系统有关，由相机参数可以直接得到，车速计算的关键在于z、和K的获取。其中，是固定图像采集设备的角度时获得，z的获取需要依赖环境，有的文献直接将z作为已知条件，而最关键的是和K都要从图像中进行分析获得，本文将用自己的方法获取K和z，的获取则借用现有的图像分析方法。3 运动模糊车速测量的不足从文献4和5可知，基于单幅运动模糊图像进行车速测量是可行的，但是方法上还需要进一步改进和完善。尽管针对文献4的不足，文献5采取抠图的方法实现了一些改进，但我发现整个估算的方案也有需要改进的地方，主要在于模糊尺度估算不准确，体现在如何分离散焦模糊和运动模糊，以及判断车辆在成像时间内的变速情况以及获取所需环境参数等方面。3.1 分离运动模糊和散焦模糊的不足在现实环境中拍摄的图像经常会同时出现运动模糊和散焦模糊，而有些文献在分析运动模糊时往往会忽略同时存在的散焦模糊，这样就会导致估算运动模糊参数时受到散焦模糊的影响而引入误差。在这个问题上，文献5提出了自己的改进方法，主要过程为：把原始透明图以步长值0.5按逆时针方向在区间0,90内旋转，通过公式计算模糊函数的宽度和高度，再通过最小二乘法曲线拟合算法用计算得到一个精确的角度。再将透明图旋转到那个精确的角度，从而得到精确的模糊函数的宽度和高度以得到精确的K值。该方法的详细过程请参考文献5。分析这种改进方法，其分离散焦模糊的过程过于繁琐，增加了算法的复杂度和计算量，故我不打算借鉴这种方法。3.2 判断车速变化的不足现在很多文献在目标速度估算中都假设目标在成像时间内做匀速直线运动，故运算得到的只是目标在成像时间内的平均速度。而实际上，目标完全可能在成像时间内做加速或减速运动。在这个问题上，文献5进行了相应的研究，其提出的改进方法是，从隔行扫描CCD图像中分别提取出奇数行和偶数行区域图像，再使用邻近值或双线性差值等插值算法分别把奇数行区域和偶数行区域进行扩展，得到两幅新的扩展图像，然后分别求出这两幅图像对应的两个模糊长度K值，进而计算得到两个速度值，最后根据速度差及产生的时间差，就可以计算出目标的匀加速情况，还可以通过计算模糊长度的差值，来定性的判断目标是加速运动和减速运动。分析这种改进方法，我发现其中存在两处误差的引入：第一，在分别取出奇数行和偶数行区域图像后，其通过插值算法对原有的奇数行和偶数行区域进行扩展以得到两幅新的扩展图像，这个插值生成新图像的过程可能存在误差的引入；再者，得到两幅新的扩展图像后，分别对它们进行模糊参数的估计也可能存在误差引入，因为需要对这两幅图像分别抠图得到两幅透明图，而两个抠图过程也可能引入不同程度的误差。因此，我个人觉得这样获取得到的两个模糊参数值也会影响到模糊参数的估算，而无法准确地判断车速的变化情况。4车速测量方法尝试的改进经过上述分析，本节将提出本文所使用的车速测量方法，尝试改进方法中的不足。主要思路是：借鉴现有的车速测量模型和车速估算公式，再借助环境参数计算车速；同时，为使得的车速更准确，借助透明图从模糊尺度中分离散焦模糊，并采用改进隔行扫描透明图的方法，获取车辆两个时刻的车速从而判断其加减速的情况。为了使计算过程简单一些，我在采集数据时，固定相机的角度使车辆的运动平面与成像平面平行，即使为0，则本文的车速估算公式就简化为式（2）。三个未知参数z、和K中，的获取我借鉴了现有文献中对局部运动模糊图像中的运动方向鉴别的方法；而本文研究的重点放在如何尽可能准确地获取K和z。4.1 模糊长度的估算模糊长度K的获取是车速测量中的重点。文献7提出的从图像中像素透明度去估算模糊参数的方法较为新颖，且验证了其可行性，因此我决定也从透明度的观点去获取运动模糊参数，即借用现有的closed-form matting抠图8方法去生成运动模糊图像的透明图，再从得到的掩像值中去估计模糊参数。虽然这个思路不算新，但是我针对上述车速测量中的不足在参数获取的处理过程中尝试了自己的改进。4.1.1分离散焦模糊和运动模糊的改进针对散焦模糊与运动模糊同时发生的情况，我尝试了自己的分离方法：由于运动方向可以判定，在透明图中垂直于运动方向上的模糊主要是由散焦模糊引起的，那么计算出垂直方向上仅由散焦模糊造成的模糊尺度,就可以得到散焦模糊的半径R，再从运动方向上的模糊参数中减去散焦模糊半径，从而达到从运动模糊中分离散焦模糊的目的。由于本实验编写的程序是从水平方向上计算模糊长度，所以在计算某一方向上的模糊长度时需要将该方向旋转到水平方向。具体方法就是对运动方向为水平的图像对应的透明图进行拷贝，并将拷贝后的一幅透明图顺时针旋转90,计算出垂直于运动方向上由散焦模糊造成的模糊尺度，即散焦模糊半径；再计算另一幅透明图水平方向上的模糊长度，再从水平方向上的模糊长度中减去已获取的散焦模糊半径，即得到仅由运动模糊产生的模糊长度。4.1.2隔行扫描判断车速变化的改进针对文献5中车速变化判断不精确的问题，本文提出一种改进方法，将隔行扫描相机生成的CCD图像抠图得到透明图，并对该透明图进行隔行扫描，分别获取同一透明图的奇场透明图和偶场透明图，再分别从奇场透明图中的奇数行中计算得到奇数行对应的模糊长度，从偶场透明图中的偶数行中计算得到偶数行模糊长度。从而，对比这两个模糊长度的差值，判断车辆的加速或减速情况。这个方法既不需要重新生成新图像而引入误差，也避免了两次抠图带来不同程度的误差。4.1.3分离车轮部分的旋转运动模糊由于车身的运动模糊和车轮部分旋转引起的模糊不同，所以在得到运动模糊图像的透明图以后，我先分离了车轮部分图像，以减少这个部分对模糊长度计算的影响。42焦距和目标的距离z的获取获取了模糊长度K后，还需要获取焦距和目标的距离z才能估算出车速。对于获取这个环境参数，现有的方法都不是很好。文献6把这个参数当成已知条件来计算车速。另外一些文献尝试通过设定专门的标志或车牌的成像大小变化来计算这个距离。经过再三考虑和仔细观察，我发现公路上的人行横道标志线可以被利用起来，该标记线都有固定的间隔和宽度，那么固定相机和人行横道标记之间的距离后，依据图像上车辆在人行横道标记上的位置来计算焦距和目标的距离就是可行的。故本文拍摄的实验图像都是在人行横道处拍摄的，就是为获取焦距和目标之间的距离z这个参数，如图5所示。5 实验测试和结果对比在实验中，采集图像用SONY公司的单反数码相机 DSLR-A290，CCD尺寸：23.515.7mm，影像尺寸为：22881520，像素大小为10.27m10.32m，镜头焦距为18 mm。为获取车辆与相机之间的距离，特选定在标记明显的人行横道位置拍摄图像。固定相机的角度使车辆的运动平面与成像平面平行。据测量，第一组图像数据的快门速度均设定为1/100s；采集该图像数据时，车辆和相机焦距的距离是8.1m。算法测试硬件平台为Intel Core(TM)2、主频2.2 GHz CPU、2 G内存的笔记本电脑，编译环境为Matlab 7.1。5.1 实验主要过程及图片1.抠图得到透明图采集到的原始图像1如图5所示。为了减少计算量，由上至下进行裁剪，保留中心区域图像进行处理，经运动方向鉴别后，图像的运动方向与成像平面的夹角为2，旋转图像使运动方向为水平，并通过抠图技术得到透明图，如图6所示。图5 原始图像1图6 透明图2.裁剪车轮部分图像由于车轮的旋转模糊和车身的水平运动模糊不同，故裁剪车轮部分，得到裁剪后透明图。3估计散焦模糊尺度拷贝经过裁剪的透明图2，旋转90，从车身较平坦的区域截取两个子图，统计垂直于运动方向上对应模糊像素数量，并取平均值得到散焦模糊的模糊半径R。4隔行扫描透明图对裁剪后透明图进行隔行扫描，得到图像对应的奇场透明图和偶场透明图。5截取子图估计运动模糊参数从裁剪后透明图、及其奇场透明图和偶场透明图中截取相同位置的子图估算运动模糊参数。52 实验结果为了减小模糊长度获取的误差，本文的实验都经过7次抠图获取相关的模糊长度。5.2.1 车速测量结果图像1中子图1_1和1_2对应7次抠图所得的散焦模糊尺度如表1。图像1中子图1和子图2对应7次抠图所得透明图的模糊长度如表2。根据车速计算公式（2），结合相机参数、环境参数和散焦模糊尺度计算车速，结果如表3。5.2.2 车速变化判断在车速变化判断方面，经7次抠图得到同一幅图像的7幅透明图，再通过隔行扫描得到每幅透明图对应的图奇场和偶场透明图，分别统计其子图中奇场和偶场的模糊长度，获得的奇偶场模糊长度如表4。通过表4的数据分析，通过隔行扫描透明图得到奇场透明图和偶场透明图，再分别取估计其模糊长度的方法，可以较好地判断车辆在成像时间内是加速还是减速，进而还可以求出其加速度。5. 3 实验结果分析 通过以上实验数据计算误差率可知，本文的实验结果误差率在8%以内，对照文献6的实验结果，其方法测得的速度与实际平均速度的误差小于7%。虽然我的实验结果误差略大一点，但是我的方法还是有以下优势：1. 文献6的误差判断是把测得的速度和平均速度相比，而本文的方法则是将测得的车速和辅助记录的瞬时车速进行对比。 2. 本文的方法通过隔行扫描透明图，可以判断车辆在成像时间内是加速还是减速，进而还可以求出加速度。3.文献6的计算中把目标与相机的距离作为已知，这一点在实际应用中受到局限。而本文的方法通过人行横道标记巧妙地获得了这个距离；6 结束语综上所述，本文对基于单幅运动模糊图像的车速测量方法的改进主要体现在：用隔行扫描判断车速变化情况、分离散焦模糊和分离车轮的旋转模糊等，并灵活地获取了目标与相机之间的距离。实验结果的误差率在8%以下，证明该方法还是具有一定的可行性，误差还比较大，虽然通过多次抠图可以一定程度减小误差，但是还存在一些需要改进的方面，例如，尝试使用采样和传播相结合的鲁棒抠图算法9来完成抠图，从运动模糊和散焦模糊以加权和形式混合的角度去研究分离方法。参考文献：1池墨2011年全国交通事故造成62387人死亡EB/OL2012-2-9/2012/ 0209/672492.shtml2贾满磊超速车辆自动检测系统的设计与实现D上海：同济大学，20093陈卓交通监测雷达的多目标分辨算法研究D西安：西安电子科技大学，20104Huei-Yung Lin*，Kun-Jhih Li，Chia-Hong ChangVehicle speed detection from a single motion blurred imageJImage and Vision Computing，2008 (26):132713375 Xu Ting-Fa，Zhao PengImage motion-blur-based objects speed measurement using an interlaced scan imageJMEASUREMENT SCIENCE AND TECHNOLOGY2010，(21)： 0755026许元男，赵远，刘丽萍，孙秀冬基于局部运动模糊图像的测速方法J光电工程，2009，36(10) ：71-80.7贾亚佳Single Image Motion Deblurring Using TransparencyC IEEE2007， 1-4244-1180-78Anat Levin, Dani Lischinski, Yair WeissA Closed-Form Solution to Natural Image Matting