基于视频的夜间环境车辆检测与跟踪

1、基于视频的夜间环境车辆检测与跟踪 徐文聪1，刘海2（山东大学威海分校，机电与信息工程学院，山东省 威海市 264209）摘要：针对夜间交通环境的特点，提出一种基于车灯的夜间交通流视频检测算法。首先，提出一种自适应阈值分割算法提取候选车灯连通域。接着，利用空间距离信息配对和分组属于同一辆车的连通域，根据规则集定位车灯，建立车辆假设。然后，通过线性搜索，结合最近邻准则和形状属性匹配在帧间关联车辆假设。对于部分和全部遮挡情况，结合Kalman滤波器处理。根据关联信息的连续性，确认车辆存在并保存跟踪轨迹。实验表明，该算法复杂度低，能够在夜晚多种交通环境下实时检测和跟踪车辆，误检和漏检率低，并且对遮挡情

2、况具有一定的鲁棒性。关键字： 夜间车辆检测，自适应阈值分割，卡尔曼滤波，车辆跟踪Video-based Vehicle Detection and Tracking at NighttimeXU Wen-cong1，LIU Hai2(School of Mechanical，Electrical & Information Engineering，Shandong University At Weihai，Weihai 264209，China)Abstract: For traffic data extraction at nighttime, a headlights-based

3、vehicle detection algorithm is proposed. Firstly, headlights candidates are extracted by an adaptive segmentation algorithm. Secondly, the headlights candidates are paired and grouped by spatial information. Then real headlights are located by rule-based reasoning to generate vehicle hypotheses. Thi

4、rdly, these potential targets are tracked over frames by linear searching combined with nearest neighbor rules and shape matching. A Kalman Filter is integrated into tracking module to handle partial and total occlusions. The spatial continuity extracted from tracking process is used to confirm vehi

5、cles presence. The results of experiments demonstrate that the proposed algorithm is effective and robust for vehicle detection and tracking at nighttime in real-time.Key words: nighttime，adaptive threshold segmentation，Kalman Filter，vehicle detection，vehicle tracking基于视频的交通数据采集技术由于其成本的低廉以及安装，维护的便利已

6、经广泛地引起研究者的关注。然而，大部分交通视频检测算法的研究都集中在白天，由于夜晚交通场景的很多特殊性，许多适用于白天的视频检测算法，如背景消减，帧间差分等，并不适应夜间环境。夜晚是交通事故的高发时段，稳定和准确的夜间交通检测算法研究具有很高的理论和应用价值。作者简介：徐文聪1（1986-），男，安徽省马鞍山人，在读硕士，主要研究方向为数字图像处理与视觉测量；刘海2（1964-），男，山东省荣成人，教授，主要研究方向为计算机测控技术。1 算法的概述夜间环境下，车灯是车辆最明显和稳定的特征。我们以车前灯作为车辆的特征，设计夜间交通检测算法。先标定摄像机，对视频图像进行灰度变换，算法只处理灰度图像

7、。为提取车灯，通过一种自适应阈值分割算法提取候选车灯连通域。将属于同一辆车的候选车灯连通域配对，分组，建立初始车辆假设。然后，帧间关联候选目标，结合空间和运动信息排除干扰和错误假设，完成车辆的检测和跟踪。算法框图如图1所示：摄像机标定提取候选车灯连通域配对和分组候选车灯连通域初始化车辆假设车辆假设的判断车辆假设的帧间关联车辆的检测车辆的跟踪提取交通数据图1 算法框图2 车辆检测和跟踪2.1. 安装和标定摄像机为了便于摄像的机标定和距离信息的测量，保持摄像机镜头从正面俯视路面，道路方向与图像纵轴基本平行。在图像中人工设置感兴趣区域ROI(Region of Interest)，如图2中红色直线所

8、示。算法只处理属于红色边界以内的图像部分。摄像机标定的目的是从图像坐标系的坐标得到世界坐标系中的坐标。在交通视频监控中，准确的摄像机标定是交通数据采集的基础，如车速，车长估计，排队长度估计等。我们采用了Song1的线性小孔成像模型和摄像机标定算法。由于夜间环境照度低，没有采用基于图像变换的方法提取车道线位置，而是在图像中人工标记车道线，如图2蓝色直线所示。图2 在夜晚交通图像上设置ROI和车道线求解出图像坐标系坐标与世界坐标系坐标的转换矩阵，如公式(1):其中，是图像坐标系中的坐标，是世界坐标系中的坐标，忽略车辆在世界坐标系中的Z轴坐标值，恒等于0。标定算法并不是本文讨论的重点，具体细节参考1

9、。2.2. 提取候选车灯连通域由于夜间的环境光源相对较弱，车灯中心在图像中的像素值靠近255，然后沿径向快速衰减。另外，车灯照射路面时产生的反光灰度值也很高。以车灯作为主要特征的车辆检测方法，准确定位车灯是识别和跟踪车辆的基础。R. Taktak2等使用白顶帽变换提取明亮的车灯，但是出现亮色车辆时，如白色车辆，大面积车体，车灯反光和车灯一起被分割为前景像素，前后靠近的车辆很容易产生粘连。Kostia Robert3等提出在白顶帽变换得到的二值图像上建立多个车灯位置假设，再建立决策树排除错误的假设。由于白顶帽变换将大量非车灯像素分割为前景像素，初始化时存在很多不必要的错误假设，大大增加了后续计算

10、和判断的复杂度。Rita Cucchiara4认为夜间环境下交通场景的灰度直方图符合双峰形状，提出采用阈值分割法提取车灯。但是夜晚交通场景的灰度直方图在很多情况下并不符合明显的双峰形状。Otsu算法5是一种经典的自适应阈值分割算法，能够自适应地计算阈值，分割图像的前景和背景。在Matlab上对夜间交通截图进行分割，由于大部分像素集中在低灰度值，直接利用Otsu算法求得的阈值偏低，大面积亮色车体和环境干扰被错误地分割为前景。根据这一特点，提出一种改进的Otsu自适应阈值分割算法，先对图像进行阈值分割，排除图像中灰度值偏低的像素。再在分割后的子图像上求自适应阈值。改进的Otsu算法步骤(目标图像大

11、小为):步骤 1统计阈值分割后图像的直方图: 其中，是图像ROI部分的灰度直方图的主峰值对应的灰度值，是常整数，使得位于主峰值右边。步骤 2阈值遍历到255，计算相应的类内均值和类间方差 将式(12)代入式(13),得到等价公式(14):步骤 3通过比较，求得使类间方差最大的阈值。改进的Otsu算法很好地提取了候选车灯像素，得到的二值连通域相对独立和完整，排除了大量干扰。另外，由于舍去了大量低于阈值的像素，降低了计算复杂度，更利于满足实时性要求。分割后的二值图像如图3所示。图3 基于改进Otsu阈值分割的二值图像对二值连通域用圆形结构元素进行形态学开闭运算，去掉车灯边缘的尖刺，使连通域的形状更

12、接近圆形。然后，利用一种快速连通域标记算法6标记连通域，并计算每一个标记后连通域的形状属性，包括外接矩形在轴的长度和轴上的长度，长宽比，面积(属于该连通域的像素数目)，周长(连通域边界的像素数目)，圆形度()等。对于面积小于一定阈值的连通域直接丢弃。同时，计算每个连通域对应于世界坐标系中的质心坐标。2.3. 配对和分组候选车灯连通域将属于同一辆车的连通域配对和分组，然后定位大前灯（一般为车辆的远光灯）作为后续跟踪的对象。R.Taktak2和Rita Cucchiara4都认为车前灯在图像上表现为规则的几何形状，通过搜索形状对称的连通域进行配对。然而，夜晚车灯对的形状在图像上并不完全对称：首先，

13、近光灯，转向灯与远光灯在图像上可能粘连，产生不规则的几何形状。其次，由于摄像机拍摄角度，车灯对中的某一个车灯的灯光可能直射入镜头，在图像上产生比另一个车灯大很多的连通域。基于形状属性的配对准则可能开始就错误地排除了一些车灯对假设的建立，造成漏检。我们利用空间距离信息而不是形状信息配对连通域。小型车，如轿车，大前灯对的距离一般在1m左右；大型车，如卡车，大前灯对的距离在1.5m左右。利用摄像机标定结果，将质心距离在1m左右或者1.5m左右的连通域配对。候选车灯连通域的配对情况如图4所示。这样的连通域配对既包含真实车灯对，也包含其他情况：(1)车灯路面反光的灰度值也常常靠近图像峰值，被配对的可能是

14、真实车灯对，也可能是车灯路面反光。如图4右上所示。(2)相邻车道并排行驶车辆的车灯之间也可能满足距离约束，不同车辆的车灯可能被错误的配对。为了减少这样的错误，将连通域按照质心坐标，从上到下，从左到右排序。配对时，从图像最左边的连通域开始，只比较和配对尚没有被配对的连通域。图4 候选车灯连通域配对配对之后，剩下的落单连通域可能是车辆本身只打开了一个车灯，也可能属于不可预知的环境干扰，需要进一步判断。属于同一辆车的车灯及其路面反光彼此靠近，利用距离信息，将分布在一定范围内的连通域分为一组。空间距离的计算都映射到世界坐标系进行。1.2.2.1.2.2.2.3.2.4. 建立车辆假设通过规则集在连通域

15、分组中定位车灯，建立当前帧的车辆假设。车辆假设保存车灯对或者单个车灯的位置信息以及相应的连通域形状信息，作为后续帧间关联的对象。规则集如下：规则 1 分组中只存在1对连通域配对，用该连通域配对直接建立车辆假设；规则 2 分组中存在2对连通域配对，认为分别对应车灯对和车灯路面反光或者大前灯对和小前灯对，利用中点坐标在v轴上较小的连通域配对建立车辆假设。规则 3 分组中存在多对（大于2）连通域配对，认为车辆打开多对前车灯。如果存在车灯路面反光的连通域，一定位于最前方，并且面积变化较大。排除分组中中点坐标在v轴上最大的配对，然后利用面积最大的连通域配对建立车辆假设；规则 4 既包含配对连通域，又包含

16、落单连通域的分组，认为落单连通域是路面反光或者其他干扰，只利用连通域配对建立车辆假设；规则 5 对于只包含落单连通域的分组，为了尽量减少漏检，保存分组中全部连通域的信息，建立车辆假设。2.5. 帧间关联车辆假设每一个车辆假设在帧间的信息建立一条相应的链表保存。通过线性搜索，结合欧式距离空间最近邻准则和形状属性匹配，关联已经建立的车辆假设链表和当前帧中的车辆假设。帧间关联信息的连续性，为排除错误假设，确认车辆的存在提供依据。一旦确认车辆存在，帧间关联信息就是车辆跟踪轨迹。考虑到相邻两帧间的时间非常短(帧率25fps时，即1/25秒)，即使变道的车辆在帧间也不会发生空间位置上的剧烈变化。因此，车辆

17、在相邻两帧间可以近似看作匀速直线运动。根据车辆公路行驶的最高速度限制(144Km/h,即40m/s)，估计出车辆在帧间沿直线移动的最大距离，如(15) 式：其中，f是帧率，(f=25时，)。根据车前灯在上一帧的位置信息，搜索和匹配车前灯在当前帧中的位置。沿直线在矩形窗口内搜索车灯连通域；匹配分为车灯对的匹配和单个车灯的匹配以及遮挡情况的处理。(1)对于车灯对，在其上一帧位置的前方矩形窗口内搜索包含车灯对的车辆假设。如果矩形窗口内存在多个车灯对，根据当前帧和上一帧车灯对中点坐标之间的欧式距离，匹配距离最近的车灯对。矩形窗口的大小为。其中，为帧间运动的最大直线距离；为连通域配对的左，右外边界之间的

18、最大距离。矩形窗口在相邻两帧间的示意图，如图5所示：0uv图5 矩形窗口在帧间示意图(2)对于落单的车灯连通域，按照与车灯对匹配完全类似的矩形窗口向前搜索。矩形窗口的长度是帧间运动的最大直线距离，宽度比单个连通域左，右外边界的水平距离稍大，在矩形窗口内根据连通域的形状属性匹配单个连通域。定义形状相似度函数 其中，是第i个车灯连通域的第k个形状属性；是第j个车灯连通域的第k个形状属性。是投影变换向量，通过LDA算法7得到。我们从交通视频图像序列中，人工提取了100个正样本集和100个负样本集。正样本集是形状匹配的车灯对截图；负样本集是两个形状差异较大的高亮连通域截图，包括车灯和车灯路面反光，不同

19、车辆的车灯，车灯和环境干扰等。按照的定义，分别计算正，负样本集中连通域的各形状属性比，并归一化，构成正，负向量集，。最优投影变换是使类间距离与类内距离之比最大的投影方向：其中，是投影变换后类内平均值；是投影变换后类内散布矩阵。定义类内散布矩阵，如式(16)，(17)；类间散布矩阵，如式(18)：其中，是类内均值；是正，负向量集的向量个数；是向量总体均值。通过解最大特征值对应的特征向量求解投影变换向量 。降到一维后训练样本的分布如图6所示：图6 降维后样本的分布在图6中，红色”+”是降维后的正样本集，蓝色”*”是降维后的负样本集。假设正，负两类的先验概率相等，类内服从高斯分布，根据投影变换后类内

20、均值，类内协方差。求得判别函数如式(19)：令当，判定第i个车灯连通域和第j个车灯连通域形状是匹配的。否则，判定不匹配。如果在矩形窗口内搜索到多个形状匹配的连通域，根据的大小，匹配值较小的。(3)遮挡情况的处理由于摄像机在一定高度从正面俯拍道路，遮挡一般发生在大型车遮挡后方小型车车头。车辆离摄像机越近越不易被遮挡。因此，当车辆位置超过图像纵轴长度的一半时，不再进行遮挡判断和处理。a) 部分遮挡。对于链表中的车灯对记录，如果在当前帧的矩形窗口内只存在落单的连通域，认为发生了部分遮挡。按照形状属性匹配，关联落单连通域与上一帧连通域配对中最靠近的连通域，并估计被遮挡车灯连通域的质心坐标以及中点坐标。

21、b) 全部遮挡。如果矩形窗口内不存在连通域，认为发生了全部遮挡。对于全部遮挡，我们利用基于匀速直线运动模型的Kalman滤波器预测车辆在当前帧的位置。Kalman滤波器8是一种对动态系统的状态序列进行线性最小方差误差估计的算法。状态方程和观测方程如(20)和(21)式：其中，状态向量各分量分别是车辆在世界坐标系中的坐标向量和速度向量。观测向量是车辆在世界坐标系中的坐标向量。状态转移矩阵观测矩阵忽略状态噪声和观测噪声。状态向量中的坐标向量由车辆假设的初始位置初始化。对于速度向量，由于帧间时间非常短，如果利用前两帧的运动距离和时间的比值初始化，很小的距离偏差也会引起速度估计的剧烈波动。因而，我们用

22、固定值初始化速度向量。Kalman滤波器的迭代细节参考8。由于只考虑车与车之间遮挡的情况，遮挡不会连续维持多帧。如果连续两帧仅用Kalman滤波器的预测值更新位置之后，仍然无法从图像中关联上新的位置，判定关联失败。2.6. 判断车辆假设车辆假设的判断流程主要分为三个状态：车辆的出现，车辆位置的更新和车辆的离开。(1)车辆的出现如果当前帧的某一个车辆假设没有被任何车辆假设链表关联上，推断可能有新的车辆进入了检测区域，初始化一条车辆假设链表。为了对假设做进一步判断，为每一条车辆假设链表设置相应的车辆存在信心分数，初始化为1。同时，根据车灯对左，右车灯之间的距离将车辆类型分为大型车和小型车。(2)车

23、辆位置的更新对于某一条车辆假设链表，如果在当前帧中关联上新的位置，车辆存在信心分数加1，；如果在当前帧中关联失败，相应的分数减1，。如果连续多帧关联上，即车辆存在信心分数增加到一定阈值，认为该条车辆假设成立，确认车辆的存在。值得一提的是，落单连通域组成的车辆假设，如果其中至少存在一个在当前帧匹配到新位置的连通域，认为关联有效，相应分数加1；如果全部关联失败，相应分数减1。(3)车辆的离开对于某一条车辆假设链表，当连续多帧没有关联上而且减少到0时，如果已经确认了车辆的存在，认为此时车辆离开；如果尚没有确认车辆的存在，认为该假设无效，直接删除。3 实验结果及分析算法实现的硬件平台为Intel Co

24、re2 Duo CPU 2.0GHz，内存2.0GB，编程环境为VC+6.0。视频样本1采集自北京的保福寺桥。输入视频大小为，帧数25帧/秒，时间长度6min12sec，人工统计视频中通过的车辆数目为402辆，图7是视频样本1的处理结果截图。表1是视频样本1的交通数据采集结果。 图7 视频样本1的实验结果截图 表1 视频样本1的交通数据采集结果交通参数类型实验结果车道1车辆数目74车道2车辆数目88车道3车辆数目118车道4车辆数目107大型车数目7小型车数目380车辆检测总数目387车辆实际总数目402检测率96.27%视频样本2采集自北京中关村东路的一处天桥上。由于存在路灯照明，图像整体亮

25、度高于视频样本1。输入视频大小为，帧数25帧/秒 ，时间长度10min06sec，人工统计视频中通过的车辆数目为221辆。图8是视频样本2的处理结果截图。表2是视频样本2的交通数据采集结果。图8 视频样本2的实验结果截图利用VC+6.0中的定时器估计处理视频样本1和视频样本2一帧图像的平均时间分别是27毫秒和24毫秒，满足实时性要求。实验结果表明，本文算法的准确率高，计算复杂度低，并且对环境光源干扰，遮挡等具有一定鲁棒性。表2 视频样本2的交通数据采集结果交通参数类型实验结果车道1车辆数目68车道2车辆数目54车道3车辆数目94大型车数目18小型车数目198车辆检测总数目216车辆实际总数目2

26、21检测率97.74%4 结束语针对夜间环境下交通场景照度低，对比度低，前景和背景不易区分等特点，本文提出一种基于车灯的车辆检测和跟踪算法。实验结果证明，该算法能够在夜间环境下有效地为交通数据采集提供检测信息，检测率在96%以上。另外，算法能够稳定地跟踪车辆，并对遮挡情况具有一定的鲁棒性，得到的车辆运动轨迹可以进一步作为交通事件检测的基础。在保持较高准确性和鲁棒性的同时，该算法计算复杂度低，适合实时的交通监控应用场合，可以很好地作为日间检测算法在夜间的补充。参考文献：1 Kai-TaiSong and Jen-Chao Tai, Dynamic calibration of pan-tilt-

27、zoom cameras for Pan-Tilt-Zoom Cameras for Traffic Monitoring J.IEEE Transactions on Systems, Man, and Cybernetics, Oct.2006, Vol.36, No.4:1091-1103.2 R. Taktak, M. Dufaut, R. Husson. , Vehicle Detection at Night using Image Processing and Pattern RecognitionA. International Conference on Image Processing, Austin, Texas, USA, Nov. 1994 : 296-300.3 Kostia Robert. , Night-Time Traffic Surveillance a robust framework for multi-vehicle detection classification and trackingA