基于帧差的mean-sshr算法全自动跟踪

基于帧差的mean-sshr算法全自动跟踪

运动目标的提取和跟踪已成为国内外研究的热点问题，它的应用非常广泛。它在智能交通系统（it）、车辆控制、军事调查、机器人视觉等领域具有重要意义和应用。1目标提取方法自动视频监视技术的主要内容之一就是监视特定场景中是否出现新目标,并完整地提取目标。简单来看,这个任务可分两步来完成,第一是目标检测,第二是目标提取。所谓目标检测,就是检测视频序列图像中被监视的场景图像是否有所变化,如果图像有变化,则说明有新的目标出现,反之则认为没有新目标出现。而目标提取,就是当目标检测算法检测到有目标出现时,把这个目标从视频序列图像中分割提取出来,为下一步目标跟踪和识别提供数据。因此一个视频监视系统工作的好与坏,目标检测和提取算法是非常关键的。目标提取是指利用灰度、颜色、纹理、形状等信息从视频序列中提取感兴趣的目标,它是图像工程中目标表达、特征提取和参数测量的基础。目前目标提取方法特别多,主要有帧差法、光流法、轮廓提取法和背景减除法。由于帧差法思想简单,算法易实现,处理速度快,本文采用帧差法来提取运动目标。1.1图像形态学处理对于静止背景下的视频序列,对当前第k,k-2帧图像进行平滑去噪,再做帧差处理,用当前第k帧减去第k-2帧,得到二值图像F;这里之所以选取第k,k-2帧是因为第k,k-1帧图像间的变化可能不大,帧差法效果不一定理想。这里阈值d根据经验选取,若d选取过大,则目标将可能产生大的空洞甚至出现目标断裂,若d选取过小,将出现大量噪声。形态学处理:由于存在着噪声的干扰以及目标与背景图像之间往往有小部分颜色或灰度相似,二值化后得到的图像中往往会含有许多孤立的点、小区域、小间隙和孔洞,在这里白色代表变化的区域,这些均会干扰运动目标的检测,需要将孤立的点、小区域去除,而将小间隙连接,小孔洞填充。本文采用图像形态学中二值图像的膨胀和腐蚀方法来实现。区域标记和判别形态学处理完图像后,一些小的干扰区域已经被去除,小的间隙和孔洞也已经被填充,但是仍然会有面积相对较大的黑色孔洞存在。这是因为引起背景变化的目标,往往会在前后两帧图像中有部分重叠,那么在变化检测时往往在连通的白色区域之中会产生较大的黑色孔洞。为了将这些较大的黑色孔洞填充,首先计算各个连通的黑色区域的面积,当某一黑色区域的面积小于给定的阈值时,就将该区域改为白色区域;完成上述处理后就可以计算各个连通的白色区域的面积。当某白色区域的面积大于给定的阈值时就认为该区域为检测到的运动目标区域。1.2阴阳检测方法当检测到当前帧中有目标出现时,并确定了大致的运动区域,但此区域中还包含了阴影,阴影严重影响了目标提取和后续的跟踪精度,必须有效的去除阴影。阴影检测的方法主要有两大类:基于阴影特征和基于几何模型。其中,前者通过阴影的几何特性、亮度和颜色来区分。基于颜色特性的方法大多基于以下理论:背景在阴影覆盖和无阴影覆盖下,只在亮度方面有差异,而在色彩方面并无差异。文献提出一种基于HSV颜色空间的阴影检测方法。与RGB颜色空间相比,HSV更利于阴影边缘的检测。本文采用的阴影检测方法将阴影消除和边缘检测结合在一起。首先,利用帧差法法获得图像移动区域,同时采用基于模型的方法建立阴影的粗模型,二者结合快速获取阴影的粗略区域,只对该区域图像使用基于HSV颜色空间的阴影检测方法。再对移动区域和阴影区域进行边缘检测,最后将得到的两区域边缘信息进行相减,得到真实目标的边框信息。实验证明该法计算量小,检测效果好。2mean-加快迭代算子的算法运动目标跟踪作为计算机视觉研究的一个分支,今年来成为视频处理研究的重要内容,研究结果被广泛的应用于人机交互视频监控场合。经典的目标跟踪方法有:模板匹配,光流法,Kalman滤波,基于颜色直方图特征分布的Mean-shift算法和粒子滤波跟踪算法。Mean-shift算法是目前较为流行的无参数模式快速匹配算法,此算法计算量小,实时性较好,采用核函数直方图建模,对边缘遮挡和背景运动不均不敏感等优点。但Mean-shift算法存在半自动跟踪缺陷,在起始跟踪帧,需要通过手动确定搜索窗口来选择目标,不利于无人监控跟踪,且窗口和目标模板一旦固定,无法跟新,在遇到目标大小发生变化时,很容易发生跟偏甚至跟丢现象,本部分就着重解决这些问题。Mean-shift算法简介:Mean-shift这个概念最早是由Fukunaga等人于1975年在一篇关于概率密度梯度函数的估计中提出来的,其最初含义正如其名,就是偏移的均值向量,在这里Mean-shift是一个名词,它指代的是一个向量,但随着Mean-shift理论的发展,Mean-shift的含义也发生了变化,如果我们说Mean-shift算法,一般是指一个迭代的步骤,即先算出当前点的偏移均值,移动该点到其偏移均值,然后以此为新的起始点,继续移动,直到满足一定的条件结束。1995年,YizongCheng在定义了一族核函数,使得随着样本与被偏移点的距离不同,其偏移量对均值偏移向量的贡献也不同。Mean-shift核心思想:在起始跟踪帧计算核函数加权下的搜索窗口的直方图分布,用同样的方法计算当前帧候选目标的直方图分布,用Bhattacharyya系数来描述两个分布的相似程度,以两个分布的相似性最大为原则,通过Mean-shift向量的迭代运算,使搜索窗口沿密度增加最大的方向运动,收敛于最佳位置。假设通过前文获得的跟踪窗口中心位于x0,通过核函数运算建立目标模型,颜色特征向量u∈(1,m)在核窗口的概率为式(2)中k(x)为核函数,并满足;b(x)是像素点特征值的量化函数;m是颜色空间量化后互不相交的特征子空间;n是核窗口包含的像素个数;x0是起始帧核窗口中心二维坐标;xi是核窗口内第i个像素的二维坐标;h是核函数的带宽;δ是Kroneckerdelta函数;C为归一化系数候选目标在当前帧中以y为中心,选用相同的核函数和核半径,则候选目标模板可以描述为式(4)中因此物体跟踪可以简化为寻找最优的y,使得与qu最相似。与qu的最相似性用Bhattacharrya系数ρ(y)来度量分布,即式(6)在puy0点泰勒展开可得,把式(4)带入式(7),整理可得,式(8)中,对式(8)右边的第二项,我们可以利用Mean-shift算法进行最优化,从而得到候选区域中心y0移向真实目标区域y的向量:式(10)中g(x)=-k′(x)。求得y1后就完成一次均值偏移,随后可令y1进行下一次均值偏移。由均值偏移的性质可知,其总是向Bhattacharyya系数的局部峰值移动,因此当核函数窗宽的位置移动到峰值时y0≈y1,即y0-y1≤ε,此时核窗口将在目标所处位置收敛,从而完成对目标的定位。传统的Mean-shift算法目标模板统计始终选用起始帧来计算目标直方图分布qu,没有对目标模板进行实时更新,一段时间间隔过后,候选目标模板pu(y)与初始目标模板qu之间就会产生偏差,容易导致目标跟踪失败。同时,由于核函数半径h始终不变,无法自适应跟踪渐变的目标。本文通过增加相似性测度ρ(y)相对变化量r方法来更新模板,解决目标尺度变化的问题。整个跟踪过程中,当Bhattacharyya系数的相对变化量r超过一定阈值,说明当前候选目标与目标模板已有很大的偏差,这时重新启动帧差法,根据新的跟踪窗口的大小与位置,对初始目标分布qu进行更新,以提高跟踪的准确性,同时更新的跟踪窗口也可以更好地适应跟踪尺寸变化的目标。通过判断相似性测度相对改变量r来更新目标模板。当目标出现遮挡时,可结合Kalman滤波器预测窗口中心来解决这个问题。3目标的提取实验步骤:Step1:读入视频序列;Step2:对当前k,k-2两帧序列进行预处理,主要做些平滑去噪;Step3:对k,k-2帧图像做帧差,得fk-2;设定阈值d,并转为二值图像F;Step4:对F进行形态学处理,完成区域标记,并判别是否有新目标出现。若无,k=k+1,转Step2,出现目标转下步;Step5:只对运动区域进行HSV变换,结合边缘信息,消除阴影,提取目标边框和中心点;Step6:将Step5中得到的目标作为Meanshift算法的目标模板,并初始化;Step7:对后续视频序列逐帧进行目标跟踪,并判断相似性测度相对改变量r是否超过阈值。若超过给定阈值,对当前帧和后一帧转Step2,重新获得目标模板和窗口。若r没有超过阈值,跟踪下一帧,直到整个视频序列处理完毕!实验结果:本文实验首先采用室内摄像头拍摄的一段视频(320×240pixel),图1是原始视频的第9帧,图2为第11帧原图,图3为第11帧减去第9帧所得f,图四为对f进行二值化,形态学处理和区域标记,并经过HSV空间变化,结合边缘信息,分离出阴影和人体,红色为阴影区域。图5就是除去阴影的影响,得出完整的人体。图6是第9帧视频图像(图1)加上目标提取的边框,并计算出目标质心位置;通过图6,可以