基于光流方程和目标匹配的视频图像目标跟踪方法

1、第35卷,增刊红外与激光工程 2006年10月 基于光流方程和目标匹配的视频图像目标跟踪方法丛杨1,一,唐延东1(1冲国科学院沈阳自动化研究所光电信息研究室,辽宁沈阳110016;2.中国科学院研究生院,北京100049摘要:提出一种利用图像差分、局部光流法和目标匹配,实现视频对象目标提取和跟踪的方法。首先, 对预处理后的图像进行差分;在差分的基础上,运用局部光流场对目标进行运动估计;对估计结果依据相似 度进行聚类分析,消除小的非目标区域;当目标未发生剧烈变化时,更新目标模板,否则,利用已有目标模 板进行匹配跟踪。实验结果验证了该算法的有效性,并实现了目标变形和部分遮挡时的稳定跟踪。关键词:图

2、像差分; 光流法; 目标跟踪; 聚类分析中圈分类号:'391文l-I标识码:A 文章编号:10072276(2006增D一0312一04ReseaIh on video object tracking method based on optical now and target matchingCONG Y甜191一,TANGlgdon91(1.sh朋yang hs咖te ofAut0嘲don,chinese Acad锄y of sciences,sh衄y趾g 110016,China;2.Gfaduale Sch00l,o虹桃Acad锄y of Scicns,B确ing 100039

3、,ChiImAbstmct:A memod on detection aIld trIacking of moving object is pr叩osed b鹊ed on me melod of iInage dif!f.erence,panial opticalnow aIld objectiVes matclling.As preprocessing,也e image difI-erence is calculated.By t|le optical flow coIIlputationof me difference image me moVing ta玛et is脚tiVely est

4、imated to get a biIlary image. WitIl the clustering memod tlle small blocks in me binary image,wmch do not belong to ta唱et are eliIIlinated.If meshape of me detected ta略et doesnt change largely,tlle detected叫get in me laSt铴lIne is taken as atemplate.Thenme shape ta昭et is corrected by a IIlatcmng tec

5、llIlology.By it the disturb of吐le ta唱et blockin参defo珊ation or omer moving objects on tlle ta唱et caIl be eliIIlinated.The experiment results Validate tlle ef!f;ect of our metllod.Key words:hnage di虢rential;optical now; Objectacking; ClusteriIlg a11alysisO引 育视频图像运动目标跟踪作为计算机视觉研究领域的核心课题之一,融合了图像处理、人工智能、模

6、式识别、 自动控制以及计算机应用等若干领域的先进技术,并在视频监控、军事视觉制导、机器人视觉导航、安全检测、收日期I 2006_08.19作誊介t丛杨(1981.,男,吉林吉林人,硕士,主要从事实时图像处理和目标识别方面的研究.增刊 丛杨等:基于光流方程和目标匹配的视频图像目标跟踪方法 313交通流量监测等方面都有广泛的应用【l2l。差分方法是在运动目标检测中使用最多的一类算法。它的突出特点是实现简单、运算速度快,在大多数情况下检测效果较好。光流法是运动目标跟踪的有效方法,我们将两者相结合,对图像序列进行处理,并将该算法应用到远程视频监控中pJ。针对视频监控中的具体问题,首先对输入的图像序列进

7、行去噪处理,采用图像差分的方法求出运动目标可能存在的矩形区域;然后求取这些矩形区域的局部光流;并对求得的光流场进行聚类操作,消除小的区域,得到待识别目标区域;如果这个区域发生突变,则利用模板匹配的方法进行识别,否则,保存目标区域模板。算法流程图见图1。1图像差分在对图像进行去噪等处理的基础上,利用图像差分的 方法求出目标潜在区域。差分的基本原理是将前后两帧图图1算法流程图 Fig.1nowchaft of our algorilm像对应像素点的灰度值相减,在环境亮度变化不大的情况下,如果对应像素灰度相差很小,可以认为此处景物是 静止的,如果图像区域某处的灰度变化很大,可以认为这是由于图像中运动

8、物体引起的,由此可以求出运动目标 在图像中的位置。它的突出特点是实现简单、运算速度快,在大多数情况下检测效果较好。在f时刻,图像O的素处得灰度值为,(x,岁,f;在件1时刻为J(工,f+1;则灰度f+1时刻与f时刻灰 度差是:,(工,=l,(工,f+1一,(工,fI (1 对址(x,y进行规一化,并计算直方图,求出分割阈值死利用投影技术,求出运动目标可能存在的区域。 嘶=器 畿銎二; 2运动估计光流估计方法大致可以分为三类:基于区域的匹配法、基于特征点的方法和微分法6,71。这里我们采用 Hom和Schunck提出的微分法,对差分图像进行处理。尽管利用微分方程的方法需要多次迭代,并且存在运 动

9、场估计不稳定等特点,但与区域法和特征法相比,更适合于检测整幅图像的运动信息。由于对差分图像进 行处理,区域面积减小,因此速度可以满足要求。光流计算的基本假设是:图像模式中的点(工,在时刻f的亮 度为“石,D,当模式运动时,该点的亮度保持不变,即粤:o。于是得到差分方程:mml+vI,+lt=o (3314红外与激光工程:光电信息处理技术 第35卷 式中:“=警,V=警与分别是图像在工,f方向上的微分。 运用变分法和递归算法,可以得到(u,V的递归解:求得的光流场如图2所示。利用光流的能量信息对图像规一化,利用自适应阈值的算法对Energy图像进行分割。砌P例=(“2+(y2“2(5 3聚类运动

10、区域 图2目标光流场 Fig.2掣calnowofmc嘲烈为了减少聚类区域的数目,采用形态学的方法对Energy图像进行处理,消除小的区域。然后对二值化的 Energy中的非零像素进行聚类操作,以确定运动目标区域。采用的准则是两点间最小距离法。设两点最大距离 阈值护l,运动区域包含最少像素汐2,逐行扫描Ene唱y中的非零像素。第一个非零像素,1记为Sl=厶为第一 类,1=1,且其聚类中心记为cl脚1%Cl回ly。计算第2个非零像素如与Cl之间的距离d也,C1,如 果dl,则忍s1,并按如下递推公式计算S1的新聚类中心:Clz=Gz+(厶工一C:工【1/(+1】,。 c;y=cl,+(,Icjy

11、1/(+1】 一并令l=l+1,1为sl的像素数日;否则,建立新类&=无,2=1。当五归入时,已形成置类,记为 s1,昆.,&,对应的聚类中心记为cl,c2,Q。如果,d,a>口I,产1,2.,K,则将建立第五,+1类 S一1=五,憎1=1,否贝U五昌,其中:j=IIlinJI d(,C,<岛,_=1,2,.K (71=1+1。依次重复上述过程,直到行扫描结束。再根据侯选类f应满足f>口2,滤除一些像素集。4目标匹配如果求得的运动目标区域发生剧烈变化,说明可能有其他运动目标对其产生干扰或遮挡,这个时候采用 差分和光流的方法所提取的运动目标将会失真,我们采用模板

12、匹配的算法对目标进行跟踪,可以收到较好的 效果。否则,就用聚类后的区域去更新模板。5实验结果为验证该算法有效性,在PC机匕对实际远程监控系统采集到的多组视频数据进行处理,都取得满意的效果。 实验一对单运动目标进行跟踪的部分实验结果,此时可以看出我们跟踪结果基本上是人的轮廓,如图 3所示,图中(a、(b、(c分别为第30、37、4l帧。芸掣鐾w 器鬻 警瓮萼譬增刊 丛杨等:基于光流方程和目标匹配的视频图像目标跟踪方法 315 (a (b 图3单运动目标提取和跟踪(cFig.3Signal object ex仃action and锄cking实验二当视场中运动目标出现剧烈变化时,如人在开关门的时候

13、,人和门都将产生运动。人作为被跟 踪目标,会出现局部静止,变形,被门部分遮挡等情况,给跟踪带来了困难。这里比较了采用区域形状约束 的目标匹配和未采用该方法的实验解结果,从图中可以看出采用该算法仍然能够稳定跟踪目标,如图4所示, (a为未采用目标匹配的结果,(b为采用目标匹配的结果: 图4目标剧烈变化实验结果比较Fig.4o咖pare me resun of target cllanging laFgely由以上实验结果可以看出,我们所采用的基于图像差分,局部光流运动估计和形状约束匹配的检测算法, 可以稳定检测和跟踪视场中的运动目标;对人等运动目标运动发生剧烈变化、变形、被部分遮挡等情况,也 具

14、有鲁棒性。参考文献:乃认NG zexu,u Jinzong,u Nin-gllir罾Detcc石of moving object using a fIlsi衄melod b硒ed on鲫enta吐舳0fo砸cal Row蹦d觚d edgeex仃acted by Ca皿ys operator【J】.Act E1ecllical Sinica,2003,31(9:1299-1302。 RUSSO P,MARANDEY V,BUI T.0ptical flow tecllIliques or mov吨ta唱et detec60nC】/s腿,1990, 1383:6271. FAN J P,DAVID

15、 K Y,AHMED K E,ct a1.Automatic image segmentation by inte粤atiIlg color.edge ex臼戤:ti缸Id sdcdgigmwing【J】.I髓E Tr衄s.on Image Processing,2001,10(10:14541466.雍杨,王敬儒,张启衡.复杂背景下运动目标分割算法研究【J】.系统工程与电子技术,2005,27(12:2014.2015.张天序.成像自动目标识别【M】.湖北:湖北科学技术出版社,2005.HORNB K P,SCHUNCK B G.Deten【lining optical now【J】.Amf

16、icial Intemgence,1981,17(1:185203BARRoN J L,FI压'T D J,BEAUCmMS S.Pe哟衄ance 0f 0ptical now techniques叨.UCV,1994,12(1:43-77. 四嘲刚阿闻忉 基于光流方程和目标匹配的视频图像目标跟踪方法作者:丛杨 , 唐延东 , CONG Yang, TANG Yang-dong作者单位:丛杨,CONG Yang(中国科学院沈阳自动化研究所,光电信息研究室,辽宁,沈阳,110016;中国科学院研究生院,北京,100049 , 唐延东,TANG Yang-dong(中国科学院沈阳自动化研究

17、所,光电信息研究室,辽宁,沈阳,110016刊名:红外与激光工程英文刊名:INFRARED AND LASER ENGINEERING 年,卷(期:2006,35(z4参考文献(7条 1. ZHANG Ze-XU. LI Jin-zong. LI Nin-gning Detection of moving object using a fusion method based onsegmentation of optical Flow field and edge extracted by Canny's operator期刊论文-Acta ElectronicaSinica 2003(092. RUSSO P. MARANDEY V. BUI T Optical flow techniques or moving target detection 19903. FAN J P. DAVID K Y. AHMED K E Automatic image segmentation by integratin