（模式识别与智能系统专业论文）运动背景下的视频对象跟踪研究.pdf

摘要 运动背景下的视频对象跟踪研究 摘要 视觉信息( 图像和视频) 是人炎了解外部世界最重要的信息来源。随着计算机技术、通 信技术、多媒体接拳和存储技术的发展，人l f 】可墩方便媳记录、压缝鄹转辕大爨的图像鞠撬 频数据。通过对黼像和视频数据进行霄效分析，人们够更加肖效地了解和处理大量外部信 惠。罾标瓣踪楚| 籍通过物体酌逑缘、局部罐动获凝强度( 瓣l - t ；淀和亮度) 的交纯傣患来对稳体 进镫鼹踩。逶避鞭踩建立运动耱搏熬翼誊城鞠关蛙，不搜霹鞋霄效握蘸运稚鲮毒 瓣糖确凌，磊 且使得操作、控制对象成为可能。视频对象跟踪悬基予内容的视频表示、处理以及视频避缩 的重要组娥部分。守存军事税觉铡哿、视频监控、祝器a 视觉导航、鞭疗诊断跣及气象分析 等方耍都露广泛的应用。 本论文围绕视频耳标跟踪进行了四个穷丽的研究，部快遘块匹醚、快遴全局运动估计、 基予彩琶拳瞧；勘信息酶挠频茸标分割和基予对象黼捂搂溅的械颓强栋跟踪。 本论文取 ! 攀躲主要研究成祭怠绣鞋下鞠个方霹； 1 提出了一种基于多分辨率框架的快速块匹配算法。块匹配算法是h 2 6 3 、m p e g i 2 4 中 戆萋零运动估诗薄法，由于它农冀法复杂凄和诗雾速度上较努静统一，痘翔非常广泛。为在 保持离匹酝准确废同时加快题羝速发，本文提出一静毅扶速运动佳计髯法h a c d s 。h a c d s 使用三层多分辩率结构适应快速运动，在最低分辨率层使用f s 保证初始收敛精度其它层 采麓a c d s 加桡疸配遗度。实验证鞠在保持襁搿豹匹粼效果阍对极大遣降低了攘索次数。 此钋，由豳像彩饿信息和双向运动估计提慈了运动估计的精度秘稳健性。最羼遁避对场圈像 采用基于h a c d s 中值补偿算法与其它补偿算法的性能比较中，基于h a c d s 中值补偿算法 咚甄了陡撬噪声鳃影睫，优纯了 僚鹜豫魏褒萋，旋戒穗应麓予程獭捺式转换鼓零孛。 2 。 提出一秘基予多分辨率攫架繇筑采样m 佳诗金蕊健计雾法。黠予霪像申艘兹景点瀵踩， 通过混合三种方法在金字塔结构逐滕进行。在金字塔结构的每腠中，首先根据块甄配差弊值 清溶部努靛景块；其次辅焉h u b e r 瓣数对谣整静敏感度举鼹静特经，瓣鹜荣帮前最运动渤俸 的像索点快速分凝，使得背景的仿射参数估计过程只对背景像素点敏感，减少了前景运动物 体对参数谈计造成的误蓑，掇高参数估计的精度；最后消除孤斑背景块。在褥到原始图像层 瓣楗疹垒弱运动参数后，避_ 毽鹜爨块匏特镁熹集会，程翊l m i c a 象豢鼹璧疑小遮找法获褥 最终的糖确全局运动参数。三朕多分辨率续梅扩震了避动运动蕊围，翅快了运动传诗收皴速 度。此外除顶层外的备层上利用预测查找表方式加快丁运动估计的收敛速度。实验表明， 提出瓣算法诗雾爨夺，蔹褥静垒禺逡动参数壤臻霹靠。 3 提出一种基于网格避动场储计茅h 彩色信息均德移动聚类的视频对撩分割方法。二维稠密 运劫嫣运谶基予内容翡潮格横激褥劐。对褫颓图豫避行g a b o r 小波变换得蓟视额阉像中阿格 上海交通大学博士学位论文 的节点，可以有效消除噪声和光照变化带来的影响。在网格节点的生成过糨中引入g a b o r 小波髓量概攀决策法釉抽较韵懑聚类法，使霹疆节患静分蠢器霹麓巍选赛嚣麓点等结构特征 明显的位置，保证了网格节点的合理分布。在空闻区域分割方面，对彩色空间聚类获得【訇像 的准确医域倍怠，通过准牛顿法加速均俊移动聚畿速度，然后利用区域一致住检测进行区城 融含。实验袭明，通过空间区域分割和稠密运动场可以获得准确的运动视频对象分割结果， 为运动对象跟踪或视频内容分析提供了非常好的基础。 4 +提出一秘基于对象羽撂黪凝频对象跟踪方法。稳建跟踪使翔熬视频对象模型，包括对象 网格模型、权值区域关系图等。提出了一种网格节点跟踪方法实现节点的稳健跟踪，通过网 捂繁点静罪踩实现了筏频怼蒙瓣鼗踪。在节点疆踩过程孛，为了瀵狳傍封摸羹参数在诗莽露 的相互干扰，采用平移模型作初始匹配，利用仿射模型的嶷形参数梭验特征封口相似艘，并 迸行节点的鲻部调整。仿射运动模登参数采用n e w t o n - r a p h s o n 梯度下降法计算，辩秘焉 g a b o r 小波梯度算子克服梯度下降法对噪声的敏感，提高了运动矢蹩估计的糙确度。针对几 种f 嚼格：宵点跟踪失败的情况。道过梅建的视频对象跟踪模型并结台均值移动彩色聚类、n c u t 为投毽的区域关系图绘出了相应的解决方法。静止背景和运动背景褪频中的视频对象的跟踪 和补偿实验表明，提出的跟踪簿法可眺蜜现视频对象的稳健准确跟踪。 关键词：运动目标跟踪，块匹配，全局运动估计，视频对苏分割，g a b o r 小波变换，网格 均德移魂 接要 爻e s e a r c ho no b j e c tt r a e 喇n g w i t hm o v l n gb a c k g r o u n d a b s t r a c t v i s u a li n f o r m a t i o n ，s u c ha si m a g ea n dv i d e o , i st h em o s ti m p o r t a n tr e s o u r c et h r o u g hw h i c h p e o p l eu n d e r s t a n dt h ew o r l d 稍mt h ed e v e l o p m e n to fc o m p u t e rt e c h n o l o g y , c o m m u n i c a t i o n t e c h n o l o g ya n ds t o r a g et e c h n o l o g y , h u g ei m a g ea n d o rv i d e od a t ac a nb ec o n v e n i e n t l yr e c o r d e d ， c o m p r e s s e da n dt r a n s f e r r e d 。b ye f f e c t i v e l ya n a l y z i n gi m a g ea n dv i d e o , p e o p l ee a s i l yu n d e r s t a n d a n dp r o c e s st h eh u g ei n f o r m a t i o n o b j e c tt r a c k i n gi sap r o c e e d i n gw h e r eac o r r e s p o n d e n c eo f t h e o b j e c ti sf o u n di nap e r i o do ft i m eb yt h eo b j e c te d g e s ，l o c a lm o t i o na n ds p a t i a li n f o r m a t i o n ，s u c h a sl u m i n a n c ea n dc o l o nb yt h es p a t i a la n dt e m p o r a lr e l a t i o ne s t a b l i s h e db yt r a c k i n go b j e c t , t h e a c c u r a c yo fm o t i o ne s t i m a r i o ni si m p r o v e da n do b j e c to p e r a t i o na n dc o n t r o l l i n gm a yb ec a r r i e d o u t v i d e oo b j e c tt r a c k i n gi sa l li m p o r t a n t p a r to fv i d e or e p r e s e n t a t i o n ，p r o c e s s i n ga n d c o m p r e s s i o nb a s e do nv i d e oc o n t e n t 。i ti sw i d e l yu s e di nm i l i t a r yv i s u a lc o n t r o la n dg u i d e ，v i s u a l s u r v e i l l a n c e ，r o b o tv i s u a ln a v i g a t i o n ，m e d i c a ld i a g n o s ea n dw e a t h e ra n a l y s i s i nt h i sd i s s e r t a t i o n ，s o m ew o r k so nf o u rp a r t s , w h i c ha l ei m p o s s i b l yi n v o l v e di nv i d e oo b j e c t t r a c k i n gp r o c e s s i n ga l ed i s c u s s e d t ”f o u rp a r t sa r er a p i db l o c km a t c h , r a p i dg l o b a lm o t i o n e s t i m a t i o n ，v i d e os e g m e n t a t i o nb yc o l o ra n dm o t i o na n do b j a c tt r a c k i n gb a s e do no b j e c tm e s h 。 秣em a i na c h i e v e m e n t so f t h ed i s s e r t a t i o n 鑫s 受l l o w s 。 1 an o v e lb l o c km a t c hm e t h o dc a l l e dh a c d si sp r o p o s e dt or e a c ha l la c e u r a c ym a t c ha sw e l l a sf a s ts e a r c hs p e e d b l o c km a t c ha l g o r i t h mi sw i d e l yu s e di nt h ep r a c t i c ea si ti st h eb a s i c m e t h o do fm o t i o ne s t i m a r i o n , w h i c hr e a c h e sag o o dt r a d e o f fb e t w e e nt h ec o m p l e x i t ya n dt h e c o m p u t a t i o n a lb u r d e na n di sr e c o m m e n d e di nh 2 6 3 ，m p e g l 2 ，4 mh a c d s at h r e e 1 e v e l m u l t i - r e s o l u t i o ns t r u c t u r e 逸u s e dt oe x t e n dt h es e a r c hr a n g ea n da c c e l e r a t et h es p e e do fm o t i o n e s t i m a t i o n a tt h et o pl c v c l ( t h e1 0 w e s tr e s o l u t i o nl e v e l ) f a l js e a r c hm e t h o di su s e dt oo b t a i na h i g hi n i t i a lc o n v e r g ea n da tt h eo t h e rt w ol e v e l sa c c e l e r a t e dc r o s s - d i a m o n ds e a r c hm e t h o dj s a d a p t e dt oa c c e l c r a t et h ew h o l es e a r c hs p e e d ，e x p e r i m e n t ss h o wt h a tw i t hh a c d s 。t h es e a r c h n u m b e ro fm o l i o ne s t i m a t i o ni sr a p i d l yr e d u c e da sw e l la sr e m a i nah i 窑i lp s n r d om o t i o n e s t i m a t i o ni nr g bs p a c ea n dw i t hb i - d i r e c t i o n a le s t h n a t i o n 。ah i g h e re s t i m a t i o nr e s u l ti so b t a i n e d 。 f i n a l l y , i nc o m p e n s a t i o no ff i e l di m a g e , c o m p a r i s o no fa r ta l g o r i t h r ab a s e do i lh a c d sm e d i a n c o m p e n s a t i o nw i mo t h e ra l g o r i t h m si sp e r f o r m e d e x p e r i m e n t ss h o wt h a tt h em e d i a n c o m p e n s a t i o nb a s e do n a c d sc a nr e d u c et h ei n f i n e n c eo f r a n d o mn o i s ea sw e l la s 妇p r o v et h e 上海交媛丈学鞲士攀傲诡文 q u a l i t yo f t h ef r a m ec o m p e n s a t e d 一 2 ar a p i dr o b u s t 耍o b a lm o t i o ne s t i m a t i o nm e t h e db a s 嚣d0 nm u l t i r e s o t u t i o ni sp r o p o s e d i nt h e e a c hl e v e lo f t h ep y r a m i d 。f i r s tr e m o v i n gt h eo u t l i e rb l o c ka c c o r d i n g 协t h em a t c hd i f f e r e n c e , t h e n a d a p t i n gt h ec h a r a c t e ro fh u b c rf u n c t i o n , w h i c hi ss e n s i t i v et ot h em a t c hd i f i e r e n c ，t or a p i d l y d e c i d ew h e t h e r 娃p i x e lb e l o n g 辩b a c v g r o u n do rf o r e g r o u n da n dr e d t et h ed e v i a t i o na sw e l l 罄 i m p r o v et h ep r e c i s i o no fa f t m ep a r a m e t e re s t i m a t i o n f i n a l l yr e m o v i n g t h ea b s o l u t eb a c k g r o u n d b l o c k 。w h e no b t a i n i n gt h ei n i t i a lg l o b a lm o t i o np a r a m e t e r so fo r i g i n a lf r a m e 。as e to ff e a t u r e si n b a c k g r o u n db l o c k si su s e dt og e tt h ef i n a la c c u r a c yp a r a m e t e r so f 謇o b a lm o t i o nt h r o u g ha d a p t i n g l m l c ai t e r a t i o na l g o r i t h m t h et h r e el e v e l ss t r u c t u r ee x t e n d st h er a n g eo fm o t i o ne s t i m a t i o na n d a c c e l e r a t e st h es p e e do fm o t i o ne s t i m a t i o n 。o t h e r w i s e , d o i n gm o t i o ne s t i m a t i o nw i t hp r e d i c t i v e l o o k - u pt a b l ei n 托e hl e v e le x c e p tt h et o pl e v e la c c e l e r a t e st h es p e e do f m o t i o ne s t i m m i o nl u t h e r e x p e r i m e n t ss h o wt h a tt h ea l g o r i t h mp r o p o s e di sr o b u s ta n de f f e c t i v e 。 3 。a “d e es e g m e n t a t i o nm e t h o db a s e do nc o l o rm e a ns h i f t c l u s t e r i n ga n dm e s hm o t i o n e s t i m a t i o ni sp r o p o s e d t h ed e n s em o t i o nf i e l di se s t i m a t e db ym e s hm o d e l t h em e s hn o d e sc o l n e f r o mt h ei m a g ef e a t u r e sl o c a t e db yo a b o rw a v e l e tt r a n s f o r m ( 1 3 w t ) ，w h i c hc a nr e d u c et h e i n f l u e n c eo fn o i s ea n dl u m i n a n c ec h a n g e w h e nl o c a t i n gl l l e s hn o d e ，p m b a b i l i t yd e c i s i o na n d d y n a m i cc l u s t e r i n ga r ci n t r o d u c e d a c c o r d i n gt ot h ep r o b a b i l i t yo f g w te n e r g yi n i t i a lp o s i t i o n so f f e a t u r ep o i n t sa r ec h o s e na n dt h e nb yw e i g h t e dd y n a m i cf l u s t e r i n g ，ar e a s o n a b l ed i s t r i b u t i o no f m e s hn o d e so 黻b eo b t a i n e dt oe r t s u t et h e s en o d e sa r el o c a t e do nt h ep o s i t i o n sw h e r et h el o c a l i m a g es t r u c t u r ei sd i s t i n c t , s u c ha ss t r o n ge d g a so rc o m e r s t h ei m a g es p a t i a ls e g m e n t a t i o ni s i m p l e m e n t e d 姆u s i n gm e a ns h i rc l u s t e r i n gi nt h ec o l o rs p a c e 。t h u s , a c c u r a c ys e g m e n t a t i o no f t h e f r a m ei so b t a i n e d t oa c c e l e r a t et h ec o n v e r g e n c e , t h ei m a g es a m p l e da n dq u a s i - n e w t o n o p t i m i z a t i o na r eu s e d f u r t h e r m o r e , n e i g h b o r i n gc o l o ra r e a sa r em e r g e da c c o r d i n g 协s p a t i a la f 。& c o n s i s t e n c y v e r i f y v i d e o o b j e c t sc a n b es e g m e n t e d e x a c t l y b y t h e j o i n t o f c o l o r s e g m e n t a t i o na n d m o t i o nf i e l d 。孙ei m a g es e g m e n t a t i o ne x p e r i e n c e ss h o w t h a tt h es e g m e n t e dr e s u l t sa r es a t i s f i e d 4 ，an o v e la l g o r i t h mi sp r o p o s e dt or o b u s t l yt r a c kv i d e oo b j e c tb yt r a c k i n gn o d e so fm e s h i n t h ep r o c e d u r eo fm e s hr e d e st r a c k i n g , f o re l i m i n a t i n gt h ei n t a r f e r e n c eo f f i n 棼f m a m e 姚t w o a s s u m p t i o n si ss e ti nc a l c u l a t i n g a tf i r s tt r a n s l a t i o nm o d e li su s e dt og e ti n i t i a lm o t i o nv e c t o r , t h e n a m n om o d e ii su s e dt ov e r i f yt h es i m i l a r i t yo f 悫a t u r ew i n d o wa n do b t a i n 柏ep a r a m e t e r so f t h e m o d e w i t hn e w t o n - r a p h s o n ，h e r e a f t e r , l o c a lh e x a g o nm a t c hi s a d a p t e dt oc a p t u r ev i s u a l d i f f e r e n c ea n da d j u s tt h el o c a ld e f o r m a f t o i lt of i n d t h eb e s tm a t c hp o s i t i o n 。t or e d u c et h e s e n s i t i v i 绺o fg r 麟e n td e l a t x , n tm e t h o d , g a b o rw a v e l e ti sa d a p t e dt oc a l c u l a t et h eg r a d i e n t m e a n s h i rc l u s t e r i n g 。r e g i o nr e l a t i o ng r a p h i cw e i g h t e dw i t hn c u t a d a p t e dt or e s o l v eo b s t a c l e si n l o n gt e r mt r a c k i n g , k e yw o r d s ：o b j e c tt r a c k i n g , b l o c k - m a t c h a l g o r i t h m ，g l o b a lm o t i o ne s t i m a t i o n ，v i d e o s e g m e n t a t i o n , m e 掰 ls h i f t , g a b o rw a v e l e tt r a n s f o r m a t i o n , m a s h 上海交通大学学位论文答辩决议书 褫颤对象罪踪在桃频监控、机器人视觉等领域具有广泛应用前景是壹前研究的热 点之一。论文选题具有重要的理论意义和应用价值。论文选题研究工作中取得了如下结 果： 提出了一韩基于多分辨率框架自袂速块匹配算法，提离了精度；撮出了一释多笼 辨率框架稀疏莱用m 估计全局运勘估计算法并经实验表明其计算量小，参数估计精度 上海交通犬学 学位论文版权使用授权书 本学位论文 乍者完全了解学校有关傈留、使用学位论文的规定， 同意学校僳留并向国家有关部门或机构送交论文麴复邸传和电子 版，允许论文被套阅和借阅。本人授权上海交逶大学可以憋本学位 论文的全部藏部分内容编入有关数据瘁进行检索，可以采用影印、 缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在- 年鳃密后适用本授权书。 本学位论文属于 不保密翻。 ( 请在熬上方框内打“0 ”) 学彼论文作者签名： 多翮 攒撂教蜉签名：弓彳罨苏 日期：2 。e 孓# 7 月7 目 日期0 k 再年夕月，圈 上海交通大学 学位论文原创性声明 本人郑重声明：所璧交的学位论文，是本人在蜉师的指导下， 独立进行研究工豫所取褥的成巢。除文中已经注明弓i 用的两容夕卜， 本论文不包含任搿其毽个人或集体己经发表凌撰写遗鲍终菇成栗。 对本文的研究骰毖重要贡献鳇个人和集体，均已在文孛以隳确方式 标明。本人完全意识到本声明的法律结果由本人承掇。 学位论文作者签名：i 翩 日期：2 母。s 年7 月日 ，菱! 量箜燕 第1 章绪论 嗣标跟踪是指通道物体的边缘、局部运动班艇强度( 对 凄和亮度) 豹变纯信息对物体 进行跟踪。通：j 馥跟踪建斑运动物体的时域相关性，不仅可以有效提高运动估计的精确度而 且往褥操作、控毒g 视频对象成为碍麓。弱檬跟踪稚为计算极衽觉研究领域静核心课瑟之一， 融合丁图像处理、模式识别、人工智能、自动控制以及计算机等若干领域的先进技术，在军 事糕擞裁导、橇攘监控、瓿器天裰燮导航、医疗诊断鞋及气象分拆等方瑟有饕广泛趋缓蠲。 程视频监控领域中，数字影像监控的废用场台越来越多，尤其在银行，机场安检等特殊 场合蠢着特定豹要求。数字影像靛控还霹瘸予裹逮公燕与十字路叠事流静魂淼骧控；毯撬器 人视馓导航领域中，通过检铡运动与静止物体，让机器人回避可能遇到的碰撞以实现在复杂 场合瓣蠡壶行走 在医学领域中，运动髫据躁踪主要震于生物医学图像处理，避遘不圈辩栽 图像之间的运动估算获取人体器官的运动变化信息，进而做出反映器官运动功能的窟凝描 述，以便对病情进行判麟，力治疗方案的确定提供麓要的参考依据；在气象分橱中，邋过对 气蒙嫩星传送的序列圈像进行运动估计，可队较准确的估算出风速及风向，对来来的天气情 况进抒预报，辩用于云层跟踪；桎m p e g - 4 压缩缡码标准中，视频对象和背景单独进行匿 缩编妈，可以商效提高视频压缩编码效率；在未来飘联网应桶中，通过独立的视频对象能实 现基于视频内容的存取、粘贴及蠢询检索铸功能，霄助于实现交互多媒体服务，如虚拟会议 系统、虚叛聊天室、变氨式视频教学系统铸。 1 i 研究背景和意义 辩藏远程遵信、诗舞凝秘毫褫宅影王篷之瓣豹薅统赛凝交褥投为模糊，历变土瓣本矮 于某一领域的内容现已逐步渗透到其它两个领域中，对于视频信息的成用要求逐渐由播放转 自基予瘫容( c o n t e n t - b a s e d ) 静谤翘搡幸# 。在这静鹜爨下，黧瓣标准瓴缝织( i s o ) 一f 舱逡动 图像专家组( m p e g ) 和国际电子委员台发展了一个新的视频标准：m p e g - 4 ”。m p e g 4 憩重东靛是综会三个领域静逶惹瞧瘦蠲，戳提供倭予交互静齑频一橇凝编羁、辩匿缩 0 耱运 用访问能力。为了能够及时采用迅速发展的相关技术，m p e g 4 标准采用开放澎式来保证标 雄豹态度灵活瞧察扩震瞧。 视频目标分割和跟踪是基予内容的视频表牙鼍、处理以及压缩的重要组成部分。在 m p e g - 4 标臻串，撬额痔舞禳努释戒不霹静磊标，称舞橇颓磊糠平瑶v i d e oo b j e c t p l a n e s * v o p s ) ，如图i - 1 所示。v o p s 既可以通过空间一致性来定义，也可以通过运动一致 瞧采竞义。m p e g - 4 串静嚣蠢努麓就是将耱入囤像努裁藏囊藏语义含义下豹器栎区域，静每 一个分割区域代表一个对应真正谱义含义的目标区域。 上海交避丈学博圭学位论文 ( a ) 艨始帧( b ) 背景( c ) 视频目标 图i - i “c l a r e ”序列中的视频分艨 f i g 1 * 1l a y e ro f “c l a r e ”s e q u e n c e 视频对象粒瓣空演化可以通过锻l 中逡劫帮亮度变化来撼遮。运动售计是视频对象跟踪技 术戆接心，遥避它给鹜像竣孛每巾豫豢分配一个运动矢薰。运稿售谤静赣废越焘，滚波越快， 运动跟踪的准确度就越高，实时性就越好。 本论文的翩始课题来源是与1 9 率v - q u e s t 公司的合作研究项目一视频图像格斌转换。运 动估计方法魑该项目的研究重点。早期的视频压缩标准，如h 2 6 3 ”、m p e g 1 2 ”采用的是 基于块的运动袋示方法。这种运动横戳把图像划分成非重撼的方块，茹假设块内嚣像索只作 据嚣舞弱体乎移逡凌，箕运动模銎惩块瓣乎移运凄寒接述 4 1 ，箕爨熹是诗算筵渍，鸯筋实褒， 在一定程度上可珏满足视频存祷帮健输的要求。本文缝合褫频豳像格式转换的研究。对基于 块的运动估计方法进行过大量的研究工作，并取得了阶段性的成果。通过块匹配算、法的研究 结果表明块熙酉己算法在运算复杂鹰和恢复图像信噪比两糟乏间取得较好的折衷，但不能很 好地处理非剐性和变形目标的运动估计。此外，基于块的视频表示方法很难进行罄予内容交 互( 缓辑、操传、访闫等) 鞋及逶避精确魏运动彝边器建攘送行内容塞适应朗巍频始理。 为了趸好燎摇述视频中酶运动傣崽+ m p e g - 4 撵凄2 1 3 旗杰弼格模型的概念。掰谓动态 阿格模型不仅指网格的形状和拓扑结构，还包括所有丽格的节点在一段时间内的遮幼信息。 基于网格模戳的运动表示方法p j 埽早煅在有限元方法中用于建模和分析。通过刚格模型可以 有效地处理平移、旋转以及缩放等簸杂运动，有效提高视频压缩效率【7 】。 1 2 嚣究内容 本论文围绕视频对象跟踪涉及的濉点和关键问题，对快遵块匹配算法、快速众局遥动参 数估计、视频对缘分割和视频对象跟踪四个方面进行了研究。上述的几个研究内容都涉及到 运动估计技术，毙对运动估计技术韵现状进行论述。 1 2 1 运动镳计技术的发展现狡 在对运动属性缺乏了解的情况下，= 维运动估计是一种“不适定”问题。所谓“不造定” m 问题，就是阍题不存在唯一的嘏或解不连续地依赖于数据+ 主要表现为： 2 第l 章绪论 ( 1 ) 解的存在性：在前后两幅图像中，目标的运动会造成背景覆盖和露出，称为“遮挡” 问题。覆盖，露出像素在前后两幅图像中不存在对应关系，这些象素运动估计的解不存在。 ( 2 ) 解的唯一性：如果每个像素的位移( 或速度) 分量被当作独立变量，那么未知量个 数是像素个数的两倍，将导致解不唯一，这种问题称为“孔径”问题。 ( 3 ) 解的连续性：运动估计对于图像序列中的噪声非常敏感，很小的噪声都可能引起运 动估计中很大的偏差。 由于二维运动估计具有“不适定”的性质，那么运动估计算法需要有二维运动场结构的 附加假设模型。该模型主要分为两大类；参数模型和非参数模型。 参数模型 参数模型是为了描述曲面的三维运动( 位移和速度) 在图像平面上的正交或透视投影。 一般来说，三维曲面的表达式决定了带参数的二维运动场模型。例如。一个由平面的三维刚 体运动产生的二维运动场，在正交投影下，可用6 个参数的仿射模型描述：在透视投影下。 可用8 个参数非线性模型描述。 非参数模型 由于参数模型的主要缺点是它只适用于三维刚体运动，所以可将非参数均匀性( 平滑度) 约束条件强加于二维运动场。传统的非参数方法有以下几种： 1 基于光流方程( o f e ) 的方法 试图依据时空图像亮度梯度得到一个光流场的估算【8 】。在绝大多数情况下，需要一个适 当的平滑度约束条件。该方法的缺点在于不同的物体可能会有相同的空间梯度丽导致错误 的匹配，同时光照的变化也会引起运动估计错误。 2 基于像索的运动估计方法 像素递归法”1 是一种预测校正型位移估计器，估值器通常采用递归形式。通过在像素点 上执行一次或多次迭代，进而到扫描方向上的下一个像素。该算法计算简单，但非常耗时且 精度很低。 3 基于块的运动估计方法 块匹配法是最简单的运动估计方法【1 1 - 1 3 1 。它将图像分成许多固定大小的像素块，且块间 不重叠，通过将每一个像素块在上一帧的一定范围内搜索得到最优匹配，由此产生的偏移矢 量就是该像素块的运动矢量。基于块的运动估计方法优点是易实现，计算简单，但存在块效 应等问题。 4 频域方法 常用的频域方法是相位相关法1 1 4 l ，其原理是通过快速傅立叶变换( f f t ) 对两个相继场 进行频谱分析，由频谱问的相位差产生一个三维的相关性面。这个面具有与场景中每个运动 物体对应的山峰。每个物体的运动方向和大小可以从面上的山峰的位置导出。这种方法的优 3 上海交遁大学博士学倥论文 点是各个运动物体速度和方向是实际测量得到，而不是估计娥岁 推的；不易丢失小物体( 产 生高频分量) ，运动估计简化，不必题髑已所有可能的运动，而且可以达到予像素的精度。但 是，频谱分析使得运算复杂化。 5 b a y e s i a n 方法 在绘定嚣簸缓攀分毒熬馕嚣下，薅逡劫场番捧是蕤羲璐瓣一次其薅实瑗，英审遮耱结诗 闻题是作为最大后验概率( m a p ) 估计给出的嘲。m a p 公式需要两个概率密度函数( p d f ) ： 一是给定运动场下，下一帧图像的_ 薪件概率密度函数，称为似然模型或观察模型；另一个是 运动矢量的先黢概率密度函数，称为逡动场模型。另外，谯m a p 估计的基本公式中，假设 观察模型是商辑型的，用来加强与戏察结莱豹一致性；运动场模型是吉拍斯( g i b b s i a n ) 模 壅，建亲热强熬裁静全届平滑鳕藤条撵。b a y e s i a n 方法遴褥遥动售诗藐够产生分段警漕瓣运 动场，但撮耗时而且依赖参数的选取。 近几年来，随着应用范围的扩犬，逶动估计的精度要求越来越高，由此产生了一系列新 的问题。为解块这些问题，近年来嗣外的一些专家、学者储助于其他学科的成果，尤其是数 学领域的新方拣。提出了一些改进方法，比较青代表型的礴： l 。二遴蘩特镊匹琵法 该方法也称分层特征匹配运动估计方案( h f m - m e ) 。与传统块匹配不同的怒，该方 法不是利用巍殿进行匹配，而是定义了符号截断标志( s t f ) 用于模板匹配。其中，数据块 由一个均值和= 进位模式来表示，旺黻的过程分为均值匹两己和= 进制相位匹配。与传统的块 匹配比较。每 舞复杂度降低，同对照瓣过程加抉，原翻是= 滋镧相位匹配只涉及裂搿尔逻辑 运算。嚣蠢s t f 盼使焉减步了赣存秘逡动佳诗器之嚣戆数攒铸输辩阕。 2 基于区域的运动估计方法 对图像进杼区域划分，通常有两种方法”】。一是根据纹理进行划分，但缺点最每个区域 中会包含不同的运动；二是根据运动避 行划分，使各个区域的像素具有相同的运动特征。两 释方法零要潢怒：不褥区域之闯豹交集为空，辑有区域的弗集为整个图像。基予酝域熬方法 霹鞋尧疆“i b 镣” 蠢蘧，蠢显霹噪声举敏感。 3 基于网格的运动估计方法 为了解决熬于块的估计方法所产嫩的块虚像以及运动场不连续的问题，提出了熬予网格的 运动估计方法【1 8 ”1 。当前帧或预测帧由网格覆盖，由各个节点将整幅图像分为规则绒不规则 静小块( p a t c h e s ) ，且探涯所有块的势粲为整揠强缘，各个坎躲交集为空。运动睡计的遘疆 蔬廷寻我务繁感瓣运动矢量，傻褥臻溺黻中与当蘸赣孛静露趱块摇匹配，每卞涣内郫豹赢由 节点位移矢量插值得到，由此褥到遮动矢量场。优点是直嬲、带省计算量，而且岛传统的块 匹配方法相比，提供了更优越的运动跟踪和重现技术，特别撼在旋转、缩放等比较复杂的运 动情况下。该肖法可以用于基于对象的编码以及基于区域的编码( m p e g 4 ) 。 毒 第l 章绪论 近年来，国外的专家、学者对基于网格的运动估计方法和跟踪方案进行了不断的深入研 究。b r u s e w i t z 5 】提出基于三角形网格的运动补偿技术，三角形顶点的运动矢量通过光流方程 来求解，再对每个三角形内部线性插值得到运动矢量场；s u l l i v a n 和b a k e r t 6j 等人提出采用四 边形网格运动补偿，通过最小亮度预测误差搜索节点最佳运动矢量；n a k a y a l 2 8 】等人提出采 用局部最优搜索策略( 六边形匹配) 进行三角形网格或四边形网格的节点运动估计和补偿； d u d o n l 2 9 1 等人设计了一种自适应网格，利用六边形匹配提高运动补偿预测；w a n g 等人p o 川 提出基于活动网格的能量优化运动补偿算法；a l t u n b a s a k 等人旧提出了基于内容的网格设计 和跟踪的实用算法，网格节点放置在运动目标的边缘及角点等特征区域，并使节点的密度与 局部运动成比例。s z e l i s i k i 和s h u m 3 3 提出分层网格模型进行节点运动估计。 最初，基于网格模型的视频表示方法是建立在整幅场景上的，即二维网格模型给运动矢 量场施加了全局平滑约束来实现无块效应的帧重建，但也导致了在变化剧烈的边界运动场模 糊。所以，为了保证网格模型在视频对象边界保持运动场不连续，就需要进行视频对象分割。 也就是将整个图像帧分为若干对象，在每个对象内部建立变形网格。s c r o d e r t “瞧出基于对 象的网格模型。利用基于对象的网格模型进行视频对象跟踪，可以提供更精确的视频对象运 动边界跟踪，不仅可以有效跟踪物体局部运动和强度变化，而且能够更真实地表示单个物体 的物理运动，实现对视频对象的连续跟踪，同时可以有效克服块匹配方法中出现的块效应， 产生光滑的运动矢量场。 1 2 2 快速块匹配算法 块匹配法( b l o c km a t c ha l g o r i t h m ，b m a ) 是由j a i n l 3 5 】在1 9 8 1 年提出的匹配技术，如 图1 - 2 所示。它在算法的复杂性与匹配精度上达到较好的统一，可以取得比较理想的匹配效 果。在进行块匹配前，通常要设定一个搜索范围，如图1 - 2 中的虚线范围所示。尽管块匹配 算法有“块效应”问题，但是由于它相对的计算量小，实现简单，在实际中被广泛使用。 b m a 是h 2 6 3 、m p e g - 1 2 4 的标准估计算法。 囤1 _ 2 块匹配运动估计 f i g 1 - 2b l o c km a t c hm o t i o ne s t i m a t i o n 上海交通大学博士学位论文 块匹配方法中晟简单的是全搜索( f u l ls e a r c h , f s ) 算法。它依次与搜索窗口内每个位 置的图像块进行比较，可以获得准确匹配结果同时也带来大的计算量。因此，如何在保证 运动估计准确的前提下提高运动估计速度是非常有实际意义的。目前已经有多种快速算法被 提出，如三步搜索【1 1 】，四步搜索【1 2 】和钻石搜索等。 1 2 3 全局运动估计 在视频的拍摄过程中，摄像机可能会发生各种运动。摄像机的运动反映到视频序列中， 体现为背景图像的运动。在含有背景运动的图像序列中。前景目标的自身运动同背景运动叠 加在一起，给分离前景目标带来了困难。 全局运动估计( g l o b a lm o t i o ne s t i m a t i o n , g m e ) 就是根据一定的镜头运动模型，利用视 频序列中背景的运动信息得到镜头运动模型的具体参数。它的目的是通过获得的背景图像运 动信息，便于视频图像内容分析、编码或运动目标跟踪。全局运动估计在视频压缩与编码、 动态场景分析、视频内容分析 3 9 】和运动目标跟踪等数字视频处理方面有着广泛的应用，如 s p r i t e 编码f 4 0 】、全局运动补偿编码h 1 4 2 】、生成s p