（模式识别与智能系统专业论文）基于主动网络运动补偿方法的研究与应用.pdf

摘要 基于主动网格运动补偿方法的研究与应用 摘要 运动补偿方法可以广泛应用于视频格式转换、视频编码和运动目标跟踪等领域，本论文 的主要应用背景是视频格式转换。觇频格式转换技术使得各种视频系统之间的信息具有可交 换性，其重要意义是不同制式的影视媒体终端可以共享相同的视频源，使得各种节目源获得 更广泛的传播，伴随网络技术的迅速发展，视频源的共享将具有重大的应用价值。 低帧率视频向高帧率视频转换。又称为“上行转换”，仍存在许多尚未解决的技术难点， 是目前国内、外正在研究的课题。运动补偿方法是帧率上行转换的主要解决方案，通过运动 补偿可以获得真实的运动信息，具有很清晰的效果，消除了普通线性方法的闪烁和模糊现象。上， 本文作者利用块匹配运动补偿方法实现帧率上行转换，曾经进行过大量研究工作，取得了阶 段性的成果，块匹配算法在运算复杂度和恢复图象信噪比三者之间取得比较好的折衷。通过 对块匹配算法的研究结果表明，块匹配算法适合于处理平移运动，但是对于缩放和旋转等复 杂运动容易产生比较明显的“块效应”，对于非刚性和变形目标的运动补偿计算显得很困难。 作者关于块匹配运动补偿的研究内容由于篇幅限制，在本论友中不作详细阐述。 本论文的研究目标在于针对块匹配方法存在的不足，采用基于图像内容的特征点提取方 法，建立适应于图像内容的主动网格，利用主动网格获得局部运动场的良好逼近，进行运动 补偿图像重建，本论文研究的基于主动网格的运动补偿方法是实现帧率“上行转换”的有效 途径，该方法在视频格式转换中取得了满意的结果。 2 3 4 5 论文在建立主动网格和基于网格的运动场估计，补偿方法方面有如下创新 在主动网格节点的生成过程中引入了概率决策的方法。与以往方法不同之处在于，不直 接以g w t 能量系数大小作为特征点选择依据，而是以能量决定的概率分布得到特征点 分布，作为主动网格的节点。可以有效消除噪声和光照变化带来的影响。 提出基于特征点g w t 能量加权的动态聚类方法。该聚类方法使网格节点的尽可能分布 在边界和角点等结构特征明显的位置，以利于网格节点的帧间跟踪。该聚类方法保证了 网格节点的合理分布，避免了运动估计不准确造成的网格拓扑结构改变。 提出一种精确的主动网格节点运动估计方法。为了消除计算过程中仿射模型参数的互相 干扰，在运动矢量估计过程中对仿射运动模型作了两次假设，采用平移模型作初始匹配， 然后用仿射模型的变形参数校验特征窗e l 相似度，并采用n e w t o n r a p h s o n 梯度下降法 计算运动模型参数，得到了亚像素精度的运动矢量估计。 提出一种快速稳健的背景运动估计方法。利用h u b e r 函数对背景和前景运动物体的像素 点快速分类。使得全局运动估计采用的是背景像素点数据，减少前景像素对仿射运动模 型参数估计的影响。 将主动网格运动补偿方法应用于运动图像重建和帧率转换。基于主动网格的运动补偿方 法消除了b v i a 运动补偿的块效应和边界的不连续现象；同时提出一种混合运动补偿的 去隔行方法，取得了满意的效果。 论文内容安排如下： 第一章回顾了运动补偿技术及其应用领域。 上海交通大学博士学位论文 第二章采用概率决策的方法提取图像中的特征点。采用g a b o r 小波计算能量系数，特征 点的选择依据能量系数确定的概率分布来确定，为了得到合理的特征点分布，采用特征能量 加权动态聚类，使得聚类中心集中在图像特征最重要的位置，特征点作为网格节点，用于建 立基1 = 图像内容的主动网格或目标的网格模型。 第三章。采用增量式d c l a u n a y 算法生成主动三角形网格，网格元素内部包含有相似的局 部特征。用主动网格描述图像内容将复杂的图像通过网格模型进行描述，建立主动网格结 构的约束和索引关系。 第四章，网格运动补偿方法要得到好的效果，网格节点的运动矢量估计必须精确，估计 算法必须对各种运动模式有较强的适应性。本章提出一种不同于其它网格节点估计的方法。 通过对误差代价函数的优化，计算特征窗口的最佳运动补偿匹配，从而计算出网格节点的运 动矢量估计值。仿射运动模型参数的估计误差通常对运动矢量匹配有很大的影响。通过平移 运动矢量的估计寻找晟佳匹配，结合仿射变形参数a 的估计，校验特征点的相似性，纠正 不正确的估计，避免n e w t o n - r a p h s o n 梯度法收敛于不正确的局部最小值。采用g a b o r 小波 计算图像梯度信息，可以从很大程度上抑制n e w t o n - r a p h s o n 对噪声的敏感。 第五章，探讨基于主动网格的运动补偿重建运动图像的技术。首先采用基于图像内容的 主动网格分割图像，然后估计运动场，最后采用网格空间变换熏建运动图像。基于主动网格 的运动场估计，可以得到完全光滑的运动场，对网格小块内的运动细节也具有很好的近似估 计，克服了边界运动补偿不连续现象和块效应问题。 第六章，以视频格式转换为应用背景：( 1 ) 提出一种自适应的混合运动补偿去隔行方法。 混合运动补偿去隔行方法很好地解决了运动矢量估计不准确对去隔行插值的影响，对各种方 法采取自适应加权，可以最大程度上弥补各种方法的缺陷；( 2 ) 采用主动网格运动补偿技术 进行帧率上行变换，以获得更高的时间分辨率。 第七章。提出一种快速稳健的背景运动估计方法。利用图象序列中的时间冗余信息，通 过采样稀疏的像素点，减少仿射模型参数估计过程的计算量；并采用h u b e r 函数区分背景和 前景运动物体的像素点，使得运动矢量估计过程采用的是背景像素点数据，减少前景运动物 体像素对估计的影响。 第八章，对本论文的总结和展望。j 7 一 关键词：运动补偿：运动估计：主动网格 i i 图像分割图像 摘要 r e s e a r c ho na c t i v em e s h b a s e dm o t i o n c o m p e n s a t i o n m e t h o da n di t s a p p l i c a t i o n a b s t r a c t m o t i o nc o m p e n s a t i o nt e c h n o l o g yc a l lb e a p p l i e d t om a n yf i e l d s , s u c ha sv i d e os t a n d a r d s c o n v e r s i o o ，v i d e oc o d i n ga n dm o v i n go b j e c tt r a c k i n g 零h eb a c k g r o u n do ft h et h e s i si s d i g i t a l v i d e os t a n d a r d sc o n v e r s i o n s t a n d a r d sc o n v e r s i o nt e c h n i q u e ，w h i c hc a l lm a k em a n yv i d e os y s t e m s e x c h a n g e a b l e ，h a sg r e a ta p p l i c a t i o nv a l u e c o n v e r s i o nf r o ml o wf r a m ef r e q u e n c yt oh i g hf r a m e f r e q u e n c y , w h i c hi sc a l l e du p - c o n v e r s i o n s t i l lr e m a i n su n s o l v e da tp r e s e n t m o t i o nc o m p e n s a t i o n m e t h o 如w e r ec o n s i d e r e dd e s i r a b l ef o ru p - c o n v e r s i o np r o c e d u r e r e a lm o t i o ni n f o r m a t i o nc a r lb e c o m p u t e db ym o t i o ne s t i m a t i o nt e c h n o l o g y , t h em o v i n go b j e c t sa r ec l e a ri nt h er e c o n s t r u c t e d f r a m e s t h e r ew e r en os e r i o u sb l u ra n dt i c k e rb ym o t i o nc o m p e n s a t i o nu p c o n v e r s i o nm e t h o d m a n yr e s e a r c ho nb l o c km a t c h i n gm e t h o d sh a v eb e e nd o n e ，s i n c eb l o c km a t c h i n gm e t h o d c o m p r o m i s e si nc o m p u t a t i o n a lc o m p l e x i t y , c o m p r e s s i o nr a t i oa n di m a g er e c o n s t r u c t i o ns n r b u t b m as u i t st r a n s l a t i o np a a e mr a t h e rt h a nz o o m i n ga n d r o t a t i n gp a r e r n s a l s ob l o c ka r t i t h c t sw i l l c a u s e b l o c ka r t i t h c i s w h i c hi ss e n s i b l et oh u m a ne y e s t h er e s e a r c hw o r k so fa u t h o ro nb m a w e r en o tp r e s e n t e dl nt h i st h e s i sf o rr e a s o no f t h e s i si e n g t hl i m i t a t i o n t h ea i mo f t h et h e s i sl st oo v e r c o m at h ed i s a d v a n t a g e so f b l o c k m a t c h i n g m e t h o dl i s t e da b o v e t h ec o n t e n t - b a s e df e a t u r e p o i n t se x t r a c t i o nm e t h o di sp r o p o s e d a c t i v em e s h i su t i l i z e di nm o t i o n c o m p e n s a t i o ni m a g er e c o n s t r u c t i o n b ya c t i v em e s h ，av e r y9 0 0 da p p r o x i m a t i o nt ol o c a lm o t i o n c a l lb ea c h i e v e d t h i s a p p r o a c hh a db e e ns u c c e s s f u l l yu s e d i ot h ef r e m e r a t ec o n v e r s i o n a p p l i c a t i o nf i e l d 。e x p e r i m e ms h o w s b e t t e rr e s u l t si nd i g i t a ls t a n d a r d sc o n v e r s i o n t h en e wi d e a so ft h i s t h e s i si nc o n s t r u c t i o no fa c t i v em e s ha n dm e s h * b a s e dm o t i o n e s t i m a t i o n c o m p e n s a t i o na r el i s t e da sf o i l o w s ： j 。i n t r o d u c e sp r o b a b i l i t yd e c i s i o nm e t h o di nt h ep r o c e d u r eo fa c t i v em e s hn o d eg e n e r a t i o n t h em e t h o dl sd i f f e r e n tf r o mt h et r a d i t i o n a lm e t h o d s nt h 融w eo s e p r o b a b i t i t y d i s t r i b u t i o nd e t e r m i n e db yg w t e n e r g yr a t h e rt h a nt h ee n e r g yc o e f f i c i e n t st oo b t a i n f e a t u r ep o i n t s ，w h i c hs e r v ea sa c t i v em e s hn o d e s i tc a n e f f e e t i v e l yr e d u c et h ej n f l u e n c eo f n o i s ea n di l l u m i n a t ev a r i a t i o n 2 t p r o p o s e s ag w te n e r g y w e i g h t i n gd y n a m i cc l u s t e r i n g m e t h o df o rf e a t u r e p o i n t s c l u s t e r i n g 1 tc a nm a k em e s hn o d e sd i s t r i b u t ei nr e g i o n sw i t hs t r u c t u r ei n f o r m a t i o n , s u c h a sb o u n d a r i e sa n dc o r n e r s ，t ot r a c kt h en o d e sw i t h i nf r a m e s i na d d i t i o n ，t h ec l u s t e r i n g m e t h o de n s u r e st h a tar e a s o n a b t ed i s t r i b u t i o no fm e s hn o d e s ，a v o i d st h ec h a n g e so fm e s h t o p o l o g yi n t r o d u c e sb yi n a e e u r a t em o t i o ne s t i m a t i o n 。 3 p r o p n s ean o t e lm o t i o ne s t i m a t i o nm e t h o do fa c t i v em e s hn o d e s 。t w oh y p o t h e s e s 融 m o t i o nv e c t o re s t i m a t i o na r eu s e dt or e d u c et h e i n t e r - d i s t u r b i n g o fa m n em o d e l p a t a m e t e r s t h a ti s ，t r a n s l a t i o nm o d e li s u s e df o ri n i t i a im a t c h i n ga n dt h e nd i s t o r t i o n p a r a m e t e r so f t h e8 躜辩m o d e la r ea p p l i e dt ot e s tt h es i m i l a r i t yo ff e a t u r ew i n d o w a l s o n e w t o n r a p h s o ng r a d i e n td e s c e n tm e t h o d i s a d o p t e dt oc a l c u l a t e m o t i o nm o d e l p a r a m e t e r s a n das u b - p i x e lp r e c i s i o nm o t i o nv e c t o re s t i m a t i o nc a nb eo b t a i n e d 4 p r o p o s e s af a s t r o b u s tb a c k g r o u n dm o t i o ne s t i m a t i o nm e t h o d h u b e rf u n c t i o ni su t i l i z e d i i i 上海交通大学博士学位论文 t oc l a s s i f yt h ep i x e l so fb a c k g r o u n da n df o r e g r o u n d o n l yt h eb a c k g r o u n dp i x e l sa r e e m p l o y e di nt h eg l o b a lm o t i o ne s t i m a t i o n ，w h i l ef o r e g r o u n dp i x e l sh a v el i t t l ee f f e c t so n t h ep a r a m e t e r se s t i m a t i o no f a f f i n em o t i o nm o d e l 5 a p p l i e sa c t i v em e s hm o t i o nc o m p e n s a t i o nt of r a m er a t ec o n v e r s i o n ，t h eb l o c ka r t i f a c ta n d b o u n d a r yd i s c o n t i n u i t yp r o d u c e db yb m am e t h o dc a l lg r e a t l yb ee l i m i n a t e d ，i na d d i t i o n ， an e wh y b r i dm o t i o nc o m p e n s a t i o nd e - i n t e r l a c i n gm e t h o dw a sa l s op r o p o s e d ，a n dw e o b t a i n e db e t t e rr e s u l t st h a nl i n e a rm e t h o d sd o t h e s c o p eo f t h i st h e s i si sa sf o l l o w s ： t h ef i r s tc h a p t e rb r i e f l yr e v i e w st h em o t i o ne s t i m a t i o n c o m p e n s a t i o nt e c h n o l o g ya n di n t r o d u c e s i t sa p p l i c a t i o nf i e l d s i nt h es e c o n dc h a p t e r , p r o b a b i l i t yd e c i s i o n - b a s e df e a t u r ep o i n te x t r a c t i o nm e t h o dw a ss t u d i e d t h es e l e c t i o no ff e a t u r ep o i n t si sd e t e r m i n e db yi t s p r o b a b i l i t yd i s t r i b u t i o nc o m b i n i n gw i t hg w t e n e r g y i no r d e rt og e tar e a s o n a b l ef e a t u r ep o i n t sd i s t r i b u t i o n ，ad y n a m i cc l u s t e r i n ga l g o r i t h m c o n s i d e r i n gl o c a lf e a t u r es i g n i f i c a n c ew a sd e s i g n e dt oe x t r a c tt h em o s ti m p o r t a n tf e a t u r e t h i ss t e p a i mt os e tu pa na c t i v em e s hn o d e ss e tf o rt h em o t i o np i c t u r eo ri n t e r e s t e do b j e c t s i n c r e m e n t a ld e l a u n a yt r i a n g u l a rm e s hg e n e r a t i o na l g o r i t h mi si n t r o d u c e di nt h et h i r dc h a p t e r , w h i c hm a k ea l lt h et e x t u r eo rg r a yv a l u ea r eh o m o g e n e o u si nt h es a m ep a t c h w es e tu pa c o n s t r a i n tr e l a t i o no fm e s ha c t i v es t r u c t u r ea n dt h ei n d e xl i s tf o ra l lo f t h em e s hp a t e h a sb yw h i c h w ec a nd e s c r i b eac o m p l e xi m a g e t h o s er e l a t i o n sh a v e g r e a tv a l u e i nm e s h - b a s e dm o t i o n c o m p e n s a t i o nt e c h n o l o g y i nc h a p t e r4 ，an o v e lm o t i o ne s t i m a t i o nm e t h o df o ra c t i v em e s hn o d e si sd e s c r i b e di nd e t a i l a e r r o rc o s tf u n c t i o no p t i m i z a t i o np r o c e d u r ei sd e s c r i b e df o rt w of e a t u r ew i n d o w s i ns u c c e s s i v e f r a m e s t oo v e r c o m et h ee s t i m a t i o nc i t e ro f a f f i n em o d e l p a r a m e t e r s ，t r a n s l a t i o np a t t e r ni su s e dt o e s t i m a t i o nt h em o t i o nv e c t o r , a n da f f i n em o d e lw a st h e nt a k e nt ov a r i f yt h e s i m i l a r i t y i n c h a p t e r5 ，a c t i v em e s h b a s e dc o m p e n s a t i o nm e t h o dw a sd e s c r i b e df o ri m a g es e q u e n c e r e c o n s t r u c t i o n f i r s t l y , ac o n t e n t - b a s e di m a g es e g m e n t a t i o ns t e pw a sd o n e ；s e c o n d l 5m o t i o nf i e l d w a sc o m p u t e df o rt h ew h o l ei m a g e ；a tl a s t , w ed i ds p a t i a lt r a n s f o r mf o rt h em e s hs t r u c t u r e a f a i r l ys m o o t hm o t i o nf i e l dc a nb ec o m p u t e db yt h i sm e a n s ，b l o c k - a r t i f a c t sd on o te x i s ta n y m o r e ， a n de d g ec o n t i n u i t yc a nb ep r e s e r v e dv e r yw e l l s m a l ll o c a lm o v e m e n tc a l la l s ob ea p p r o x i m a t e d s a t i s f a c t o r i l y i nc h a p t e r6 w et a k et h ea c t i v em e s h c o m p e n s a t i o nm a t h o df o rv i d e of r a m e - r a t eu p c o n v e r s i o n ( 1 ) a h y b r i dm o t i o nc o m p e n s a t i o na p p r o a c hf o rd e - i n t e r l a c i n g l i n e a rw e i g h t i n gc o m b i n i n g w i t h m o t i o nc o m p e n s a t i o ni sp r e s e n t e d t h e s em e t h o d sw o r ki nac o m p l e m e n t a r yw a y , a n do v e r c o m e d i s a d v a n t a g e so f e a c hm e t h o d ( 2 ) a c t i v em e s h b a s e df r a m er e c o n s t r u c t i o ni su s e df o rf r a m er a t e c o n v e r s i o nt oi m p r o v e h i g ht e m p o r a lr e s o l u t i o n i nc h a p t e r7 ，af a s ta n dr o b u s tb a c k g r o u n dm o t i o ne s t i m a t i o nm e t h o di s p r e s e n t e d c l a s s i f yt h e f o r e g r o u n da n db a c k g r o u n dp i x e l sb yh u b e rf u n c t i o n ；t h ep a r a m e t e re s t i m a t i o np r o c e s sc a n e l i m i n a t et h ei n f l u e n c ec a u s e db yf o r e g r o u n dd a t a i nt h el a s tc h a p t e r , c o n c l u s i o nw a sm a d ea n df u t u r ew e r kw a sa l s os t a t e d k e y w o r d s ：m o t i o nc o m p e n s a t i o n ；m o t i o ne s t i m a t i o n ；a c t i v em e s h ；g a b o r w a v e l e t st r a n s f o r m ： f e a t u r e p o i n t se x t r a c t i o n ；i m a g es e g m e n t a t i o n ；d e l a u n a y a l g o r i t h m ；i m a g e r e c o n s t r u c t i o n ；d i g i t a lv i d e o s t a n d a r dc o n v e r s i o n ；b a c k g r o u n dm o t i o ne s t i m a t i o n i v 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在一年解密后适用本授权书。 本学位论文属于 不保密口。 ( 请在以上方框内打“4 ”) 学位论文作者签名：徐太为 疆期：加戽9 月 o 日 指导教师签名：赢1 锨 日期乒咀年弓月如日 上海交通大学 学位论文原刽性声骥 本人郑重声明：所呈交的学位论文，是本人在导师的指鼯下， 独立进行研究工作所取得的成果。除文中已经濂明引用的内容外， 本论文不包含任何其他个人或集体已经发表或撰写：过酌作晶成果。 对本文的研究做出重黉贡献的个入秘集体，均滋在文中敬髓礁方式 轹萌。本久完全意识溺本声鳞戆法律绩果出本人承担。 学位论文 乍者签名：， 豁斋 日期：神二年7 月：；一日 第一章绪论 第1 章绪论 1 1 运动估计技术回顾与进展 空间的运动信息具有三维特征，在成像平面上只能反映出三维信息的二维正交投影，二 维运动指的是三维运动在图像平面上的正交投影，运动矢量的大小和方向反映在图像序列中 就是同一像素点在帧间的位移。 运动估计通过帧间的灰度变化来估计实际的运动矢量，估计过程往往受到一些因素的影 响 1 ：( i ) 如果缺乏足够的灰度变化信息，实际被观测到的运动就不能得到反映，比如在光 滑旋转球实验中，绕中心旋转的光滑圆球的旋转运动是不可估计的；( 1 i ) 如果帧问的光照 变化完全改变，即使没有运动，还是可以计算出物体的运动场信息，但已经不是真是的运动 信息：( 1 1 1 ) 光照的变化、阴影和遮挡都被认为是光流估计不准确的原因。 运动场通过求解光流约束方程可以得到像素点的运动矢量【6 4 】。通常，光流方程是一个 病态方程，这个问题可以这样解释【2 】：在运动属性缺乏附加假设的情况下，仅依据两帧图 像来阐述像素点对应或光流估计，是一种“不适定”的问题。不存在唯一的解，然而运动估 计具有解的存在性，唯一性和连续性等全部问题。 解的存在性：在前后两幅图像中，目标的运动会造成背景覆盖和露出，这是我们所 知的“遮挡”问题。覆盖僻出象素在前后两幅图像中不存在对应关系，即这些解 不存在； 解的唯一性：如果每个象素的位移( 或速度) 分量被当作独立变量，那么未知量个 数是已知量个数( 象素个数) 的两倍，将导致解不唯一，这种问题称为“孔径”问 题； 解的连续性：噪声对估计的影响显著，微小的噪声引起估计的巨大偏差。 1 1 1 经典运动估计技术 运动估计算法很多，大致可以分为非参数估计法和参数估计法。由于二维运动估计具有 “不适定”的性质，运动估计的算法需要有关二维运动场结构的附加假设模型。 1 1 1 1 参数模型 参数模型是为了描述曲面的三维运动( 位移和速度) 在图像平面上的正交或透视投影。一 般来说，三维曲面的表达式决定了带参数的二维运动场模型。例如，一个由平面的三维刚体 运动产生的二维运动场，在正交投影下，可用6 个参数的仿射模型描述；在透视投影下，可 用8 个参数非线性模型描述【3 】。对于二次曲面还存在更复杂的模型【4 】。 1 1 1 2 非参数模型 由于参数模型的主要缺点是它只适用于三维刚体运动，所以可将非参数均匀性( 平滑度) 约束条件强加于二维运动场。传统的非参数方法有以下几种： 上海交通大学博士学位论文 基于光流方程( o f e ) 的方法 可以观察到的或明显的2 ，d 运动矢量的速度，称为光流。基于光流的方法试图依据 时空图像亮度梯度得到个光流场的估算1 6 4 。在绝大多数情况下，需要一个适当的平 滑度约束条件。需要注意的是：整体平滑度约束条件会引起遮挡边界的不准确运动估算。 更先进的方法是利用有向平滑度约束条件【5 】，允许运动场中有突变的间断点。但是该方 法的缺点在于不同的物体可能会有相同的空间梯度，而导致错误的匹配，同时光照的变 化也会导致运动估计错误。 基于象素的运动估计方法 6 1 象素递归法是一种预测校正型位移估计器，估计器通常用于递归形式。通过在象素 点上执行一次或多次迭代，接着进而到扫描方向上的下一个象素，因此得名象素递归法。 每一个象素的估算步骤是在估算值上强加一个局部平滑约束条件，修正步骤是加强光流 条件，根据位移帧差二次方的最小化来得到修正值。该算法计算简单，但非常耗时且精 度很低。 基于块的运动估计方法? 块匹配算法【7 】 8 】是8 0 年代以后提出的一类算法，现在这类算法已成为运动补偿算 法的主流。它将图像分成许多固定大小的象素块，且块问不重叠，通过将每一个象素块 在上一帧的一定范围内搜索其最优匹配，由此产生的偏移矢量，即为该象素块的运动矢 量。块匹配算法基于两点基本假设：一个是分在同一块内的象紊的运动方向一致。另一 个是预测误差随远离匹配点而单调增加。现存的块匹配有很多方法，例如全局搜索法 9 1 0 1 、三步搜索法【1 1 】、交叉搜索法【1 2 】等。这些算法具有各自的优缺点： 全搜索算法计算量大，但是具有步长固定、易于并行处理等优点。特别是易于并行 处理，这是全搜索算法的最大优点。快速算法虽然削减了计算量，但是却使程序复 杂，而且快速算法由于在搜索中存在大量的搜索空白区，所以就存在搜索到非最优 点的可能，这就使得预测误差增大。 2 - d 对数法的搜索区中有一些点是它的第一步永远也搜索不到的，而且搜索随意性 较大。 交叉搜索法从水平和垂直两个方向进行搜索，任何一个方向产生的误差都将导致最 终运动估计失误，而纵横搜索由于只考虑了纵或横的一个方向的最优点，而不是全 局最优点。这种方法对纵横控索的误差很敏感。 三步搜索法容易遗漏搜索区间内的最优点。如果第一步匹配产生误差。这一误差由 于步长限制，将无法回复。这种算法对其第一步产生的误差很敏感。 各种搜索方法的差异主要体现在以下方面：匹配准则、搜索方法和块大小选择。块 匹配准则包括最大互相关、最小均方误差( m s e ) ，最小平均绝对差( m a d ) 和最大匹 配象素估计( m p c ) 。搜索过程是对匹配准则进行优化的过程。虽然全局搜索可求得最 优解，但极耗时。块大小的选择也是块匹配中的重要问题。如果块太小，导致匹配过程 速度降低。反之，如果块太大，则在一个块中可能出现不同的运动物体，这与每个块 中只存在单一运动的假设矛盾。因此，可以考虑使用可变大小的块进行运动估计。例如 多分辨率匹配 1 3 1 ，较低分辨率级用于确定相对较大块的初始估计，较高分辨率级用于 精确调整运动估计。优点是易实现，计算简单，但存在块效应等问题。 频域方法 常用的频域方法是相位相关法【1 4 】。原理是通过快速傅立叶变换对两个相继场进行 频谱分析，由频谱间的相位差产生一个三维的相关性面。这个面具有与场景中每个运动 物体对应的山峰，每个物体的运动方向和大小可以从面上的山峰的位置导出。各个运动 物体速度和方向是实际测量得到，而不是估计或外推的，这是相位相关法的主要长处。 2 第一章绪论 另外相位相关法中，由于小物体能产生高频分量。故不易丢失。同时，采用相位相关法 可以使运动估计简化，不必匹配所有可能的运动，而且可以达到子象素的精度。但是， 频谱分析使得运算复杂化。 b a y e s i a n 方法【1 5 】【1 6 该方法是在给定后验概率分布的情况下，将运动场看作是随机场的一次具体实现， 其中运动估计问题是作为最大后验概率( m a p ) 估计给出的。m a p 公式需要两个概率 密度函数：一是给定运动场下，下一帧图像的条件概率密度函数，称为似然模型或观察 模型；另一个是运动矢量的先验概率密度函数，称为运动场模型。另外，在m a p 估计 的基本公式中，假设观察模型是高斯型的，用来加强与观察结果的一致性；运动场模型 是吉伯斯( g i b b s i a n ) 模型，用来加强随机的全局平滑约束条件。b a y e s i a n 方法进行运 动估计能够产生分段平滑的运动场，但很耗时而且依赖参数的选取。 1 1 2 运动估计技术新进展 近几年来，随着应用范围的扩大，运动估计的精度要求越来越高，由此产生了一系列新 的问题。为解决这些问题，近年来国外的一些专家、学者借助于其他学科的成果，尤其是数 学领域的新方法，提出了一些改进方法，比较有代表型的有： 二进制特征匹配法( b i n a r yf e a t u r em a t c h i n g a l g o r i t h m ) 该方法也称分层特征匹配运动估计方案( h f m m e ) f 1 7 1 。与传统块匹配不同的是， 该方法不是利用亮度进行匹配，而是定义了特征切断标志( s t f ) 用于模板匹配。其中， 数据块由一个均值和二进位模式来表示，匹配的过程分为均值匹配和二进制相位匹配。 与传统的块匹配比较，计算复杂度降低。同时匹配过程加快，原因是二进制相位匹配只 涉及到布尔逻辑运算，而且s t f 的使用减少了帧存和运动估计器之间的数据传输时间。 基于区域的运动估计方法( r e g i o n - b a s e dm o t i o ne s t i m a t i o n ) 1 8 】 对图像进行区域划分，通常有两种方法。一是根据纹理进行划分，但缺点是每个区 域中可能包含不同的运动；二是根据运动进行划分，使各个区域的像素具有相同的运动 特征。两种方法需要满足：不同区域之间的交集为空，所有区域的并集为整个图像。基 _ 丁区域的方法可以克服“孔径”问题，而且对噪声不敏感。 基于节点的运动估计方法( n o d e - b a s e dm o t i o ne s t i m a t i o n ) 1 9 】 将当前帧分为若干多边形，并选各多边形顶点为控制点，利用相应的空间变换在搜 索帧中寻找各控制点的位移矢量；多边形内部点的位移矢量由控制点的位移矢量插值得 到，由此得到运动矢量场。若多边形为三角形，插值过程对应仿射变换；若为四边形， 则插值过程对应双线性变换。优点是直观、节省计算量，而且与传统的块匹配方法相比， 提供了更优越的运动跟踪和重现技术，特别是在旋转、缩放等比较复杂的运动情况下。 基于网格的运动估计方法( m 嚣h b a s e dm o t i o ne s t i m a t i o n ) 为了解决基于块的估计方法所产生的块虚像以及运动场不连续的问题，提出了基于 网格的运动估计方法2 0 2 1 1 1 2 2 8 1 。当前帧或预测帧由网格覆盖，由各个节点将整幅 图像分为不同的规则或不规则的小块( p a t c h e s ) ，且保证所有块的并集为整幅图象，各个 块的交集为空。运动估计的过程就是寻找各节点的运动矢量，使得预测帧中与当前帧中 的对应块相匹配。每个块内部的点由该块的节点插值得到。优点是可以有效克服块匹配 中常出现的块效应，产生连续的运动矢量场，并且能对相邻若干帧进行连续跟踪。该方 法可以用于基于目标的编码以及基于区域的编码( m p e g - 4 ) 。 3 上海交通大学博士学位论文 另外，还有基于小波【2 3 】的运动估计方法、基于模糊【2 4 】以及3 - d 递归【2 5 】等运动估计的 方法，这里不作一一介绍。国内也有一些学者进行新方法的研究，基本上与国外方向一致。 1 2运动补偿技术及其应用 1 2 1 运动补偿技术 运动补偿技术是根据沿运动轨迹方向进行插值的一种视频处理技术，其原理图如圈1 1 所示。若只沿时间轴进行内插，造成看得见的抖动。运动补偿使得内插轴不同于时间轴，每 一物体相对于它自己的内插轴不再移动，所以时间混叠或抖动都不会出现。运动补偿技术应 用广泛，例如生物医学图象处理、气象预报、计算机视觉、3 d 重建、运动跟踪以及数字视