（通信与信息系统专业论文）视频压缩中运动估计与码率控制方法复杂性的研究.pdf

h a r b i ne n g i n e e r i n gu n i v e r s i t y , h a r b i n c 。h i n a a b s t r a c t m o t i o ne s t i m a t i o na l g o r i t h mh a sah i 曲i m p a e to nt h ev i s u a lq u a l i t yo fa n e n c o d c rf o rag i v e nb i t - r a t e ，t h ea i mo ft h i st h e s i si st oe x a m i n et h er o l eo fm o t i o n e s t i m a t i o nt e c h n i q u e si nv i d e oc o m p r e s s i o na n dt oi n v e s t i g a t et h ep e r f o r m a n c eo f s e v e r a lm o t i o ne s t i m a t i o nt e c h n i q u e sw i d e l ya c c e p t e db y c a r i o u sv i d e oc o d i n g s t a n d a r d sf o rr e a lt i m ea p p l i c a t i o n si nc o s te f f e c t i v em a r u l e l m o t i o ne s t i m a t i o na l g o d t h mi sr e g a r d e d 鹊a no p t i m i z a t i o np r o b l e mi nt e r m so f i t sa p p l i c a t i o na n de f f i c i e n c y f a s tm o t i o ne s t i m a t i o nt e c h n i q u e sa l o n gw i t h e x p e r i m e n t a lr e s u l t sc o m p a r i n gt h e f tp e r f o r m a n c e sa r ep r e s e n t e di nt h r e e d i r e c t i o n s ：r e d u c i n gc o m p u t a t i o n a lc o m p l e x i t y , t r u e m o t i o nr e p r e s e n t a t i o n m e t h o d sa n di m p r o v i n gc o d i n ge f f i c i e n c y r e c e ma d v a n c e si nr a t ec o n t r o l t e c h n i q u e sf o rv i d e oc o d i n g , s u c h a sn e wc o n c e p t si nr a t e d i s t o r t i o nm o d e l i n ga n d q u a l i t yc o n s t r a i n e dc o n t r o l ，a l ep r e s e n t e d ，w i 也t h e s et e c h n i q u e s ，t h er a t ec o n t r o l p e r f o r m a n c ec a nb ei m p r o v e d n l ep a p e rn o to n l ys u m m a r i z e st h e s er e c e n tr a t ec o n t r o lt e c h n i q u e sb u ta l s o p r o v i d e se x p l i c i td i r e c t i o n sf o rf u t u r er a t ec o n t r o la l g o r i t h md e s i g na n dt h eg a i ni n p e r f o r m a n c eo f p s n r 、i t hr a t ec o n t r o li nh 2 6 4i sa l s od i s c u s s e d k e yw o r d s ：m o t i o ne s t i m a t i o n ；b l o c km a t c h i n g ；p s n r ；v i d e oc o d i n g ；r a t e c o m r o lo p t i m i z a t i o n 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的 指导下，由作者本人独立完成的。有关观点、方法、 数据和文献的引用已在文中指出，并与参考文献相对 应。除文中已注明引用的内容外，本论文不包含任何 其他个人或集体己经公开发表的作品成果。对本文的 研究做出重要贡献的个人和集体，均已在文中以明确 方式标明。本人完全意识到本声明的法律结果由本人 承担。 作者( 签字) ： e 努：知7 每6 z 具 c h a p t e r 1i n t r o d u c t i o n 1 1b a c k g r o u n d m o t i o ne s t i m a t i o ni nv i d e oc o m p r e s s i o ni sav e r yp o p u l a rr e s e a r c ht o p i ci nt h e f i e l do f v i d e op r o c e s s i n g 1 1 1 em a j o rf o c u so fr e s e a r c hi st od e v e l o pf e a s i b i l i t yo f d i f f e r e n tc o m p r e s s i o ns c h e m e s a l g o r i t h m si no r d e rt op r o v i d eg o o dv i s u a lq u a l i t y a n df e w e rb i t st or e p r e s e n tav i d e oi nd i g i t a lf o r m a t t h e s ec o m p r e s s i o ns c h e m e s a r ee i t h e ri m p l e m e n t e di ns o f t w a r eu s i n gh i g h e r - l e v e ll a n g u a g e ss u c h 嬲c c + + o r i nh a r d w a r eu s i n ga p p l i c a t i o n - s p e c i f i ci n t e g r a t e dc i r c u i tr a s i c ) m o t i o ne s t i m a t i o na l g o r i t h m sh a v ea t t r a c t e ds o m ea t t e n t i o nw i t h i nr e s e a r c ha n d i n d u s t r yb e c a u s eo ft h e s er e , l s o u s - f i r s t , i ti st h ec o m p u t a t i o n a lm o s td e m a n d i n g a l g o f i t h mo fav i d e oe n c o d e r ( a b o u t6 0 - 8 0 o ft h et o t a lc o m p u t a t i o nt i m e ) w h i c h l i m i t st h ep e r f o r m a n c eo ft h ee n c o d e ri nt e r m so fe n c o d i n gs p e e d s e c o n d , t h e m o t i o ne s t i m a t i o na l g o r i t h mh a sa h i g hi m p a c to nt h ev i s u a lq u a l i t yo f a ne n e o d e r f o ra g i v e nb i t r a t e f i n a l l y , t h em e t h o dt oe x t r a c tm o t i o nv e c t o r sf r o mt h ev i d e o m a t e r i a li sn o ts t a n d a r d i z e d , t h u sb e i n go p e nt oc o m p e t i t i o n m o t i o ne s t i m a t i o ni su s e da l s of o ro t h e ra p p l i c a t i o n st h a nv i d e oe n c o d i n g ，l i k e i m a g es t a b i l i z a t i o n ，m o t i o ns e g m e n t a t i o n , a n di m a g ea n a l y s i s h o w e v e r ，t h e r e q u i r e m e n t s f o rt h e s e a p p l i c a t i o n sd i f f e rs i g n i f i c a n t l y f o rv i d e o e n c o d i n g a l g o f i t h m s m o t i o nv e c t o r sh a v et or e f l e c tt h er e a lm o t i o nw i t h i nt h ei m a g e s e q u e n c e ；o t h e r w i s et h ea l g o r i t h m sw i l ln o tg i v et h ed e s k e dr e s u l t s f o rv i d e o e n c o d i n gt h es i t u a t i o ni sd i f f e r e n t , m o t i o nv e c t o r sa r eu s e dt oc o m p e n s a t et h e m o t i o nw i t h i nt h ev i d e os e q u e n c ea n do n l yt h er e m a i n i n gs i g n a l ( p r e d i c t i o ne r r o r 、 h a st ob ee n c o d e da n dt r a n s m i t t e d t h e r e f o r e ，t h em o t i o nv e c t o rh a st ob es e l e c t e d i no r d e rt om i n i m i z et h ep r e d i c t i o ne r r o ra n dt h en u m b e ro fb i t sr e q u i r e dt oc o d e t h ep r e d i c t i o ne r r o r w i t l l i nt h i sw o r kt h e i n v e s t i g a t i o n so nm o t i o ne s t i m a t i o n a l g o r i t h m sa r ef o c u s e do nv i d e oc o d i n g h o w e v e r , s i m i l a rc o n c e p t sa r ea p p l i c a b l e t oo t h e ra p p l i c a t i o n sa sw e l l h e r e ，s o m es i m u l a t i o n sh a sb e e nc a r r i e do u ti n m n 兀r a ba n da l s ou s e dt h ee n c o d e r d e c o d e rs o f t w a r ep r o v i d e db yt h ej o i n t l v i d e ot e a m ( d 1 2g o a l so f t h et h e s i s t h i st h e s i sd e s c r i b e st h er e s e a r c ha n dd e v e l o p m e n ta u t h o rh a sd o n ea sp a r to f t h er e q u l r e m e mf o rt h ed e g r e eo f m a s t e r si ne n g i n e e r i n ga n dh a st w om a i ng o a l s t h ef i r s ta t t e m p ti st oc o m p a r ea n da n a l y z et h ep e r f o r m a n c eo fs e v e r a l f a s tb l o c km a t c h i n ga l g o r i t h m sf o rm o t i o ne s t i m a t i o ni nv i d e oc o m p r e s s i o n 、砘t l l t h ec o n v e n t i o n a lf u l ls e a r c ha l g o r i t h ma n dt op r e s e n tt h eb a s i ci d e a st or e s o l v et h e c o m p l e x i ni m p l e m e n t i n gt h o s em e t h o d sf o rr e a l - t i m ev i d e oa p p l i c a t i o n s t h es e c o n dg o a li n v o l v e ss t u d yo nr a t ed i s t o r t i o no p t i m i z a t i o nt e c h n i q u e s a n dt h e i ra p p l i c a t i o n si nr e c e mv i d e oc o d i n gs m n d a r d sa l o n g 、i t l lt h ef u t u r e i m p l e m e n t a t i o n sd i r e c t i o n sa n dt op r e s e n tt h ep e r f o r m a n c eg a i na c h i e v e dw i t hr a t e c o n 灯o li nh 2 6 4 a v cv i d e oc o d i n gs t a n d a r d 1 3a u t h o r sc o n t r i b u t i o nt ot h et h e s i s t h ea u t h o rh a sc o n t r i b m e dt h ef o l l o w i n gw o r ka sap a r to fr e s e a r c hi nm o t i o n e s t i m a t i o ni nv i d e oc o m p r e s s i o nf r o mf a s tb l o c km a t c h i n ga l g o r i t h m st ot h er e c e n t r a t ec o n t r o lt e c h n i q u e s d e v e l o ps o u r c ec o d ei nm a t l a bo fs e v e r a lw i d e l ya c c e p t e df a s tb l o c k m a t c h i n gm o t i o ne s t i m a t i o na l g o r i t h m sf o rv i d e oc o m p r e s s i o nt e c h n i q u e s ，i n o r d e rt op r e s e n tt h ea d v a n t a g e s ，d i s a d v a n t a g e sa n dt h e i rp o s s i b l eo p t i m i z a t i o nt o i m p l e m e n ti ns e v e r a lr e c e n tv i d e oc o d i n gs t a n d a r d s l i t e r a t u r es u r v e yo fv a r i o u sr e s e a r c hp a p e r sa n dw e b s i t e st o g a t h e r v a l u a b l ed a t a , t h ef u t u r et r e n d so fr e s e a r c hs ot h a t p e r f o r m a n c eo fm o t i o n e s t i m a t i o na n d c o m p e n s a t i o n i nv i d e o c o m p r e s s i o na p p l i c a t i o n s c o u l d b e c o m p a r e d ，i t sc o m p l e x i t ya n a l y s i sa n dt h ee f f i c i e n ts o l u t i o nf o rr e a lt i m e a p p l i c a t i o n si nc o s te f f e c t i v em a n r l e l 2 s i m u l a t i o na n ds y n t h e s i so fr a t ec o n t r o lo p t i m i z a t i o nt e c h n i q u e si nv i d e o c o d i n gs t a n d a r d s ( e g h 2 6 4 a v c ) ，i no r d e r t oc o m p a r et h ep e r f o r m a n c ew i t ha n d w i t h o u ti t 1 4o r g a n i z a t i o no ft h et h e s i s t h i st h e s i si so r g a n i z e di n t of o u rc h a p t e r s t h ea i mi st op r e s e n ti n f o r m a t i o ni n ac o n c i s ea n dc o m p r e h e n s i v em a n n e rs ot h a tt h er e a d e rc a nu n d e r s t a n dn e c e s s a r y t h e o r e t i c a lc o n c e p t sa n dt h ep r a c t i c a lw o r kd o n eb yt h ea u t h o r m c h a p t e r2 a l li n t r o d u c t i o nt ov i d e oc o m p r e s s i o na n di t s i n a p o r t a n c ei s d i s c u s s e d t h et h e o r e t i c a lb a c k g r o u n do fm o t i o ne s t i m a t i o na n dc o m p e n s a t i o n a n dh o wi ti sc a r r i e do u ti sa l s om e n t i o n e d b l o c km a t c h i n gm o t i o ne s t i m a t i o na n d c o m p e n s a t i o n , t h ee n t i r ef l o wo fc o m p r e s s i o n d e c o m p r e s s i o ni nm p e g h 2 6 x b a s i cc o m p a r i s o nc r i t e r i a , t h ep s n ri m p r o v e m e n ti nh a l f - p e lf u l ls e a r c hm o t i o n e s t i m a t i o nc o m p a r e dt oi n t e g e r - p e lf u l ls e a r c hm o t i o ne s t i m a t i o ni sa l s oe x p l a i n e d i nc h a p t e r3t h ec o m p l e x i t yw i t hf u l ls e a r c hm o t i o ne s t i m a t i o nt e c h n i q u ei n i m p l e m e n t i n gi tf o r r e a lt i m ea p p l i c a t i o n sa r ei n t r o d u c e d s e v e r a lf a s tm o t i o n e s t i m a t i o nt e c h n i q u e sa l o n g 、i t he x p e r i m e n t a lr e s u l t si nt h r e ed i r e c t i o n s ：r e d u c i n g c o m p u t a t i o n a lc o m p l e x i t y ；t r u em o t i o nr e p r e s e n t a t i o nm e t h o d sa n di m p r o v i n g c o d i n ge f f i c i e n c yh a sb e e na n a l y z e d t h el o c a lm i n i m u mp r o b l e mi nf a s ts e a r c h a l g o r i t h m si sa l s om e n t i o n e d i nc h a p t e r4t h et h e o r e t i c a lb a c k g r o u n da b o u tr a t ec o n t r o li nv i d e oc o d i n g ，t h e i m p o r t a n c eo fr a t ec o n t r o la l g o r i t h m sa r ee x p l a i n e d t h er e c e n tm v a n c e si nr a t e c o n t r 0 1 t h ep s n r g a i n e dw i ma p p l i c a t i o no fr a t ec o n t r o li nh 2 6 4a n dt h ef u t u r e r e s e a r c hd i r e c t i o n su t i l i z i n gr a t ec o n t r o lt e c h n i q u e si nv i d e oc o d i n gf o rr e a lt i m e a p p l i c a t i o n sa r ep r e s e n t e di nd e t a i l h a r b i ne n g i n e e r i n gu n i v e r s i t y , h a r b i n ，c h i n a c h a p t e r2v i d e oc o m p r e s s i o n 2 1i n t r o d u c t i o n v i d e oc o m p r e s s i o ni sb a s e do nt w op r i n c i p l e s t h ef i r s ti st h es p a t i a l r e d u n d a n c yt h a te x i s t si ne a c h 丘a m e t h es e c o n di st h ef a c tt h a tm o s to f t h et i m ea v i d e of i n ei s v e r y s i m i l a rt o i t si m m e d i a t e n e i g h b o r s c a l l e d t e m p o r a l r e d u n d a n c y at y p i c a lt e c h n i q u ef o rv i d e oc o m p r e s s i o ns h o u l dt h e r e f o r es t a r tb ye n c o d i n g t h ef i r s tf r a m eu s i n gas t i l li m a g ec o m p r e s s i o nm e t h o d i ts h o u l dt h e ne n c o d ee a c h s u c c e s s i v ef r a i l eb yi d e n t i f y i n gt h ed i f f e r e n c e sb e t w e e nt h ef r a m ea n di t s p r e d e c e s s o r , a n de n c o d i n gt h e s ed i f f e r e n c e s i f t h ef r a i t l ei sv e r yd i f f e r e n tf r o mi t s p r e d e c e s s o r sf 硒h a p p e n s 、i t ht h e f a s tf r a m eo fas h o r ) i ts h o u l db ec o d e d i n d e p e n d e m l yf r o ma n yo t h e rf r a m e i nt h ev i d e oc o m p r e s s i o nl i t e r a t u r e ，af r a m e t h a tj sc o d e du s i n gi t sp r e d e c e s s o ri sc a l l e di n t e r 舶m e ( o rj u s ti n t e o ，w h i l ea f r a m et h a ti sc o d e di n d e p e n d e n t l yi sc a l l e di n t r af r a m e ( o r j u s ti n t r a ) t 1 1 v i d e oc o m p r e s s i o ni sn o r m a l l yl o s s y e n c o d i n gaf r a m ef ii nt e r m s o fi t s p r e d e c e s s o rf 1i n t r o d u c e ss o m ed i s t o r t i o n s a sar e s u l t ，e n c o d i n gf r a n l ef h i 试 t e r n l so ff ti n c r e a s e st h ed i s t o r t i o n e v e ni nl o s s l e s sv i d e oc o m p r e s s i o n ，af l a m e m a yl o s es o m eb i t s t h i sm a yh a p p e nd u r i n gt r a n s m i s s i o no ra f t e ral o n gs h e l f s t a y i faf r a m eeh a sl o s ts o r t i eb i t s ，t h e na l lt h ef r a m e sf o l l o w i n gi t , u pt ot h en e x t i n t r af r a m e ，a r ed e c o d e di m p r o p e r l y , p e r h a p se v e nl e a d i n gt oa c c u m u l a t e de r r o r s t h i si sw h yi n t r af r a m e ss h o u l db eu s e df r o mt i m et ot i m ei n s i d eas e q u e n c e n o t j u s ta ti t sb e g i n n i n g a ni n t r af r a m ei sl a b e l e d 上a n da ni n t e rf l a m ei sl a b e l e dp ( f o rp r e d i c t i v e ) o n c et h i si d e ai sg r a s p e d , i ti sp o s s i b l et og e n e r a l i z et h ec o n c e p to fa ni n t e r f l - a l l e s u c haf l a m ec a nb ec o d e db a s e do no n eo fi t sp r e d e c e s s o r sa n da l s oo n 4 h a r b i ne n g i n e e r i n gu n i v e r s i t y , h a r b i n ，c h i n a o n eo fi t ss u c x ：e s s o r s i ti st ob ek n o w nt h a ta l le n c o d e rs h o u l dn o tu s ea n y i n f o r m a t i o nt h a ti sn o ta v a i l a b l et ot h ed e c o d e r , b u tv i d e oc o m p r e s s i o ni ss p e c i a l b e c a u s eo f t h el a r g eq u a n t i t i e so f d a t ai n v o l v e d a t y p i c a lc a s ei sv i d e or e c o r d e do nah a r dd i s ko ro nad v d ，w h i c hh a so n l y l i m i t e da m o u n to fs p a c ea n da l s ot h ev i d e od a t at ob et r a n s f e r r e di na c o m m u n i c a t i o nn e t w o r kh a sl i m i t e da m o t r o to fb a n d w i d t h t h ee n c o d e rc a nt a k e m i n u t e so rh o u r st oe n c o d et h e 出纽力砖d e c o d e r h o w e v e r , h a st op l a yi tb a c ka t t h ec o r r e c tf l a m er a t e ( s om a n yf a m e sp e rs e c o n d ) ，s oi th a st ob ef a s t t h et i m e d e l a yb e t w e e ne n c o d i n go faf l a m ea n di t sd e c o d i n ga tt h er e c e i v e rm u s tb ek e p t m i n i m u m t l l i si sw h yat y p i c a lv i d e od e c o d e rw o r k si np a r a l l e l i th a ss e v e r a l d e c o d i n gc i r c u i t sw o r k i n gs i m u l t a n e o u s l yo ns e v e r a lf r a m e s p r e d i c t i o ns c h e m e sa r e ，f o ri n s t a n c 宅，d e s c r i b e da si p p p p ，m e a n i n gt h a ta g r o u pc o n s i s t so fo n eif r a m ef o l l o w e db yf o u rpf a m e s p r e d i c t i n gaf a m eb a s e d o ni t ss u c c e s s o rm a k e ss e n s ei nc a s e sw h e r et h em o v e m e n to fa l lo b j e c ti nt h e p i c t u r eg r a d u a l l yu r l e o v e r sab a c k g r o u n da r e a s u c ha l la r e am a yb eo n l yp a r t l y k n o w ni nt h ec u n e n tf r a m eb u tm a yb eb e t t e rk n o w ni nt h en e x tf r a m e t h u s ，t h e n e x t 丘狮ei san a t u r a lc a n d i d a t ef o rp r e d i c t i n gt h i sa r e ai nt h ec u r r e n tf r a m e af r a m et h a ti se n c o d e db a s e do nb o t l lp a s ta n df u t u r ef a m e si sl a b e l e dbf f o r b i d i r e c t i o n a l ) t h ei d e ao f abf r a m ei ss ou s e f u lt h a tm o s tf a m e si nac o m p r e s s e d v i d e op r e s e n t a t i o nm a yb eo ft h i st y p e t h e r e f o r et h e r ea r et h r e et y p e so ff r a m e sj | = p a n dbo f ae o m p r e s s e ds e q u e n c e f u t u r ef l a m e sa r eu s u a l l yp r e d i c t e df r o mt w o d i r e c t i o n s ，i e f o r eio rpf l a m e st h a ti m m e d i a t e l yp r e c e d eo rf o l l o wt h e p r e d i c t e df r a m e ac o d i n gs c h e m ec o u l df o ri n s t a n c e ，b ei b b p b b p b b p b b 7 n 圮 f u t u r ef r a m en e e d st ob ee n c o d e db e f o r et h e p r e d i c t e df r a m e sa n dt h u st h e e n c o d i n go r d e rd o e sn o tn e c e s s a r i l ym a t c ht h er e a lf r a m eo r d e las e q u e n c eo f s u c hf a m e si nt h eo r d e ri nw h i c ht h e ya r eg e n e r a t e db yt h ee n c o d e r ( a n di n p u tb y t h ed e c o d e r ) i ss h o w ni nf i g 2 1 鸪h e r el p b b b p b b b p b b bi st h ec o d i n go r d e r o f av i d e os e q u e n c ew h i c hc o n s i s t so f lpa n dbf a m e s 1 1 1 es a m es e q u e n c ei nt h eo r d e ri nw h i c ht h ef r a m e sa l eo u t p u tb yt h ed e c o d e r h a r b i ne n g i n e e r i n gu n i v e r s i t y , h a r b i n ，c h i n a a n dd i s p l a y e di ss h o w ni nf i g 2 。l ( b ) t h ef l a m el a b e l e d2s h o u l db ed i s p l a y e d a f t e rf l a m e5 ，s oe a c hf r a m es h o u l dh a v et w ot i m es t a m p s ，i t sc o d i n gt i m ea n di t s d i s p l a yt i m e ，a ss h o w ni nf i g u r e ，t h ed i s p l a yo r d e ri si b b b p b b b p b b b p f i g 2 1f r a m ed i s p l a yo r d e ri nav i d e os e q u e n c e 2 2m o t i o ne s t i m a t i o n o n eo ft h ek e ye l e m e n t s o fm a n yv i d e oc o m p r e s s i o ns c h e m e si sm o t i o n e s t i m a t i o n av i d e o s e q u e n c ec o n s i s t so fas e r i e s o ff r a m e s t oa c h i e v e c o m p r e s s i o n , t h et e m p o r a lr e d u n d a n c yb e t w e e na d j a c e n tf r a m e sc o i lb ee x p l o r e d t h a ti s ，af r a m ei ss e l e c t e da sar e f e r e n c e ，a n ds u b s e q u e n tf r a m e sa l ep r e d i c t e d f r o mt h er e f e r e n c eu s i n gat e c h n i q u ek n o w na sm o t i o ne s t i m a t i o n t h ep r o c e s so f v i d e oc o m p r e s s i o nu s i n gm o t i o ne s t i m a