（计算机应用技术专业论文）fast+scaling+technology+in+video+transcoding.pdf

a c k n o w l e d g e m e n t s ia m e x t r e m e l yg r a t e f u lt op r o f e s s o rz h a n gw e n l o n g ，f o r h i se x c e l l e n tg u i d a n c e ， c o n s t a n te n c o u r a g e m e n t ，a n ds u p p o r t d u r i n gt h e c o u r s eo fm ys t u d y p r o f e s s o r w a n gy a o m i n g ，y o uw e i y a n ，l i l i ，h uj i n c h ua l s oi m p a r ts om u c hk n o w l e d g e t o m e a s l o ，ia p p r e c i a t em yr o o m m a t e s ：d u a nx i n t a o ，z h a n gp e i j u n ，r i o a n dm y c l a s s m a t e sq i nx i a o l i n g ，c h a n gz h i g u o ，h uz i h u i ，e t c t h e yh a v em a d e m y l i f ea n d s t l l d ya ts h n u a ne n j o y a b l ee x p e r i e n c e l a s to fa l l ，it a k et h i so p p o r t u n i t yt ot h a n km y c o l l e a g u e ：s e n i o rs c i e n t i s tz h a n g d a q i n g ，k e l v i n z h a n g ，k e l v i n w a n g ，j i m j w a n g ，c h e nn i n g j i a n g ，w a nx i n ，z e n g y o n g q i n ，s i m o n o p t i c a ls t o r a g e & d i g i t a lt vd e p a r t m e n t ，c a t h y s l t o n g h r a n do t h e rm e m b e r sf r o mp h i l i p sr e s e a r c he a s t a s i a ( p r e a ) ，n a l i nf r o mp h i l i p s d i g i t a ls y s t e ml a b ( p d s l ) a b s t r a c t f a s ti m a g e s c a l i n gw i t hh i g hf i d e l i t yp l a y s ak e yr o l ei nv i d e op r o c e s s i n ga n dc o d e c b yp r o v i d i n gv a r i o u sr e s o l u t i o n ，r e d u c i n gb i t r a t e st of a c i l i t a t ev i d e ot r a n s m i s s i o na n d a c h i e v i n gt h e b e s tv i s u a l q u a i l t y a tt h er e c e i v e r i nf a c t ，s c a l i n gt e c h n o l o g yi sa n e s s e n t i a lc o m p o n e n ti nm a n yi m a g e v i d e op r o c e s s i n gs u c ha st om a g n i f y m i n i f ys t i l l i m a g e t oa c h i e v es p e c i a l e f f e c tl i k e p i c t u r e w i n p i c t u r e ，t oc o m p r e s s o rt r a n s f o r i n d i g i t a l v i d e ow i t h s p a t i a ls c a l a b i l i t y e t c i nt h i st h e s i sw em a i n l ye m p l o yt h i s t e c h n o l o g yi nv i d e ot r a n s c o d i n g w h i c hi s ap o w e r f u lb u tc o m p u t a t i o n a l l yi n t e n s i v e t o o l st oc o n v e r to n ek i n do fv i d e of o r m a ti n t oa n o t h e r ，m e e t i n gd i f f e r e n td e m a n ds u c h a sl o w e rb i t r a t e so rv a r i o u sd i s p l a yt e r m i n a l s i ns u m t h e r ea r et w ok i n d so fs c a l i n g s c h e m e s ：o n ei si ns p a t i a ld o m a i na n dt h eo t h e ri nt r a n s f o i t l ld o m a i n n l es c h e m ei n t r a n s f o t i nd o r a a i nc a np r o v i d ev e r yg o o dp e r f o r m a n c e t h a ti s e m c i e n tc o m p u t a t i o n a n dd e s i r a b l ei m a g eq u a l i w w h e r e a si th a ss o m ed i s a d v a n t a g ew h i c hi si m p o s s i b l eo r h a r d l y t o o v e r c o m e ，e s p e c i a l l y s o m es c e n a r i o s r e q u k ea r b i t r a r y r a t i oz o o mi n h o r i z o n t a la n dv e r t i c a l a n de x c e l l e n tv i s u a le f b c t h o w e v e r t h eo t h e rs c h e m ei n s p a t i a l d o m a i nc a i l e a s i l y t a c k l et h e s e p r o b l e m sv i af i rf i l t e r , p r o v i d i n g m o r e f i e x i b i l i t ya n db e t t e rq u a l i t y n o t et h a tw ea c h i e v et h i sg o a la te x p e n s eo fn u m e r o u s c o m p u t a t i o na n d 丹e q u e n tm e m o r yi 0 a c t u a l l y ，i t i sn o tf e a s i b l et op u ts om u c h w o r k l o a do ns c a l i n gw h i c hi s o n l y as u b s e c t i o no fw h o l et r a n s c o d e r t h r o u g h p o l y p h a s ed e c o m p o s i t i o no f f l rf i l t e r ，w ec a na v o i dam a s so f r e d u n d a n tc o m p u t a t i o n a n dd e c r e a s em e m o r yi 0 w ec a nf u r t h e rs p e e du pt h ef i l t e rp r o c e s sb yt a k i n g a d v a n t a g eo fm m x i n s t r u c t i o n st h a t o p e r a t e o nas e to fd a t ai n p a r a l l e l a t i e r s i m p l i f i c a t i o no ff i rf i l t e rs t r u c t u r ea n do p t i m i z a t i o no fi m p l e m e n t a t i o np r o c e s s ，w e n o to n l ym e e tt h er e a l - t i m ed e m a n db u ta l s og e tp e r f e c ti m a g eq u a l i t y 4 摘要 奉论文主要介绍利用多相滤波器在视频编码转化过程中进行图像的快速、高 质量的缩放。视频图像缩放在视频编码的转化过程中起着非常重要的作用，由于 减少分辨率可以大大的降低码率，这样就可以满足在低码率信道传输的功效，如 异质网络结构或者无线视频通信信道，同样可以保证只有较小显示尺寸的手持终 端的正常使用或者与原有分辨率不一致的情形。在视频编码转化中，必须确保帧 内编码帧( i 帧) 经过缩放后仍然具有很高的质量，才能使后继运动预测帧的运 动补偿误差达到最小化，从而到达较好的视频编码转换效果。一般的视频都要求 在2 0 f s 3 0 f s 范围内播放，这就附加了一个时间要求。所以我的算法就是为了满 足高速同时高质量的目标，在研究算法的过程中，经过调查发现主要存在两大方 向：变换域和空间域。两种方法都各有其利弊：变换域的方法是利用现有常用的 视频压缩方案都是基于d c t 这个特点，所以可以直接在变换域做处理，这样可 以节省大量的计算，但其缺点是由于d c t 是基于块的变换，如8 8 ，所以很难找 到一种方案可以进行任意比例的缩放，尤其是在纵横缩放比例不一致的情形，但 这对诸如l i d 缩放到s d 和空域分级的压缩方案来说尤为重要，基于空域滤波的 方法却没有这样的限制，同时可以保证缩放后的图像的质量远高于基于变换域的 方法，为了达到高的缩放质量，就不可避免导致计算量过大。由于这种方法是基 于f i r 滤波的缩放，滤波的过程会引入大量的乘累加运算，很难满足视频处理的 实时性要求。所以在基于软件的实现时，我们必须设计更加巧妙的滤波结构从而 减少不必要的运算，通过对各种结构的对比和试验，发现基于f i r 的多相滤波器 结构能够满足我们的要求，通过对f i r 滤波器的分解，我们可以省去大量的不必 要计算和内存l j o ，从而可以节约很多时间但保证图像质量毫无损失。同时我们可 以利用现有c p u 提供的多媒体处理指令，由于这些指令具有并行性，可以与多 相滤波器的结构相结合，从而大大加快运算的速度，并且可以减少处理器与存储 器的时间。 a b b r e v i a t i 0 1 1 d v d h d s d c r f p s n r m 仪 s i m d l p f m p m l h p h l p d a d i g i t a lv e r s a t i l ed i s k h i g hd e f i n h i o n ( u s u a l 1 9 2 0 1 0 8 0 ) s t a n d a r dd e l t u i t i o n ( u s u a l 国7 2 0 4 8 0 ) c o m m o ns o u r c ei n t e r m e d i a t ef o r m a t ( u s u a l 国3 5 2 2 8 8 ) p e a ks i g m a lt on o i s er a t i o s h o r tf o rm u l t i m e d i ae x t e n s i o w s i n g l ei n s t r u c t i o nm u l t id a t a l o wp a s sf i l t e r m a i np r o f i l e m a i nl e v e l h i 曲p r o f i l e h i 曲l e v e l p e r s o n a ld i g i t a la s s i s t a n t 8 l i s to fs y m b o l s m a x i m u m i n t e g e rl e s st h a no re q u a lt ox m u l t i p l i c a t i o n a s s i g n m e n to p e r a t o r c o n v o l u t i o n o p e r a t o r 3 1 4 l5 9 26 5 35 8 2 7 1 82 8 18 2 84 5 9 bi|十z e c h a p t e r 1 1 i n t r o d u c t i o n t h e d e v e l o p m e n t o fm u l t i m e d i as y s t e m sh a sg r e a ti n f l u e n c ei nt h ef i e l do f i m a g ea n d v i d e oc o d i n g m o r ea n dm o r ev i d e oc o m p r e s s i o ns t a n d a r d sa r ep e n e 订a t i n gi n t oe v e r y a s p e c to fp e o p l e s l i f e r a n g i n gf r o me n t e r t a i n m e n t ，e d u c a t i o nt ow o r k w h i l ew e b e n e f i tf r o mt h e s et e c h n i q u e s ，t h ep r o b l e ma r i s e sh o wt oi n t e r a c t i v ea n di n t e g r a t e v i d e od a t aw i t hp e r s o n a lc o m p u t e r , m o b i l ep h o n eo rp d a a n dt e l e v i s i o n s y s t e m s t h ew e l lk n o w nv i d e o c o m p r e s s i o n s t a n d a r d sa r e e g 1 m p e g 2 m p e g 一4 ，h 2 61 , h 2 6 3 ，a n dh 2 6 4e t c e a c hs t a n d a r dh a si t so w nf e a t u r ea n dd i f f e r e n t a p p l i c a t i o nf i e l d i ts e e m st r a n s c o d i n gi sag o o dw a yt os o l v ei n t e r o p e r a b i l i t yb e t w e e n d i 艉r e n tt e r m i n a l sa n dh e t e r o g e n e o u sn e t w o r k v i d e ot r a n s c o d i n gi s ap r o m i s i n g m e c h a n i s mu s e dt oc o n v e r tv i d e ob i t s t r e a mf r o mo n e c o d i n gf o r m a tt oo t h e rf o r m a t s ， i n c l u d i n gs y r n t a x , b i tr a t ea n dr e s o l u t i o nc o n v e r s i o n s 6 r e s o l u t i o nc o n v e r s i o np l a y sak e yr o l ei nv i d e ot r a n s c o d i n gp r o c e s s f o re x a m p l e r e d u c i n gp i c t u r e r e s o l u t i o nc a nm e e t1 0 wb i t r a t eb a n d w i d t hd e m a n d s i n c el o w e r r e s o l u t i o nn e e d1 e s sb i t st or e p r e s e n t i ti s e s p e c i a l l yu s e f u lf o rh a n d h o l dt e r m i n a l a c t u a l l y ，s c a l i n gt e c h n o l o g y n o to n l yc a nd e c r e a s ep i c t u r er e s o l u t i o n ，b ea l s ou s e dt o p r o v i d eh i g h e rr e s o l u t i o nf o ri m a g e v i d e or e n d e r i n go rs p a t i a ls c a l a b i l i t y a l t h o u g i l t h i st o p i ch a sb e e nl a s tf o rd e c a d e s ，f i w t h e r m o r e ，s o m et e c h n o l o g ya b o u t 廿l i si sa l s o m a t u r e ，t h e r ea r em a n yn o v e lm e t h o d sn e e d e dt ob ee x p l o i t e da n de v o l v e da n dn e w f i e l d st ob ed i s c o v e r e di nt h i sa m a z i n g d i g i t a lw o r l d s oi nt h i st h e s i sw ew i l le x t e n di t t ot h i sr e l a t i v e l yn e w a p p l i c a t i o n l i d e ot r a n s c o d i n g 1 _ 1 p r o b l e ma d d r e s s e d v i d e ot r a n s c o d i n ga f f o r d sa ne f f i c i e n tw a yf o rr a t ea d a p t a t i o na n df o r m a tc o n v e r s i o n i nv a r i o u sv i d e oa p p l i c a t i o n s o v e r v i e wo fs t a t e o f - t h e a r t t r a n s c o d i n gt e c h n o l o g y ， r e 。q u a n t i z a t i o no ft r a n s f o r mc o e f f i c i e n t s ，s p a t i a lr e s o l u t i o nr e d u c t i o na n dt e m p o r a l r e s o l u t i o nr e d u c t i o na r et h et h r e e m a j o rt o o l sd e a l i n gw i t hb i t r a t ec o n v e r s i o n t h e 1 0 r e q u a n t i z a t i o n t 0 0 1h a sb e e nu s e df o rb i t r a t e c o n v e r s i o nw i t ht h es a m e s p a t i a l - t e m p o r a lr e s o l u t i o n t h es p a t i a lr e s o l u t i o nr e d u c t i o nt 0 0 1i so f t e nu s e f u lw h e n t h et a r g e tb i t r a t ei st o os m a l lo rw h e nt h ed e v i c e so n l yh a v es m a l ld i s p l a yc a p a b i l i t i e s t h a ta r en o ts u i t a b l ef o rp l a y i n gf u l lr e s o l u t i o nv i d e o t h et e m p o r a lr e s o l u t i o nt o o l l s a p p l i e dw h e nt h eb i t r a t er e d u c t i o ni sf u r t h e rr e q u i r e do rp r o c e s s i n go nat e r m i n a l n e e d st ob er e d u c e d h o w e v e r ，s p a t i a lr e s o l u t i o nr e d u c t i o nc a nb r i n gm o r eg a i nt h a n t h ef o r m e rt w oi nv i d e ot r a n s c o d i n g ，h e n c em o r ec o n c e n t r a t i o ni sf o c u s e do nt h i s s p a t i a lr e s o l u t i o nc o n v e r s i o ni sa na t t r a c t i v ei s s u ef o rp r o v i d i n gu n i v e r s a lm u l t i m e d i a a c c e s s ( u m a ) i nm a n y m u l t i m e d i aa p p l i c a t i o n s t or e a l i z et r a n s c o d e r s c o m p u t a t i o n a l c o m p l e x i t ya n dp i c t u r eq u a l i t ya r et h et w om o s ti m p o r t a n tc o n c e r n s u s u a l l yi ti st o o d i f f i c u l tt ok e e pb o t hr e a l - t i m ep r o c e s s i n ga n d g o o d v i s u a lq u a l i t y t h i sr e q u i r e st h a ta t r a n s c o d e rs h o u l db ec o m p u t a t i o n a l l ye m c i e n ta n dm e a n w h i l er e t a i ng o o d q u a l i t y 1 - 2 r e l a t e dw o r k s a sf a ra si m a g er e s o l u t i o nc o n v e r s i o n ( h e r e a f t e rr e f e r r e dt oa ss c a l i n gt e c h n o l o g y ) i s c o n c e r n e d ，i ti sav e r yo l dt o p i cb u tn o tm e a n sn of u r t h e ri n v e s t i g a t i o n a st i m ew e n t o n ，t h i st e c h n o l o g ya l s oi sp r o g r e s s i n ga n de x p a n d i n gi t sa p p l i c a t i o ni nu n d i s c o v e r e d f i e l d s i ns h i l l ，w ed i v i d e ds c a l i n gt e c h n o l o g yi n t ot h r e e c a t e g o r i e s ：c u r v ef i t t i n g d c t - e m b e d d e d r e s i z i n ga n dm u l t i - r a t er a t i o n a ls a m p l er a t ec o n v e r s i o n c o m p a r e dt o o r d i n a r ys c a l i n gm e t h o d s ，l a t t e r l yp r o p o s e ds c h e m e sc a nb r i n gb e t t e rp e r f o r m a n c ea n d m o r ed e s i r a b l e i m a g eq u a f f t y w h e nw ed e v e l o pv i d e op r o c e s s i n ga l g o r i t h m s ，w e m u s tt a k er e a l - t i m ef a c t o ri n t oa c c o u n t t h a ti s w en e e dg e t 也et r a d e o f f b e t w e e nt i m e a n dq u a l i t y w ew i l lg i v em o r ed e t a i l e di n f o r m a t i o na b o u te x i s t i n gm e t h o di nn e x t c h a p t e ra n dt h e ns e l e c to n eo p t i m a ls c h e m ef o ro u rt r a n s c o d i n g 1 3 0 b j e c t i ti si n t e n d e dt oa c h i e v eag o o d q u a l i t yf o rs c a l e di m a g ew h i l ek e e pt h es c a l i n gt i m e a sl i t t l ea s p o s s i b l e s i n c e t h i st e c h n o l o g yc a np r o v i d eaf i r mb a s ef o rs u b s e q u e n t p r o c e s s i n g ，w ep u tm a j o r i t yo f e m p h a s i so ns c a l i n ga l g o r i t h mi nt h i st h e s i s t h i s t e c h n o l o g y i sn o tl i m i t e dt o t r a n s c o d i n g , b u t c a na l s ob eu s e di no t h e r a p p l i c a t i o n ss u c h a ss p a t i a ls c a l a b i l i t yf o ro p t i c a ls t o r a g e ，d i g i t a lz o o mf u n c t i o ni nd c o rd v ，e v e nd t vi cd e s i g nf i e l da n de t c 1 4t h e s i s0 u t l i n e t h er e m a i n h a g p a r t so f t h i st h e s i sa r eo r g a n i z e d a sf o i l o w s c h a p t e r2d i s c u s s e st h ee x i s t i n gv i d e ot r a n s c o d i n gt e c h n o l o g y c h a p t e r 3 i sc o n c e m e d p r i m a r i l y w i t ht h em u l t i r a t er a t i o n a l s a m p l e r a t e c o n v e r s i o n t h ec h a p t e ri n c l u d e sar e v i e wo ft h eb a s i cc o n c e p t sa n dp r o p e r t i e so f s a m p l i n gr a t ea l t e r a t i o n ，d e s i g n o fd e c i m a t i o na n di n t e r p o l a t i o nd i g i t a lf i l t e r s ，a n d m u l t i - r a t ef i l t e rb a n kd e s i g n c h a p t e r4p r e s e n t s a l lh a t r o d u c t i o nt os i m dp a r a l l e l i s mo f f e r e d b yt h e i n t e l s p e n t i u m c l a s sp r o c e s s o rw i t hl 皿s u p p o r ta n ds o m eb r i e fi n s t r u c t i o n sa n dg i v e s s o m ee x a m p l e sh o wt oo p t i m i z ef i l t e rp r o c e s su s i n gm m xi n s t r u c t i o n s c h a p t e r 5c o n s i d e r se x p e r i m e n tr e s u l t sf r o mj m a g e q u a l i t ya n de x e c u t i o nt i m e t h ef i n a l c h a p t e r s u m m a r i z e st h es t u d i e s p r e s e n t e d i nm i s t h e s i s p r i n c i p a l c o n t r i b u t i o n sa r ep r o v i d e d ，a n df u t u r ed i r e c t i o n sa r ed i s c u s s e d 1 2 c h a p t e r 2 2 v i d e o t r a n s c o d i n g a r c h i t e c t u r e w i t hr e g a r dt ov i d e ot r a n s c o d i n g , t h e r ei sn oe x a c td e f i n i t i o n h e r e i n 、ea u o t et h e d e f i n i t i o n 1 7 】g i v e nb y i n t e lc o r p o r a t i o n ，a sf o l l o w s t r a n s c o d i n gi n v o l v e st h ef o l l o w i n gt e c h n o l o g i e s ： 夺t r a n s c o d i n gi s t h ep r o c e s so f c o n v e r t i n go n em e d i af o r m a ti n t oa n o t h e rm e d i a f o r m a t 夺t r a n s r a t i n gi s t h ep r o c e s so fc h a n g i n go r r e d u c i n gt h eb i t r a t eo ft h e s o u r c e c o n t e n t f o re x a m p l e ，t op l a y h i g hq u a l i t ym p e g - 2c o n t e n to v e ra n8 0 2 1l b w i r e l e s sh o m en e t w o r k ，t h eb i t r a t ew o u l dn e e dt ob er e d u c e dt of i t w 岫i nt 1 e b a n d w i d t hl i m i t a t i o n so f 8 0 2 1l b t r a n s c a l i n gi st h ep r o c e s so fc h a n g i n gt h er e s o l u t i o no ft h es o u r c ec o n t e n t f o r e x a m p l e ，t ov i e wh o m em o v i e so nt h et v 山a ta r es t o r e di nh i ) f o r m a to nt h ep c t h er e s o l u t i o nw o u l dn e e dt ob er e d u c e dt ot h es d l e v e lt h a ta n a l o gt v s u p p o r t s 2 1 o v e r v i e wo fv i d e o t r a n s c o d i n g a t t e m p t sh a v eb e e nm a d et op u tt r a n s c o d e r si nt h ev i d e os e r v e r so ri nt h em i d d l eo f n e t w o r kr o u t e r st od e l i v e rv i s u a lc o n t e n tt oav a r i e t yo f u s e r sw h oh a v ed i f f e r e n t n e t w o r kc o n n e c t i o n so rt e r m i n a ld e v i c e sw i t hd i f f e r e n t d i s p l a yc a p a b i l i t i e s c u r r e n t l y , ”a l lo f t h ev i d e oc o m p r e s s i o ns t a n d a r d s ，t h em o s t p o p u l a rc o m p r e s s e dd i g i t a lv i d e o c o n t e n ta d o p t sm p e g - 2 s t a n d a r d ，t h a tw a sd e v e l o p e di nr e s p o n s et ot h eg r o w l n gn e e d o tag e n e r i cc o d i n gm e t h o do f m o v i n gp i c t u r e sa n do fa s s o c i a t e ds o u n df o rv a r i o u s 1 3 a p p l i c a t i o ns u c h a sd i g i t a ls t o r a g em e d i a ，t e l e v i s i o nb r o a d c a s t i n ga n dc o m m u n i c a t i o n a sf o rt h ed e t a i l e dc o d i n g & d e c o d i n gp r o c e s sa n ds p e c i f i c a t i o n , p l e a s er e f e rt o 1 】 t h e r ea r en u m e r o u s a p p l i c a t i o n se m p l o y i n g 【p e g 一2 s t a n d a r dt h a tw eo f t e n e n c o u n t e ri no u rd a i l yl i f ew i t h o u tb e i n ga w a r eo ft h e m t h e s ep r o d u c t si n c l u d et h e d v d s c a m c o r d e r s ，d i g i t a lt v ，a n dh d t v s i n c e s om u c hm p e g - 2m a t e r i a l a v a i l a b l e i t sr e a s o n a b l ea n dn e c e s s a r yt op u tm o r ea t t e n t i o no n 打a n s c o d e rb a s e do n m p e g 一2s t a n d a r d s o m eo ft h e s ec o m m o nt r a n s c o d i n go p e r a t i o n sa r ei l l u s t r a t e di n f i g u r e2 1 【6 f i g u r e 2 1i l l u s t r a t i o no f c o m m o nv i d e ot r a n s c o d i n g o p e r a t i o n s o r i g i n a lv i d e oi se r i c o d e dh aa r tm p e g - 2f o r m a t ( m a m p r o f i l ea tm a i n l e v e l = n i p 国m l ) a t5 3 m b s t h e i n p u tr e s o l a t i o n i s7 2 0 4 8 0 i ( i n t e r l a c e d ) ，a n dt h et e m p o r a lr a t ei s3 0f l a m e s - p e r - s e c o n d ( f s ) a 】o r i e g a a lv i d e o i sl r a n s c o d e dt oar e d u c e db i t - r a t eo f 3m b s b 】o r i g i n a lv i d e oi s 打a n s c o d e d t oa l lm p e g 一4f o r m a t ( s i m p l e p r o f i l ea tl e v e l2 = s p l 2 ) a t1 2 8k b s t h eo u t p u tr e s o l u t i o n i s3 5 2 x 2 4 0p ( p r o g r e s s i v e ) a n d t h e t e m p o r a lr a t e i s l o f j s c 】o r i g i n a lv i d e o