（计算机应用技术专业论文）分像素运动补偿优化技术研究(1).pdf

分像素运动补偿优化技术研究： 摘要 摘要 2 0 0 3 年由国际电信联盟和国际标准化组织联合制定的h 2 6 4 a v c 编码标准正式颁 布。和以往编码标准相比，h 。2 6 4 a v c 编码效率获得了大幅提毫，具有更好的网络逶应 性和容错特性。h 2 6 4 a v c 的应用范围贯穿无线视频通信，基于i p 网的流媒体派务， 激光视盘存储，高清晰度电视，超高清数字电影等等，几乎涵盏了所有的视频通信领域。 这种新型的视频编码标准获褥了业界广泛的关注，相关的研究和产品层出不穷。分像素 运动补偿技术是h 2 6 4 a v c 压缩性能提升的主要来源，但另一方面，编解码的计算和访 存复杂度也大幅度增加。本文针对分像素运动 偿模块在复杂度优化，编码性能优化和 v l s i 体系结构设计三个方面进行了深入研究，取得了以下研究结果： ( 1 ) 低解码复杂度分像素滤波器设计：h 2 6 4 a v c 标准采用了分像素运动补偿技 术，运动矢量的精度可以达到四分之一像素，分像素位置的亮度值，通过二维可分离的 六抽头维纳滤波器和线性平均滤波器获得。与采用双线性滤波器和二分之一像素运动矢 量精度模式相比，编码效率获得了：i 臣2 0 的提井。但另一方颈，编解码的计算和访存复 杂度也大幅度增加。尤其在高清格式视频的实时解码中，数据的访问爨和计算量庞大， 解码延迟细功耗主要源于运动孙偿模块的存储器访问，高精度运动矢量和长抽头滤波器 进一步加重了运动补偿模块的访存和计算负担，使分像素运动补偿横块成为实时解码的 瓶颈问题。 本文在分析了高清视频信号的自相关特征的基础上，提出了一种基于两步四抽头滤 波器的分像素插债技术。该方案结合利用三次卷积滤波器和三次b 样条器完成高清视频 序列的四分之一像素的插值过程，与h 2 6 4 的插值滤波方法相比，取得了类似的编码性 能，在解码端，访存复杂度降低了1 0 ，计算复杂度降低了4 0 。该方法于2 0 0 3 年i 0 月被国内制定的视频编码标准a v s l 0 采纳。 ( 2 ) 帧级自适应滤波器设计：由于视频信号采集过程和分像素插值滤波器的非理想 低通特性，使得经过插值滤波放大的参考图像中存在高频分嶷的混叠，我们称这静混叠 为滤波噪声；其次，参考嚣像楚源图像经过编熊码过程后的重建图像，编码过程中会引 入量化噪声；最后，在进行运动估计的过程中，由于有限的运动矢量精度，运动矢量场 的不连续性以及前面提到的滤波噪声和量化噪声的干扰，会产生运动矢量豹偏差，我们 称这这种偏差为运动矢是噪声。由于这三种噪声的存在，会影响运动补偿预测的准确性， 进而降低编碣效率。 本文首先对这三种噪声对运动补偿预测过程的影响在对域和频域进行了分析，然后 对运动补偿预测残差进行严格的数学建模，将这三种噪声源引入残差模型中，在帧一级 通过自适应调整插值滤波器系数来最小化运动补偿预测的残差能量，提高编码效率。实 验结果表明：在编码复杂度和编码延迟的适痰增加的条件下，本文提出的自适应滤波方 法可以有效的抑制运动矢量噪声，量化噪声和滤波噪声，提高运动补偿预测的效率，在 分像素运动补偿优化技术研究：摘要 二分之一像素运动矢攮精度条件下，编码效率平均提高0 5 5 d b ，在四分之一像素运动矢 量精度条件下，编码效率平均提高0 2 3 d b ；在低码率条件下，重建视频的主观康量也 有翡艋提裔。 ( 3 ) 高吞吐率低访存爨分像素运动补偿v l s i 体系结构设计：h 2 6 4 a v c 编码性能 的取得，以数倍增加编解码复杂度为代价。据分析”1 ，h 2 6 4 a v c 的编码复杂度是m p e g 一4 p a r t2 的2 一1 4 倍，解码复杂度是m p e g - 4p a r t2 的2 3 倍。实时解码是视频遴信的基 本保障，但另一方面，解粥算法被标准规定，无法从算法级进行加速优化，因此，基于 计算平台的解码爨优化是该标准能森实隧应用的保障。分像素运动枣 偿模块在 2 6 4 n v c 解码时阀上占有约4 5 比重，是主簧的访存和计算瓶颈。 本文首先分析了h 2 6 4 a v c 解码器的瓶颈问题，然后详细介绍了分像素运动过程的 每个模块对v l ，s i 设计复杂度的增加，最后给出7 三种访存优化策略和一种参考像素缓 冲区缀织结构来降低运动补偿模块的访存数据量，提高访存总线的利用率，解决访存瓶 颈问题；提出了一种基于并行及流水线结构的分像素插值滤波器设计方案，提高插值运 算的吞吐率，解决计算瓶颈闫题。实验结果表明，本文提出的设计结构可以降低约6 0 的参考数据访问量，计算吞吐率接近每拍一个像素，可以满足高清视频实时解码的需要。 本方案已经被应用到h 2 6 4 a v c 高清视频解码芯片的设计中。 关键词：视频编码，h 2 6 4 a v c ，运动补偿，插值滤波，自适应滤波，v l s i 设计 l i ! 塾! 璺! 壁竺! ! 竺! 竺堡! ! 坚坐! 鲤鱼竺! 巴望! 竺q 趔巴! 型! ! 璺!垒! ! 坚壁一 s t u d i e so ns u b p i x e lm o t i o nc o m p e n s a t i o no p t i m i z a t i o n w a n gr o n g g a n g ( c o m p u t e ra p p l i c a t i o nt e c h n o l o g y ) d i r e c t e db yl ij i n t a o h 2 6 4 a v ci sp u b l i s h e dj o i n t l yb yi t u tv c e ga n di s o i e cm p e g c o m p a r e dw i t h t h ep r e v i o u ss t a n d a r d s ，h 2 6 4 a v cp r o v i d e sg a i ni nc o m p r e s s i o ne f f i c i e n c yo v e r aw i d er a n g eo fb i tr a t e sa n dv i d e or e s o l u t i o n s ，e r r o rr o b u s t n e s sa n dn e t w o r k f r i e n d n e s s h 2 6 4 a v cc a nb ea p p l i e dt on e a r l ya l lf i e l d so fv i d e e c o m m u n i c a t i o n ss u c ha sw i r e l e s sc o n v e r s a t i o n ，s t r e a ms e r v i c eo v e ri pn e t w o r k ， d i g i t a lv i d e od i s k ，a n dh i g hd e f i n i t i o nt v ，e t c t h i sn e ws t a n d a r d i sw i d e l y c o n c e r n e db yc o m p a n i e sa n dr e s e a r c hg r o u p s ，a n dt h er e l a t e dp a p e r sa n dp r o d u c t s a r ei s s u e dc o n t i n u o u s l y s u b p i x e tm o t i o nc o m p e n s a t i o nc o n t r i b u t e st h em o s t c o d i n gg a i n ，b u ti tm a yi n c r e a s eg r e a tc o m p l e x i t yb o t hi nc o m p u t i n ga n dm e m o r y a c c e s s i n g t h i sp a p e rf o c u s e so no p t i m i z a t i o no fs u b p i x e lm o t i o nc o m p e n s a t i o n m o d u l ei nh 2 6 4 a v cf r o mt h e s et h r e ea s p e c t s ：c o m p l e x i t y 。c o d i n ge f f ic i e n c y ， a n dv l s ia r c h i t e c t u r ed e s i g n t h em a i nc o n t r i b u t i o n sa r es h o w na sf o l l o w i n g ( 1 ) l o wd e c o d i n gc o m p l e x i t ys u b p i x e li n t e r p o l a t i o nm e t h o d ：s u b p i x e l m o t i o nc o m p e n s a t i o ni sa d o p t e db yh 2 6 4 a v c a n do n ef o u r t hs u b p i x e lp r e c i s i o n m o t i o nv e c t o ri sa l l o w e di nl u m ac o m p o n e n t c o m p a r e dw i t hh a l f p i x e lp r e c i s i o n m o t i o nv e c t o ra n db i l i n e a ri n t e r p o l a t i o nf i l t e rs c h e m e ，t h e6 - t a pf i r i n 弋e r p o l a t i o na n dq u a r t e rp i x e lp r e c i s i o ns c h e m ei m p r o v ec o m p r e s s i o ne f f i c i e n c y b yn e a r l y2 0 o nt h eo t h e rh a n d 。t h ec o m p l e x i t yb o t h i nm e m o r ya c c e s s i n ga n d c o m p u t i n gi si n c r e a s e dg r e a t l y i nt h ef i e l do fh d t vs e q u e n c ed e c o d i n g ，m o t i o n c o m p e n s a t i o nm e m o r ya c c e s s i n gi st h em a i ns o u r c eo fd e c o d i n gd e l a ya n dp o w e r c o n s u m p t i o n l o n gt a pf i l t e ra n dh i g hp r e c i s i o nm o t i o nv e c t o rm a k ei t sc o m p u t i n g a n dm e m o r ya c c e s s i n gl o a de v e nh e a v i e r ，w h i c hm a k e sm o t i o nc o m p e n s a t i o nb e c o m e t h eb o t t l e n e c ko fd e c o d i n g 。 t h i sp a p e rp r o v i d e sat w o s t e pf o u r t a p ( t s f t ) s u b p i x e li n t e r p o l a t i o n m e t h o db a s e do nt h ec o r r e l a t i o na n a l y s iso ft h eh i g hd e f i n a t i o nv i d e os e q u e n c e s a n dt h i sm e t h o dc o m b i d e st h ec u b i cc o n v o l u t i o ni n t e r p o l a t i o nf u n c t i o na n dc u b i c bs p i i n ei n t e r p o l a t ：i o nm e t h o df o rh eh a l f ”。p i x e la n dq u a r t e r “p i x e li n t e r p o l a t i o n a t h o u g ht h ec o d i n gp e r f o r m a n c ei s s t i l lt h es a m e a st h em e t h o d su s e df o r i n t e r p o l a t i o ni n 2 6 4 a v c t h em e m o r ya c c e s s i n ga n dt h ec o m p u t i n gc o m p l e x i t y c a nb er e d u c e db yn e a r l y1 0 a n d4 0 r e s p e c t i v e l yi nd e c o d e r 。 i no c t o b e ro f2 0 0 3 ，t s f th a sb e e na d o p t e db yc h i n aa u d i ov i d e oc o d i n g s t a n d a r d s ( a v s l o ) 。 i i i 兰竖些竺竺墅! 土! 登! 坚嫂盟垡苎塑! 型! ! 璺型磐型竺! 垒塑! ( 2 ) f r a m e l e v e la d a p t i v em o t i o nc o m p e n s a t e di n t e r p o l a t i o nf i l t e rd e s i g n ： d u et ot h en o n “r e a li s t i cl o w 。p a s s i n gn a t u r eb o t hi nv i d e os i g n a lc a p t u r i n g a n ds u b p i x e li n t e r p o l a t i o nl o w p a s sf i l t e r i n g ，h i g hf r e q u e n c yc o m p o n e n tt e n d s t ob ea l i a s e di n t ol o wf r e q u e n c yc o m p o n e n t ，w ec o n s i d e rs u c ha l i a s i n ga s f il t e r i n gn o i s e f u r t h e r a f t e rt h er e f e r e n c e p i c t u r e sb e i n gc o d e da r e c o n s t r u c t e d ，q u a n t i z a t i o nn o i s em a yb eb r o u g h ti n a tl a s t ，d u et o1 i m i t e dm o t i o n v e c t o rp r e c i s i o n ，t h en o n c o n t i n u o u sm o t i o nf i e l d sa n dt h ei m p a c to ff i l t e r i n g n o i s ea n dq u a n t i z a t i o nn o i s e ，m o t i o nv e c t o r sa r en o tr e a l 。a n dw ec a l li tm o t i o n v e c t o rn o i s e a 1 1o ft h e s et h r e ek i n d so fn o i s ea f f e c tt h ep r e c i s i o no fm o t i o n c o m p e n s a t i o np r e d i c t i o na n dc o d i n ge f f i c i e n c y 。 i nt h i sd i s s e r t a t i o n ，t h e s et h r e ek i n d so fn o i s ea r ea n a l y z e db o t hi nt i m e d o m a i na n df r e q u e n c yd o m a i nf i r s t l y ：a n dt h e nam a t h e m a t i c a lm o d e lo fs u b p i x e l m o t i o nc o m p e n s a t i o np r e d i c t i o ni sc o n s t r u c t e d ，w h i c hi n v o l v e st h e s et h r e ek i n d s o fn o i s es o u r c e s ：f i n a l l y ，t h ee r r o re n e r g yo fm o t i o nc o m p e n s a t i o np r e d i c t i o n i sm i n i m i z e db yf r a m e l e v e la d a p t i v e l yt u n i n gt h es u b p i x e l i n t e r p 0 1 a t i o n f i1t e rp a r a m e t e r s e x p e r i m e n t a lr e s u lt ss h o wt h a tt h ep r o p o s e dm e t h o dc a n s u p p r e s st h e s et h r e ek i n d so fn o i s ee f f e c t i v e l ya tt h ec o s to f1 i t t l ei n c r e a s e i nc o m p u t i n ga n db u f f e r i n g u n d e rt h ec o n d i t i o no fh a l f - p i x e lm o t i o nv e c t o r p r e c i s i o n ，a v e r a g e0 5 5 d bp s n ri sg a i n e d ：u n d e rt h ec o n d i t i o no fq u a r t e r p i x e l m o t i o nv e c t o rp r e c i s i o n ，a v e r a g e0 2 3 d bp s n ri sg a i n e d i na d d i t i o n ，t h e s u b j e c t i v eq u a l i t yo fr e c o n s t r u c t e ds e q u e n c e si si m p r o v e do b v i o u s l yu n d e r1 0 w b i tr a t ec o n d i t i o n ( 3 ) h i g ht h r o u g h p u ta n dl o wm e m o r ya c c e s s i n gs u b p i x e lm o t i o nc o m p e n s a t i o n v l s ia r c h i t e c t u r ed e s i g n ： h 2 6 4 a v cp r o v i d e sg r e a tc o d i n gg a i n sa tt h ec o s to fi n c r e a s i n gc o m p l e x i t y b o t hi nc o m p u t i n 9 1 a n dm e m o r ya c c e s s i n g a c c o r d i n gt ot h es t a t i s t i c si s 7 t h e e n c o d i n gc o m p l e x it yo fh 2 6 4 a v ci s2 - 1 4t i m e sa st h a t o fm p e g 一4p a r t2 ，a n d t h ed e c o d i n gc o m p l e x i t yo fh 2 6 4 a v ci s2 - 3t i m e sa st h a t o fm p e g 一4p a r t2 r e a l t i m ed e c o d i n gi st h er e q u i r e m e n to fv i d e oc o m m u n i c a t i o n s ，b u tt h ed e c o d i n g p r o c e s s i sd e f i n e db ys t a n d a r d sa n di ti s i m p o s s i b l et ob eo p t i m i z e df r o m a l g o r i t h ma s p e c t s c o n s e q u e n t l y ，t h ea r c h i t e c t u r ed e s i g no fc o m p u t i n gp l a t f o r m i s d e m a n d e d s u b p i x e lm o t i o nc o m p e n s a t i o nm o d u l eo c c u p i e sn e a r l y4 5 o f d e c o d i n gt i m e ，a n di ti st h em a i nb o t t l e n e c kp r o b l e mi nv i d e od e c o d i n g t h eb o t t l e n e c kp r o b l e mi nd e c o d i n gi sf i r s t l yf o u n di nt h i sd i s s e r t a t i o n ： t h e ne a c hs u b m o d u l ei se x p l a i n e df r o mt h ev i e w p o i n to fc o m p l e x i t yi n c r e a s e m e n t f o rv l s id e s i g n ：a tl a s t ，t h r e es t r a t e g i e sa n do n ed e d i c a t e db u f f e ro r g a n i z a t i o n a r ep r o p o s e dt or e d u c em e m o r ya c c e s s l n ga n di m p r o v em e m o r yb u so c c u p a n c y ：a i v ! 望篓塑黧嫩i 坚! 鳖查竺兰塑黧茎苎壁| 婴塑窭黧! 黧：垒! 篷坚 p a r a l l e la n dm u l t i s t a g ep i p e l i n es u b “。p i x e li n t e r p o l a t i o na r c h i t e c t u r ei s d e s i g n e dt oi m p r o v et h et h r o u g h p u to fi n t e r p o l a t i o nc o m p u t i n g ，w h i c hs o l v e st h e c o m p u t i n gb o t t l e n e c kp r o b l e m e x p e r i m e n tr e s u l t ss h o wt h a tt h ep r o p o s e d a r c h i t e c t u r ec a ns a v ea b o u t6 0 d a t ac y c l e sf o rm e m o r ya c c e s s i n ga n do n ep i x e l c a nb ei n t e r p o l a t e dn e a r l yw i t h i no n ec y c l e ，w h i c hs a t i s f i e st h ed e m a n do fh i g h d e f i n i t i o nv i d e os e q u e n c er e a l t i m ed e c o d i n g t h ea r c h i t e c t u r eh a sb e e na p p l l e d i nh d t vv i d e od e c o d i n gc h i pd e s i g n k e y w o r d s ：v i d e oc o d i n g ，鞋2 6 4 a v c ，m o t i o nc o m p e n s a t i o n ，i n t e r p o l a t i o nf i l t e r ， a d a p t i v ef i l t e r ，v l s ia r c h i t e c t u r e v 分像素运动补偿优化技术研究；图表索 图表索弓l 图； l l 视频信号构成l l 一2 帧内预测6 1 - 2 帧间预测6 t - 4 哈夫曼树的构造过程 0 1 5 z i g z a g 扫描1 1 1 6 视频编码标准的发展+ 1 2 1 7h2 6 4 i a v c 的编码器结构1 6 1 - 8h 2 6 4 1 a v c 的解码器结构1 6 1 - 9h ，2 6 4 a v c 相关研究论文的分布1 8 l l o 极端情况下1 9 2 0 x 1 0 8 8 x 3 0 h z ( a t s c ) 序列单向预测需要的时钟频率i 蛳1 8 1 1 1f o r e m a n 序列第4 3 帧的重建图像2 2 2 一1 分像素运动补偿示意圈2 5 2 2 参考像素范围扩展2 6 2 - 3 运动矢量与预测残差关系图1 7 ”2 9 2 - 4 二维插镶分解图2 9 3 1不同格式视频序列自相关系数统计3 4 3 2 两步糖值过程3 5 3 - 3t s f t 插值滤波器的频域幅度响应3 6 3 - 4 整像素、二分之一像素和四分之一像素的位置3 6 3 - 5 四分之一滤波器运算结构3 8 3 - 6t s f t 与h 2 6 4 插值方法性能对比图4 2 4 - 1 分像素运动 偿过程示意图4 3 4 ，2 对c ，( j w ) 进行采样后频谱圈4 7 4 3 分像素滤波器参考范围4 9 4 - 4 应用自适应滤波器的绽码过程5 5 4 - 5 舀逶应滤波编码框架5 6 4 - 6 自适应滤波解码框架。5 6 4 7f o r e m a n 序列在不同的滤波器系数量化步长下的r d 性能5 7 4 - 8 c a r p h o n e 序列在不同滤波器系数量化步长条件下的r d 性能5 8 4 - 9 f o r e m a n 序列在不同滤波器抽头下的r d 性能5 8 4 1 0c a r p h o n e 序列在不同的滤波抽头长发下的r d 性能5 9 4 1 l 自适应滤波与h 2 6 4 插值方法r d 性能对比阌6 3 t x 分像素运动补偿优化技术研究：图表索g 4 1 2a d a p t i v e 方法与h 2 6 4 a v c 方法重建视频主观质量对比( t 2 像素精 度) 4 13a d a p t i v e 方法与h 2 6 4 a v c 方法重建视频主观质量对比( i 4 像素精 度) 4 1 4t w o - p a s s 编码与s i n g l e p a s s 编码的r d 性能曲线 4 1 5 自适应滤波编码复杂度的增加 5 - lh 2 6 4 a v cm a i np r o f i l e 解码器各解码模块占用解码时间比率 9 9 1 5 2h 2 6 4 a v c 解玛端运动补偿预测过程 5 3 宏块的树形结构翊分 5 - 4 运动矢量时域预测模式示意图 5 - 5 亮度分量分像素撬值示意图 5 6 色度分量分像素插值示意图 5 7 视频解码嚣s o c 体系结构一 5 - 8 运动矢量更新模式 5 - 9 运动矢量预测体系结构 5 - l o 左上角4 x 4 参考数据读取冗余示意图 5 ，i1c b c r 分量交叉存放一 5 1 2 参考数据缓冲区组织 5 1 3 左上角8 x 8 划分缓冲区l 巍址分配 5 1 4 相邻像素之间的参考像素重叠 5 ，15 分像素插值模块体系结构 5 一1 6 交叉下移操作模式 5 17 亮度分量插值流水线 5 186 抽头滤波器实现 5 - 1 9 色度分量插值结构 5 2 0 不同策略条件下访存周期数对比 5 2 l 集成电路设计流程 5 2 24 x 4 块亮度分量插值流水线波形图 5 2 3 宏块分度分量插值时序图 6 一l 视频编码单元层次戈i j 分 表： 1 1 1 2 3 一l 3 2 3 3 h 2 6 4 与其它编码标准压缩率的e b 较 h 2 6 4 ，a v e 相关的软硬件产品 t s f t 与h 2 6 4 插值方法复杂度对照 t s f t 与h 2 6 4 捶值方法性能对比， t s f t 与h 2 6 4 插值方法复杂度测试结果 x 6 4 。6 4 6 5 6 6 6 8 ，7 0 。7 0 7 1 7 2 7 3 7 4 7 5 + 7 6 7 6 7 7 + 7 8 7 9 ，7 9 8 0 8 0 8 l 8 2 8 3 8 4 一8 5 8 6 8 7 9 0 15 l9 。，。3 9 4 0 4 2 分像素运动补偿优化技术研究：图表索g 4 1 帧级自适应滤波器测试序列性质5 7 4 2a d a p t i v e 与珏。2 6 4 插值方法在四分之一像素运动矢量精度祷提下的 性能对比5 9 4 3 a d a p t i v e 与h 2 6 4 插值方法在二分之一像素运动矢最精度情况下的 性能对比6 0 4 - 4 t w o - p a s s 编码与s i n g l e - p a s s 编码的性能比较6 5 5 - 1h 2 6 4 与m p e g 一4 编码复杂度比较8 ”6 7 5 2h 2 6 4 与m p e g 一4 解码复杂度比较5 ”6 7 5 - 3 解码端主要访存模块访存量估计6 9 5 4 不同分像素位置参考数据范围尺寸的差异7 7 5 5 访存优化实验结粟8 4 5 - 6 分像素运动补偿模块综合实验结果。8 7 s - 7 本文方法和其他捶值器电路设计方法的比较8 7 x i 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得 的研究成果。就我所知，除了文中特别加以标注和致谢的地方外，论文中 不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研 究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。 作者签名：力刎 日期： 2 伽名2 忉 关于论文使用授权的说明 中国科学院计算技术研究所有权处理、保留送交论文的复印件，允许 论文被查阅和借阅；并可以公布论文的全部或部分内容，可以采用影印、 缩印或其它复n - t - 段保存该论文。 q 铡翩躲勿防吼砌如和 第一章引言 第一章引言 2 0 0 3 年5 月，一种全新的视频编码标准h 2 6 4 a v c 正式发布1 ，h 2 6 4 a v c 足国际 电信联盟( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ，i t u ) 的视频编码专家组( v i d e o c o d i n ge x p e r t sg r o u p ，v c e g ) 和国际标准化组织( i n t e r n a t i o n a ls t a n d a r d i z a t i o n o r g a n i z a t i o n ，i s o ) 的运动图像专家组( m o t i o np i c t u r ee x p e r t sg r o u p ，m p e g ) 联 合成立的“联合视频组”( j o i n tv i d e ot e a m ，j v t ) 共同制定的新视频标准。该标准 主要面向网络视频传输，具有压缩率高、适用范围广等优点。h 2 6 4 a v c 代表了视频编 码技术的最新进展，具有非常广阔的应用前景。分像素运动补偿技术足h 2 6 4 a v c 压缩 性能提升的主要来源，但另一方面，编解码的计算和访存复杂度也大幅度增加。本文的 研究目标是围绕分像素运动补偿模块，给出在高传输带宽，高清视频应用条件下，低复 杂度的设计方案；在低传输带宽，小尺寸视频应用条件下，高编码效率的设计方案；同 时给出符合h 2 6 4 a v c 标准的低复杂度高吞吐率分像素运动补偿模块v l s i 体系结构设 计方案。 1 1 数字视频技术的应用 视频是指时变的图像信息，也被称为“图像序列”，如图1 - 1 所示，可以看做静止 图像按一定顺序的沿时间轴的排列。它不但涉及到信号的空问分布，而且涉及信号沿时 间轴的变化。人的双眼是最主要的信息获取途径，所以图像、视频信号对信息交流具有 非常重要的意义。 、 图1 - 1 ：视频信号构成 一时间轴 最早的视频信号是模拟视频信号，而且迄今为止，绝大多数视频的记录，存储和传 l 分像素运动补偿优化技术研究 输依然采用模拟技术。比如，现在的电视大多数足模拟电视，它所接收的信号是电视台 播放的模拟信号，这种信号依靠模拟调幅的方式在空间中传播。模拟信号通常保存在磁 带上，用录像机来记录。模拟信号也可以保存在胶片上，像电影那样依靠依次播放胶片 来产生视频。 但是，近2 0 年来随着数字化技术的发展，特别是计算机技术的发展，我们正经历 着一场数字化革命，越来越多的信号开始采用数字表示。模拟信号容易被干扰，不利于 在不同种类的设备间传输；而数字信号则具有更牢靠的形式，最关键的是数字信号更容 易被不同的设备“理解”，比如，数字视频既可以在数字电视上播放，也可以在个人计 算机上播放，甚至可以借助机顶盒在模拟电视上播放，在互连的网络中能够更方便的提 供多种服务。 数字视频信号几乎都采用了彩色信号的分量表示法，比如r g b 分量表示，y c r c b 分 量表示，只要得到了各个分量的值就可以复原出该像素点视频的数字化表示带来的一 个问题就是数据量非常巨大，比如一个高清晰度数字电视信号，采用4 ：2 10 格式，其 亮度帧为1 9 2 0 像素行，1 0 8 0 行，色度帧为9 6 0 像素行，5 4 0 行，用每秒3 0 帧，8 位 像素采样，其数据量为： 每帧数据量：1 9 2 0 x1 0 8 0 + 9 6 0 5 4 0 x 2 = 3 1 d i b 每秒数据量：3 1 1 3 0 = 9 3 3 m b 一片c d - r 伽可存储的节目时间：6 5 0 + 9 3 3 = 6 9 7 ( 秒片) 这么大的数据量非常不利于存储和传输，解决这个问题可以通过增加存储容鼍，扩 大通讯带宽来解决，但是这样的代价非常大，有效的解决办法就是采用视频压缩技术压 缩数据，将压缩后的比特流保存和传输，可以节约大量的存储空问和信道带宽，终端需 要时再通过解压缩重建原始视频数据。 由于压缩技术和视频流存储格式的多样性，不同的处理终端难以进行视频流的通 信，为此，国际标准化组织制定了一系列的视频编码标准，统一规定了视频流的存储格 式和解码过程，这些标准的制定极大的推动了视频技术的应用，数字视频通信技术的典 型应用场景包括： 数字视频广播。如有线电视广播，卫星直播，这类应用的特点足信道容量大， 错误率低，通信协议通常采用h 2 2 2 0 ，即m p e g 一2 的系统层“1 。 一无线视频通信。这类服务的信道容量小，错误率高。通常采用h 3 2 x 系列”1 或者s i p ( s e s s i o ni n i t i a t i o np r o t o c a l ) “1 协议传送多媒体数据 基于i n t e r n e t 或局域网的流媒体服务这类应用的特点是信道带宽不稳定，流 媒体通过r e a l t i m ep r o t o c o l i n t e r n e tp r o t o c o l ( r t p i p ) ”1 协议传输。 一数字视频存储。如v c d ，d v d 。数码录像机等等。 视频技术在其它领域也有非常多的应用，比如视频监控，军事，电子图书馆等。随 着数字化技术在各个领域的逐步深入，数字视频技术也将得到更广泛的应用。 2 第一章引言 1 2 视频编码技术 视频编码问题可以表述为在给定信道带宽条件下，以最小的失真编码视频信号；或 者在保持给定的失真度情况下，以最小的码率编码视频信号0 1 ；总之，足要在码率和失 真之间获得最佳平衡率失真性能是对一个视频编码系统评价的基本准则。典型的信源 系统一般包括视频编码和解码两部分，编码器的编码码率受到传输信道的带宽、通信协 议头和错误校验码编码代价的限制；解码器的解码失真与编码器的性能和信道的干扰有 关。在实际应用中，编码延迟和复杂度也是制约一个编解码系统设计的重要因素。因此， 一个视频编码系统的设计问题可以定义为在给定的编码延迟和复杂度条件下，获得最佳 率失真性能的过程。本节将回顾视频