（通信与信息系统专业论文）可分级与高效视频编码中关键技术的研究.pdf

删 y 17 6 0 4 岑7 d o c t o r a ld i s s e r t a t i o no f b e i ji n gu n i v e r s i t y o fp o s t sa n dt e l e c o m m u n i c a t i o n s r e s e a r c ho ns c a l a b l ev i d e o c o d i n ga n d h i g h - p e r f o r m a n c ev i d e oc o d i n g ( s u b m i t t e dt ob e i j i n gu n i v e r s i t yo fp o s t sa n d ，一 1e l e c o m m u n l c a t l o n s f o rt h ed e g r e eo fd o c t o ro fe n g i n e e r i n g ) b y w e n h a o z h a n g d i s s e r t a t i o ns u p e r v i s o r ：p r o f a i d o n gm e n m a j o r ：c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m a p r i l2 0 1 0 j t f 独创性说明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。据 我所知，除了文中特i i i i 以标注和致谢的地方外，论文中不包括其他人已经发表或撰写过的 研究成果，也不包含为获得北京邮电大学或其他教育机构的学位或论文而使用过的材料。与 我一同工作的同志对本研究所作的任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：瑟窒蛊 i i ! i ：力。年月7 日 关于论文使用授权的说明 本论文作者完全了解北京邮电大学有关保留、使用学位论文的规定，有权保留并向国 家有关部门或机构交送论文的复印件，允许论文被查阅和借阅。本人授权北京邮电大学可以 将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存论文。 ( 保密的学位论文在解密后应遵守此规定) 办6 年月刃日 可分级与高效视频编码中关键技术的研究 摘要 以视频为核心的多媒体通信在过去的2 0 年间得到了迅猛的发 展。大量数字视频压缩算法的不断涌现令视频传输和存储的效率越来 越高。与此同时，无线与网络技术的爆炸式发展也深刻的影响着视频 应用的发展。为了满足人们越来越多样和越来越高质量的视频应用需 求，i t u t 和i s o m p e g 制订了一系列的视频压缩编码国际标准，目 前最新的国际标准h 2 6 4 a v c 以其良好的压缩性能和友好性得到了 广泛的认同和使用。 近年来，视频编码的发展逐渐显现出两个趋势。一方面，越来越 广泛的异构网络及终端环境下的视频应用，对压缩后视频流在传输和 使用过程中的适应性和容错性提出了新的要求。作为解决这一问题的 有效手段，可分级视频编码成为研究的重点，而h 2 6 4 a v c 也相应 的推出了可分级编码的扩展，即h 2 6 4 s v c 。另一方面，视频应用将 可预见的逐步向更高清晰度、更高质量的方向发展，进一步提高视频 压缩编码效率的需求仍旧很迫切。为了解决这一问题，兀u t 和 i s o m p e g 又在为推出为下一代的视频编码国际标准而努力。 本论文的研究主要围绕可分级视频编码和面向下一代高效视频 编码的若干技术展开，并取得了以下创新点： 1 针对h 2 6 4 s v c 空间分级增强层编码的快速模式选择算法 由于h 2 6 4 s v c 空间分级增强层采用了更多的编码模式，对实 时编码器设计提出了挑战。本算法通过利用了层间宏块模式的相关 性、层间编码q p 的相关性减少可用编码模式个数，而后利用相邻宏 块的相关性提前终止模式选择过程，从而避免了在对压缩效率无益的 模式上耗费计算资源。大量的编码实验表明该算法在大大加快整体编 码速度的同时，并没有对编码器的压缩性能带来损伤。 2 基于自适应滤波器的h 2 6 4 s v c 层间帧内预测的改进技术 由于h 2 6 4 s v c 空间分级编码的层间帧内预测采用的上采样滤 波器是一维多相位4 抽头f i r 滤波器，其在抗混迭失真性能和保持图 像二维特性等方面存在着不足。本论文中提出了两种利用自适应 w i e n e r 滤波器对层间帧内预测的改进技术，即采用二维自适应上采样 滤波器的层间帧内预测算法和针对层间帧内预测结果的二维自适应 优化滤波算法。这两种方法都能有效的克服现有的层间帧内预测机制 在预测性能上的不足，令预测的准确度大大提高。实验表明，这两种 算法最终都能使h 2 6 4 s v c 帧内编码压缩效率得到有效提升。 3 用于b 宏块编码的新的双向运动矢量预测技术 由于b 宏块具有良好的去除帧间相关性的特性，因此在当前和未 来的视频编码中得到大量使用。本算法针对b 宏块的双向预测模式， 通过自适应选择机制在时域、空域和时空域联合的不同的运动预测 信息之间进行判定，从而提高运动矢量预测精度，在降低了预测残差 的同时减少了运动相关的边信息传输。实验证明本算法能够有效的提 高b 帧的压缩效率，尤其对于低码率的应用环境，性能的提升更为明 显。 r e s e a r c h0 ns c a i ，ab a lv i d e oc o d i n ga n d h i g h p e r f o r m a n c ev i d e 0c o d i n g a b s t r a c t i nt h ep a s tt w od e c a d e s ，t h e r eh a v eb e e nf a s c i n a t i n gd e v e l o p m e n t si n m u l t i m e d i ac o m m u n i c a t i o n ，w h i c hi sm a i n l yb a s e do nv i d e oa p p l i c a t i o n s n es i g n i g i c a n ta d v a n c e si n d i g i t a l v i d e o c o m p r e s s i o na l g o r i t h m s i n c r e a s et h ee f f i c i e n c yo fv i d e od e l i v e r ya n ds t o r a g ec o n t i n u o u s l y a tt h e s a m et i m e ，t h ee x p l o s i v eg r o w t hi nw i r e l e s sa n dn e t w o r k i n gt e c h n o l o g y h a sp r o f o u n d l yi m p u l s e dt h ev i d e oa p p l i c a t i o n s as e r i e so fv i d e oc o d i n g i n t e r n a t i o n a ls t a n d a r d sa r ee s t a b l i s h e db yt h ei t u ta n di s 0 m p e gi n o r d e rt om e e tt h ei n c r e a s i n gd e m o n do fv a r i o u sv i d e oa p p l i c a t i o n s t h e l a t e s to n e ，h 2 6 4 a v c ，i sw i d e l ya c c e p t e da n du s e dd u et oi t sh i g h p e r f o r m a n c ei nb o t hc o m p r e s s i o na n dn e t w o r k f r i e n d l i n e s s r e c e n t l y , t h ed e v e l o p m e n to fv i d e oc o d i n gr e v e a l st w ot r e n d s o n t h eo n eh a n d ，m o r ea n dm o r ev i d e oa p p l i c a t i o n sa r eu t i l i z e di nas c e n a r i o w i t hd i f f e r e n tn e t w o r kc a p a c i t i e sa n dd i v e r s et e m i n a l s ；t h e r e f o r e ，t h e b i t s t r e a ms h o u l dh a v eg o o da d a p t i v i t ya n dr o b u s t n e s s s c a l a b l ev i d e o l a y e rm a c r o b l o c k s ；a sar e s u l t ，t h ee n c o d i n gc o m p u t a t i o n a lc o m p l e x i t yi s ac h a l l e n g ef o rr e a l t i m ea p p l i c a t i o n t h ef a s tm o d ed e c i s o na l g o r i t h m u t i l i z e st h er e l a t i o n s h i po ft h ec o d i n gm o d e s ，q u a n t i f i c a t i o np a r a m e t e r s b e t w e e nd i f f e r e n tl a y e r st or e d u c et h en u m b e ro ft h ec a n d i d a t em o d e s t h e n ，a ne a r l yt e r m i n a t i o nb a s e do nt h ec o s tr e l a t i o no fn e i g h b o u r i n g b l o c k si su s e dt os k i pt h em o d ed e c i s i o np r o c e d u r ea d a p t i v e l y t h e e x p e r i m e n t a lr e s u l t ss h o wt h ep r o p o s e da l g o r i t h mc a ne f f e c t i v e l yr e d u c e t h ee n c o d i n gt i m ew i t hn e g l i g i b l eb i t r a t ei n c r e a s e s 2 i m p r o v e dh 2 6 4 s v ci n t e r - l a y e ri n t r ap r e d i c t i o n b a s e do n a d a p t i v ef i l t e rt e c h n o l o g y a g r o u po fs e p a r a t a b l e1dp o l y p h a s e4 - t a pf i rf i l t e r si su s e di n h 2 6 4 s v ci n t e r - l a y e ri n t r ap r e d i c t i o n s t u d i e sa n da n a l y s i sr e v e a lt h a t t h i ss i m p l es c h e m ei sn o to p t i m a lt op r o c e s sv i d e 0 1 i m a g e ，w h i c hi sa t y p i c a lf o r mo f2 dn o n - s t a t i o n a r ys i g n a la n dw i t hu n a v o i d a b l ea l i a s i n g a r t i f a c t s t w oi m p r o v di n t e r - l a y e ri n t r a p r e d i c t i o na l g o r i t h m su s i n g a d a p t i v ew i e n e rf i l t e ra r ep r o p o s e d t h ef i r s to n ei si n t e r - l a y e ri n t r a p r e d i c t i o nw i t ha d a p t i v eu p s a m p l i n gf i l t e r ；t h es e c o n do n ei sa d a p t i v e o p t i m i z i n gf i l t e rf o ri n t e r - l a y e ri n t r ap r e d i c t i o n t h e s ea l g o r i t h m sc a n g e n e r a t e m o r ea c c u r a t e p r e d i c t i o n t h a nt h e o r i g i n a lh 2 6 4 s v c i n t e r l a y e r i n t r a p r e d i c t i o nm e t h o d e x p e r i m e n t sd e m o n s t r a t et h a tt h e p r o p o s e da l g o r i t h m sc a ne f f e c t i v e l yi m p r o v et h ec o d i n gp e r f o r m a n c eo f t h eh 。2 6 4 | 刚ci n t r a f r a m e s 3 an o v e lb i d i r e c t i o n a lm o t i o np r e d i c t i o nt e c h n o l o g yf o rc o d i n go f bm a c r o b l o c k bm a c r o b l o c k sw i l lb eu s e dw i d e l yi nt h ef u t u r ed u et oi t ss u f f i c i e n t c a p a c i t y o f r e m o v i n g t h ei n t e r f l a m e r e l a t i o n s h i p t h ep r o p o s e d a l g o r i t h mi m p r o v e st h em o t i o np r e d i c t i o ni nb i d i r e c t i o n a lc o d i n go fb m a c r o b l o c k s i tu t i l i z ea na d a p t i v es c h e m et od e c i d et h eb e s tm o t i o n v e c t o rp r e d i c t i o nf r o mas e to fp r e d i c t i o r s ，i n c l u d i n gt e m p o r a l ，s p a t i a la n d t e m p o r a l s p a t i a l i tm a k e st h em o t i o nv e c t o rp r e d i c t i o nm o r ea c c u r a t e ；a s ar e s u l t ，t h er e s i d u a lc a nb er e d u c e d t h ee x p e r i m e n t a lr e s u l t ss h o wt h a t t h ep r o p o s e dm e t h o dc a ni n c r e a s et h ec o m p r e s s i o np e r f o r m a n c eo fb f r a m e s ，e s p e c i a l l yi nt h el o wb i t r a t es c e n a r i o k e yw o r d s ：s c a l a b l ev i d e oc o d i n g ( s v c ) ，h 2 6 4 s v c ，f a s tm o d e d e c i s i o n ，i n t e r - l a y e rp r e d i c t i o n ，n e x tg e n e r a t i o nh i g h p e r f o r m a n c ev i d e o c o d i n g ，m o t i o nv e c t o rp r e d i c t i o n 目录 第一章序论1 1 1 研究背景与研究意义。1 1 1 1 视频编码标准发展概述。1 1 1 2 视频编码发展面临的挑战3 1 2 国内外研究热点及现状。4 1 2 1h 2 6 4 厶气v c 及其扩展4 1 2 2可分级视频编码的研究现状6 1 2 3下一代视频编码的研究现状1 4 1 3论文内容及组织结构1 5 1 4本章参考文献1 6 第二章可分级视频编码的关键技术研究2 4 2 1h 2 6 4 s v c 原理及结构概述2 4 2 1 1时问可分级2 6 2 1 2 空间可分级2 8 2 1 3 质量可分级3 2 2 2 h 2 6 4 s v c 空间可分级编码的快速模式选择技术3 6 2 2 1h 2 6 4 s v c 空间可分级的编码过程分析3 6 2 2 2空间可分级增强层的快速编码算法3 9 2 2 3实验仿真及结果分析4 5 2 2 4d 、结4 9 2 3基于自适应滤波技术的h 2 6 4 s v c 层间帧内预测的改进算法5 0 2 3 1 h 2 6 4 届v c 层间帧内预测的原理与实现流程分析5 0 2 3 2 基于自适应上采样滤波器的层间帧内预测算法( a u f i i p ) 5 5 2 3 3 层问帧内预测的自适应滤波优化算法( a o f - i l p ) 。6 2 2 3 4 实验仿真及结果分析6 6 2 3 5小结7 4 2 4 本章参考文献7 5 第三章面向下一代高效视频编码的关键技术研究7 9 3 1 面向下一代高效视频编码的研究现状7 9 3 1 1 下一代标准的制定进度7 9 3 1 2 面向下一代视频编码的新技术概述8 1 3 2一种用于b 宏块的新的运动矢量预测技术8 4 3 2 1h 2 “厶w c 中b 宏块运动矢量预测方法分析。8 4 3 2 2新的b 宏块运动矢量预测技术细节及实现。8 7 3 2 3实验仿真及结果分析9 l 3 2 4小结9 6 3 3本章参考文献9 7 附录a最优滤波理论与w i e n e r 滤波器1 0 0 a 1线性最优滤波器1 0 0 a 2w i e n e r 滤波器1 0 1 a 3 本章参考文献1 0 3 致谢1 0 4 攻读学位期间发表的学术论文目录。1 0 5 北京邮电人学博十学位论文第一章序论 1 1 研究背景与研究意义 第一章序论 以视频为核心的多媒体通信无疑是过去的2 0 多年间发展最为深刻和迅速的 领域之一。首先，视频源采集、传输、处理和显示已经实现了数字化，整个视频 产业j 下在全面告别模拟时代；其次，大量的数字视频压缩和通信算法纷纷涌现， 使得高效的利用网络带宽传输高质量视频逐步成为现实；再次，蓬勃发展的大规 模集成电路技术，极大地降低了实现各种复杂视频处理算法的成本，进一步促进 了视频通信的应用；最后，近年来无线移动通信和i n t e m e t 的“爆炸式”发展不 断催生着越来越多样的视频业务。在这样的背景下，u t 和i s o 两大国际标准 化组织陆续颁布了约1 0 个视频压缩编码国际标准，其中以2 0 0 3 年5 月由 i t u t n c e g i l 、i s o m p e g i 纠组成联合专家组( j o i n tv i d e ot e a m ，j v l ) 推出的 h 2 6 4 a v c 别性能最为优越。h 2 6 4 a v c 已经得到了国际范围内广泛认可和使用。 随着无线网络和i n t e r n e t 视频应用的不断发展，人们逐渐意识到视频编码的 发展在单纯的追求高压缩效率之外，还应当考虑压缩后的视频流在传输和使用过 程中是否具有良好的适应性和容错性。可分级编码( s c a l a b l ev i d e oc o d i n g ，s v c ) 作为一种应对异构网络和多样化终端的编码机制应运而生。j v t 已于2 0 0 7 年1 1 月推出了h 2 6 4 a v c 可分级编码扩展( h 2 6 4 s v c ) 1 5 j 。这一可分级扩展是否能 够延续h 2 6 4 a v c 的成功，还需要更多的有针对性的进一步研究。 此外，尽管现代通信网络的带宽和接入性能都有了巨大提升，但是人们对于 高清晰度、高质量视频业务的需求也大大提升，使得对更高效的视频压缩编码技 术的需求仍然十分迫切。i t u 聊c e g 、i s o m p e g 也已启动了面向高清、超高 清视频及家庭影院应用的下一代视频编码标准的制赳7 l 【引。下一代视频编码标准 最终是否能够达到既定目标，需要世界范围内的所有相关研究人员一致努力。 1 1 1 视频编码标准发展概述 随着以视频为核心的多媒体通信不断发展和产业化，为了保证不同厂商的产 品能够兼容和互通，从二十世纪八十年代末起开始，国际标准化组织( i s o ) 和 国际电联( i t u t ) 先后制订了一系列数字视频压缩编码标准【9 1 【1 0 】1 1 1 】： 1 9 9 0 年，c c i t i ( i t u t 前身) 通过了用于i s d n 网络“p 6 4 k b i t s ”的h 2 6 1 北京邮电人学博士学位论文 第一章序论 建议【1 2 】。h 2 6 1 提出的混合编码方法为后来的一系列基于波形的视频编码标准奠 定了基础。 1 9 9 1 年，i s o 制订了其第一个视频编码的标准m p e g 1 【1 3 1 ，主要应用于 码率为1 5 2 m b i t s 的v c d 压缩。 1 9 9 4 年，u t 和i s o 联合公布了h 2 6 2 1 m p e g 2 标准【1 4 1 。h 2 6 2 1 m p e g 2 编码c i f 尺寸隔行数据的码率为4 - 9 m b i t s 。h 2 6 2 1 m p e g - 2 在众多领域都带来了 深远的影响，例如数字地面电视、数字卫星电视、d v d 等等。 1 9 9 5 年，u t 推出了h 2 6 3 建议1 1 5 】，用于低码率视频会议系统。紧接着 又于1 9 9 8 年和1 9 9 9 年推出了h 2 6 3 + 和h 2 6 3 + + 。 1 9 9 9 年，i s o 制订了用于移动视音频通信的m p e g 4 标准【1 6 l 。m p e g 4 是 第一个提出了基于对象编码的思路的标准。此外除了定义视频压缩编码，m p e g 4 还强调了多媒体通信的交互性和灵活性。 2 0 0 3 年5 月，兀u t 和i s o 正式公布了h 2 6 4 m p e g 4a v c 视频编码标准i 引。 h 2 6 4 a v c 集中了以往标准的优点，并吸收了标准制定中积累的经验。在同等图 像质量的条件下，h 2 6 4 a v c 的压缩比是m p e g 2 的2 倍以上，是m p e g 4 的 1 5 2 倍。h 2 6 乱斛c 得到了业界的一致认可，同时也没有停止发展的步伐，2 0 0 5 年3 月推出了高保真扩展( f i d e l i t yr a n g ee x t e n s i o n ，f r e x t ) 4 1 ，用于高清晰度 及演播室质量的视频压缩。此后又在2 0 0 7 年1 1 月和2 0 0 9 年3 月分别推出了可 分级视频编码( s c a l a b l e v i d e o c o d i n g ，s v c ) 扩展1 5 j 和多视角视频编码( m u l t i v i e w v i d e oc o d i n g ，m v c ) 扩展f 6 l 以应对越来越多样的应用需求。 随着新的视频应用的发展，尤其是面临高清视频普及带来的存储和传输问 题，i t u t 和i s o 都开始着手下一代视频编码标准的研究和制定。i s o m p e g 于 2 0 0 9 年2 月启动了高性能视频编码( h i g h - p e r f o r m a n c ev i d e oc o d i n g ，h v c ) i s l 的需求草案。i t u t v c e g 则于2 0 0 9 年4 月启动了下一代视频编码 ( n e x t g e n e r a t i o nv i d e oc o d i n g ，n g v c ) 7 1 的需求草案。在2 0 1 0 年1 月日本大 阪召开的第3 9 次v c e g 会议暨第9 1 次m p e g 会议上，两个组织再度合作组建 联合合作组( j o i n tc o l l a b o r a t i v et e a m ，j e t ) 共同起草和制定下一代视频编码标 准。目前j c t 针对下一代标准的c f p ( c a l lf o rp r o p o s a l ) 已经全面启动，预计标 准的制定将于2 0 1 2 年7 月完成。 除了上述的标准之外，还有一些其他的视频、图像编码标准同样值得一提。 例如2 0 0 0 年i s o 推出的j p e g 2 0 0 0 标准【1 7 】采用td , 波变换取代基于块的d c t 变 2 北京邮电大学博士学位论文第一章序论 换。由于其在高码率压缩特性、版权保护等的方面的优势，j p e g 2 0 0 0 被美国数 字电影创导有限公司( d c i ) 采纳作为数字电影的标准格式。2 0 0 6 年微软推出了 v c i t l 8 】在h dd v d 、蓝光等应用中得到广泛的使用。而我国也于2 0 0 5 年发布 a v s 视频编码标准【1 9 】，这是我国具备自主知识产权的第二代信源编码标准。 1 1 2 视频编码发展面临的挑战 视频编码技术不断向前演进，时至今日视频编码标准的发展主要面临着以下 的两大挑战： 1 网络视频应用对视频编码码流的“友好性 提出了高要求。 随着i n t e r n e t 的普及和下一代网络的发展，未来网络已经趋向于固移融合的 全口异构网络。无所不在的网络覆盖和多种多样的接入方式提供了前所未有的 丰富多样化的应用，其中以视频为核心的多媒体应用已经成为主流。然而无论是 无线l p 网络或异构i p 网络都要面临信道带宽变化、丢包或误码、以及时延抖 动等传输难趔删。此外在视频流媒体应用中，同一个视频信息源可能被发送给不 同计算存储能力、电池供电能力和显示能力的终端或不同需求的用户。在 i s o m p e g 推出的多媒体框架协议m p e g 2 1 1 2 1 j 中已经对普遍媒体接入( u n i v e r s a l m u l t i m e d i a a c c e s s ，u m a ) 做出了定义：任何类型的终端能够通过任何类型的网 络访问任何多媒体信息。这就要求了视频编码标准除了注重压缩效率之外，同时 还必须考虑如何“友好”的与基于网络的应用相结合。这种“友好性具体的体 现在对网络丢包的容错性、对网络带宽波动的自适应性以及对终端和用户需求多 样化的可分级性等特点。 2 高清晰度、高质量视频的普及对视频编码压缩效率提出了更高要求。 无线技术和网络技术的蓬勃发展提供给视频应用的带宽已经有了突飞猛进 的增长，然而随着高清晰度和高质量数字视频的普及，视频信息固有的数据量巨 大的问题再次凸现出来。对于高质量的h d t v 应用，即便采用h 2 删c 标准 进行压缩其所占带宽仍然十分巨大。显然，进一步降低带宽需求能够大大的节省 h d t v 运营成本。在移动视频应用中，传统的c i f 等小尺寸视频格式也在逐渐被 d 1 等更大视频尺寸格式所取代。并且随着用户群数目的飞速增长，看似“无限” 的网络带宽也将在不远的将来显得捉襟见肘。尽管h 2 6 4 a v c 较之于先前的视 频编码标准在编码压缩效率上有了极大的提升，但是在应对未来各种高清晰度、 高质量视频应用时h 2 c 的压缩效率仍显得不足。 总而言之，上述两个挑战，将是当前和未来视频编码的研究中需要解决的重 3 北京邮电大学博+ 学位论文 第一章序论 要课题。 1 2 国内外研究热点及现状 根据1 1 2 中的分析得出结论，当今的视频编码领域发展的方向有两个：一 是面向网络应用，追求良好的容错性、适应性和可分级性；二是面向高清晰度高 质量应用，追求更高的压缩效率。本节将首先回顾h 2 6 4 的核心技术及其不断演 进的过程，之后就上述两个研究热点分别介绍可分级视频编码和下一代视频编码 标准的研究现状。 1 2 1h 2 6 甜a v c 及其扩展 1 2 1 1h 2 6 4 a v c 概述 h 2 删c 是目前最新的视频编码标准，其第一个版本发布于2 0 0 3 年。它 由来自i t u t c e g 和i s o m p e g 合作组建的联合专家组( j v t ) 制定和共同使 用( 对应于i t u th 2 6 4 建议和m p e g 4 标准第十部分) 。h 2 6 4 ，a 、，c 是一套兼 顾广播和电信，覆盖从低码率通信到高清晰电视的广域标准。该标准由于其优越 的压缩性能和良好的网络友好性，对网络视频编码，传输无线网络和i n t e r n e t 网 络数字电视等领域都带来了深远的影响。 编码器 原始罔豫帧。厂、。r _ ：- - 、。r = 。f r 。1码漉。 7 v f 1 ：= ：几三：j ： 7 l ”一1j ， j ，_ r，、l ， a 兀忍。 】 r ，一、。l 。 因 网攀 。一j 一- - i 一_ 一一 r = 三n j j 最构输出图p 帧 、 7 l 二二：二：f 、 i 7 一 ， 图1 - 1h 2 6 4 a v c 编解码器示意图 如图1 - 1 所示，h 2 6 4 a v c 沿袭了传统的d p c m d c t 混合编码框剁2 2 1 ，基 4 北京邮电大学博士学位论文 第一章序论 本的功能单元包括变换、量化、预测和熵编码等。h 2 删c 的高压缩性能并非 因为其对编码结构和框架的做了更新，而是源自其引入的如帧内预测、1 4 像素 精度运动补偿、多参考帧帧间预测、上下文自适应熵编码等等的大量新技术的累 积增益1 2 3 j 【矧。通过将众多编码工具( c o d i n gt 0 0 1 ) 依照特性和复杂度进行组合， h 2 6 4 a v c 定义了诸多不同的档次( p r o f i l e ) ，使其成为了适应多种视频应用场 合的一“族”标准。在最初的版本中，h 2 6 4 a v c 包含三个档次：b a s e l i n e 、m a i n 和e x t e n d e d 。 为了顺应技术和应用持续不断的发展，j v t 也不断致力于为h 2 6 4 a v c 增 加新的扩展和档次。截止目前为止，h 2 6 4 a v c 已经定义了1 6 个档次1 2 6 1 ，涵盖 了高保真视频编码【4 1 、可分级视频编码【5 】和多视角视频编码【6 】等众多应用。 1 2 1 2 高保真扩展( h 2 6 4 a v cf r e x t ) 2 0 0 4 年9 月，j v t 针对专业领域应用发布了高保真扩展( f i d e l i t yr a n g e e x t e n s i o n ，f r e x t ) 1 4 1 ，为h 2 6 4 a v c 增加了h i ；l l 、h j 曲1 0 、h i g h4 ：2 ：2 和h i g l l 4 ：4 ：4 等4 个新档次。该扩展主要是针对专业视频应用领域中的像素比特精度和 色度采样尺寸较高的高质量视频源压缩。值得注意的是在高保真扩展中引进了一 些新的编码技术。例如自适应的在4 x 4 和8 x 8 整数d c t 变换间切换、量化加权 矩阵、帧间无损编码以及色彩空间为r g b 的信源的编码等等【2 7 1 。 为了跟进专业视频应用领域的发展，在高保真扩展发布之后，又有若干个新 的档次被加入到h 2 6 4 a v c 中。这其中包括h i 曲1 0i n t r a 、h i g h4 ：2 ：2i n t r a 、h i g h 4 ：4 ：4i n t r a 和c a v l c4 ：4 ：4i n t r a 等【捌。而一些更为前沿的技术，例如对g a m u t 色 度空间和高动态范围( d y n a m i cr a n g e ) 视频源【2 9 l 的支持，也已经进入了标准下一 步发展的考虑范围之中。 1 2 1 3 可分级视频编码扩展( h 2 6 4 s v c ) 为了应对视频通信中各种内容、各种不同的网络条件、和不同能力终端之间 失配问题，j v t 于2 0 0 7 年1 1 月将可分级视频编码扩展( s c a l a b l ev i d e oc o d i n g e x t e n s i o n ) 纳入到了h 2 6 4 标准中【5 】，通常该扩展被称作h 2 6 4 s v c 。作为 h 2 6 4 a v c 标准文档的附录g ，可分级编码扩展为h 2 6 4 j a v c 增加了s c a l a b l e b a s e l i n e 、s c a l a b l eh i g h 和s c a l a b l eh i g hi n t r a 等3 个新档次。其中s c a l a b l eb a s e l i n e 档次适应于移动、监控及实施视频会议应用；s c a l a b l eh i g h 档次适应于广播和流 媒体应用；s c a l a b l eh i g hi n t r a 档次则主要用于医疗等专业级应用中。 h 2 6 4 s v c 采用了基于d p c m d c t 混合编码框架的分层编码结构，目前为 5 北京邮电大学博士学位论文第章序论 止支持三种可分级性：时域( 帧率) 可分级、空问可分级和质量( s n r ) 可分级 【矧。为了保证可分级编码的压缩效率，h 2 6 4 s v c 在继承了h 2 6 4 a v c 的诸多 成功技术的基础上，增加了三种层间预测技术去除层间冗余度：层间帧内( 纹理) 预测、层间运动预测和层问残差预测【3 。 除了编码的高效性，h 2 6 4 s v c 在制定过程中总结了过去可分级视频编码标 准化的失败教训，严格限制了解码器的复杂度f 3 2 1 。此外，h 2 6 4 s v c 还具备与 h 2 6 4 a v c 良好兼容的特性。 1 2 1 4 多视角视频编码扩展( h 2 6 4 m v c ) 随着近年来视频通信系统的传输能力、运算能力和显示终端技术的不断发 展，催生了多视角视频、立体视频、3 d 电视等的应用。因此2 0 0 9 年3 月，j v t 在h 2 6 4 a v c 中增加了多视角视频编码扩展( m u l t i v i e wv i d e oc o d i n g e x t e n s i o n ) ，并将其作为附录h 加入到h 2 6 4 a v c 标准文档中【刚。该扩展通常也 被称为h 2 6 4 m v c 。多视角视频编码扩展为h 2 6 4 j a v c 标准新增加了一个 m u l t i v i e wh i g h 档次。 为了获得良好的压缩特性，h 2 6 4 m v c 继承了h 2 6 4 a v c 的相关技术，并 增加了视差( d i s p a r i t y ) 矢量预测补偿技术来去除多个视角画面问的冗余度【3 3 1 。 由于沿用了一些h 2 6 4 s v c 中引入的接口和传输机制，h 2 6 4 m v c 也同时具备 了视角的可分级性和时域的可分级性【川。此外与h 2 6 4 s v c 一样，h 2 6 4 m v c 也非常注重解码的低复杂度和与h 2 6 4 a v c 的兼容性等特性。 1 2 2 可分级视频编码的研究现状 可分级视频编码( s c a l a b l ev i d e oc o d i n g ，s v c ) 作为解决现代视频传输、 存储系统中异构问题的重要手段，是近年来视频编码领域的研究热点。对于视频 编码的可分级性概念，文献【3 8 j 中给出的定义为一个视频码流具备这样的特性 只需要部分解码该码流，就能够得到有物理意义的图像或视频信息( s c a l a b i l i t y r e f e r st ot h ec a p a b i l i t yo fr e c o v e r i n gp h y s i c a l l ym e a n i n g f u li m a g ea n dv i d e o i n f o r m a t i o nb yd e c o d i n go n l yp a r t i a lc o m p r e s s e db i ts t r e a m s ) 。而s c h w a r z 等人在文 献【3 0 l 中从另一个角度给出了定义：对一个视频比特流可以去除其中一部分从而适 应各种用户的不同需求，以及多种多样的终端设备和网络条件( t h et e r m s c a l a b i l i t y r e f e r st ot h er e m o v a lo fp a n so f t h ev i d e ob i ts t r e a mi no r d e rt oa d a p ti t t ot h ev a r i o u sn e e d so rp r e f e r e n c e so fe n du s e r sa sw e l la st ov a r y i n gt e r m i n a l c a p a b i l i t i e so rn e t w o r kc o n d i t i o n s ) 。可分级性非常灵活，可以在视频编码的众多方 面都有所体现，例如时域( 帧率) 可分级、空域(