（通信与信息系统专业论文）提高hevc视频编码性能的相关技术研究.pdf

摘要 l i i ii iii i i ii i i i i i iiiil y 2 0 6 7 2 2 2 高性能视频编码标准( h e v c ) 是i t u - t 的视频编码专家组( v c e g ) 和i s o i e c 的 运动图像编码专家组( m p e g ) 联合组成的视频编码联合组( j c t - v c ) i - e 在开发的新一 代视频编码标准，其核心目标是在h 2 6 4 a v ch i g hp r o f i l e 的基础上，将高分辨率 视频的压缩效率再提高一倍。目前随着标准化进程的不断推进，在获得与 h 2 6 4 a v c 相同恢复图像质量的情况下，h e v c 已能节省4 0 左右的码率。本文 跟踪和探索了h e v c 制定过程中的相关技术，并针对参考帧压缩技术和几何形状 运动分割模式进行深入研究，提出了相应的算法。 1 参考帧压缩技术( r f c ) ：为了降低编解码器中的内存开销以及内存访问带宽， 提出了基于2 x 2 块的自适应参考帧压缩算法。该算法通过充分利用2 x 2 块中像素 点之间的空间相关性，合理分配有限比特数，并根据硬件配置参数的不同，灵活 组合存储单元，以此来降低参考帧的内存开销，同时也能降低视频终端总线带宽 的要求。实验结果表明，该方案与基于4 x 4 块压缩的算法相比，可以使编码效率 和内存访问带宽间达到更好的均衡效果。 2 几何形状运动分割( g e o ) 模式预测：为了进一步降低g e o 模式下的码率， 提出了g e o 边缘线预测算法。该算法根据物体运动具有刚性和物体边缘具有连续 性的特点，对g e o 分割模式的边缘线进行帧间和帧内预测，然后对预测差值信号 进行熵编码，以此来降低码率。实验结果表明，该预测技术可以提高色度信号的 编码效率，但由于较多参考边信息的引入，使得码率降低的效果有限。 关键词：视频编码h e v c 参考帧压缩几何形状运动分割模式 提高h e v c 视频编码性能的相关技术研究 a b s t r a c t a b s t r a c t c o l l a b o r a t i v et e a mo nv i d e oc o d i n g ( j c t - v c ) i sc u r r e n t l yd e v e l o p i n gan e w g e n e r a t i o nv i d e oc o d i n gs t a n d a r d ，h e v c ( h i g he f f i c i e n c yv i d e oc o d i n g ) ，t oe n h a n c e t h ec o d i n ge f f i c i e n c y t h eg o a lo ft h es t a n d a r di st oa c h i e v eo n et i m eh i g h e r c o m p r e s s i o nc a p a b i l i t y t h a nt h eh 2 6 4 a v c h i g hp r o f i l e n o w , a s h e v c s t a n d a r d i z a t i o n p r o c e s s i s b e i n gp r o m o t e d ，i t s v i d e oc o d i n g e f f i c i e n c y c a nb e d r a m a t i c a l l yi n c r e a s e d ，w h i c hm e a n sa p p r o x i m a t e l y4 0 b i t - r a t ed e c r e a s ec o m p a r e d 诵t 1 1h 2 6 4 a v ca tt h es a m ev i d e oq u a l i t y d u r i n gt h ed e v e l o p m e n to fh e v c ，t h i s t h e s i sf o l l o w su pa n de x p l o r e st h ea d v a n c e dt e c h n i q u e s s p e c i a l l y , t h er e f e r e n c ef r a m e m e m o r yc o m p r e s s i o na n dm o d ep r e d i c t i o ni ng e o m e t r y m o t i o n - p a r t i t i o na r er e s e a r c h e d d e e p l y , a n dt h e nt h ec o r r e s p o n d i n ga l g o r i t h m sa r ep r o p o s e dr e s p e c t i v e l y 1 、r e f e r e n c ef r a m em e m o r yc o m p r e s s i o n ( r f c ) ：i no r d e rt or e d u c et h em e m o r y c o s ta n dm e m o r ya c c e s sb a n d w i d t hi nv i d e oc o d e c ，a i la l g o r i t h mo f2 x 2 - b l o c kb a s e d r e f e r e n c ef r a m em e m o r yc o m p r e s s i o ni sp r o p o s e d t h ea l g o r i t h ma s s i g n st h el i m i t e d b i t sa m o n gt h ep i x e l si na2 x 2 - b l o c k ，e x p o i t i n gt h eh i g hr e d u n d a n c yb e t w e e nt h e m i n t h em e a nt i m e ，t h e2 x 2u n i tc a nb er e o r g a n i z e dt og e tt h el o w e s tm e m o r ya c c e s s b a n d w i d t ha c c o r d i n gt ot h ea l i g n b u r s tp a r a m e t e r so ft h ee m p l o y e dm e m o r y b yt h i s w a y , t h er e f e r e n c ef r a m em e m o r ya n dt h em e m o r ya c c e s sb a n d w i d t hi sh i 曲l yd e c r e a s e d w h e nd o i n gm o t i o ne s t i m a t i o no rm o t i o nc o m p e n s a t i o ni nv i d e ot e r m i n a l e x p e r i m e n t a l r e s u l t ss h o wt h a tt h ec o m p r e s s i o na l g o r i t h mc a nb a l a n c et h ec o d i n gp e r f o r m a n c ea n d m e m o r ya c c e s sb a n d w i d t hb e t t e rc o m p a r e d 、析t l lt h o s ep r e v i o u sm e t h o d sb a s e do n 4 x 4 b l o c k 2 、m o d ep r e d i c t i o ni ng e o m e t r y - m o t i o n - p a r t i t i o n ( g e o ) ：t h ea l g o r i t h mo fg e o m o d ep r e d i c t i o ni sp r o p o s e df o rf u r t h e rd e c r e a s i n gt h ec o d i n gb i tr a t ew h e nt h eg e o m o d ei sa d o p t e d ，w h i c hi sb a s e do nt h er i g i d i t yo f o b j e c t s m o t i o na n dt h ec o n t i n u i t yo f o b j e c t s b o u n d a r y i n t r aa n di n t e rp r e d i c t e da r eb o t l li n v e s t i g a t e d t h e ne n t r o p yc o d i n g i si m p l e m e n t e dt ot h er e s i d u a ld a t at or e d u c et h eb i tr a t e e x p e r i m e n t a lr e s u l t ss h o wt h a t t h eg e om o d e p r e d i c t i o nt e c h n o l o g yi sa v a i l a b l ef o rc o d i n gc h r o m as i g n a lb u tl i m i t e d p r e d i c t i o ne f f e c ti sc o n d u c t e db e c a u s eo fi n t r o d u c i n gm o r es i d ei n f o r m a t i o n k e y w o r d s ： v i d e oc o d i n gh e v cr e f e r e n c ef r a m em e m o r yc o m p r e s s i o n g e o m e t r y m o t i o n p a r t i t i o n 第一章绪论 第一章绪论 1 1引言 视频编码技术是视频处理技术中的重要组成部分，它通过有损或者无损的方 式来实现大量视频数据的有效压缩。据统计，人们从外界获得信息大约有7 5 来 自视觉系统，这些视觉信息数字化后，数据量是巨大的。如果直接对原始数据进 行传输，将导致视频信息无法进行连续实时传输，同时也不利于存储。因此，为 了节省信道传输带宽和存储空间，视频数据只有进行有效的压缩才能有实用价值。 自2 0 世纪8 0 年代中后期开始，人们就从未停止过对视频压缩技术的探究，由此 而制定的压缩标准也在不断更新。 国际标准化组织( i s o i e c ) 的活动图像专家组( m p e g ) 和国际电信联盟( i t o t ) 的视频专家组( v c e g ) 是两个主要的制定音视频压缩标准的国际组织。与之相应的 国际视频编码标准有两个系列。m p e g 制定的标准主要包括m p e g 1 标准i l j 、 m p e g 2 标准【2 】、m p e g - 4 标准【3 】；v c e g 制定的编码标准为h 2 6 11 4 1 、h 2 6 3 t 5 1 等。 m p e g 和v c e g 还联合制定了h 2 6 4 a v c 6 标准，这些已有的视频编码标准采用 了各种性能出色的视频编码算法，代表了各个时期视频处理的发展水平。 然而，随着人们对视频体验需求的不断升级，先进的视频编码标准h 2 6 4 a v c 已经在高分辨率视频压缩的应用中表现出其不足，为此，人们便开始了对更性能 的视频编码技术的探究。 经过几年的积累( 新型运动补偿、变换、插值和熵编码等技术的发展) ，推出新 一代视频编码标准的技术基础已经成熟。2 0 1 0 年4 月，由v c e g 和m p e g 再次联 合组成的联合视频编码组( j o i n tc o l l a b o r a t i v et e a mo nv i d e oc o d i n g ，j c t - v c ) 第一 次会议在德国德累斯顿召开。在这次会议上，确定了新一代视频编码标准的名称： h e v c ( h i g he f f i c i e n c yv i d e oc o d i n g ) ，并且建立了测试模型( t e s tm o d e lu n d e r c o n s i d e r a t i o n ，t m u c ) ，初步定于2 0 1 2 年7 月完成标准的最终稿。 h e v c r l 标准的核心目标是在h 2 6 4 a v c 基础上，压缩效率再提高一倍。即在 保证相同视频质量的前提下，视频流的码率减少5 0 。并且可以很好的支持高清、 3 d 、移动无线视频，满足人们在家庭影院、远程监控、数字广播、移动流媒体、 便携摄像、医学成像等领域的需求。第一次会议之后，根据各项回应提案带来的 增益，j c t - v c 初步决定采用三星和松下公司提出的具有优势的视频编解码工具。 它可以使得视频流的码率减少近4 0 ( 相对h 2 6 4 a v c ) ，在后面召开的j c t - v c 会 议上，对h e v c 的不断发展均是在此基础上进行的。 纵观视频编码技术的发展，正在制定中的h e v c 视频编码标准已经以其更高 2 提高h e v c 视频编码性能的相关技术研究 的编码效率，强大的性能，更广的应用范围，吸引了视频处理领域中越来越多的 研究者。因此，该标准的最终确定，将会是视频压缩技术发展史上的飞跃。 1 2 课题背景 本课题的选题来自与华为公司合作的研究项目：“视频通信处理专项研究 。 此项目的研究目的是与各公司和研究机构一起，参与h e v c 视频编码标准的制定， 使其在规定时间内，达到标准化目标。 h e v c 是由j c t - v c 提出并在不断发展的最新一代高性能视频编码标准。就目 前的研究现状而言，它采用了与h 2 6 4 a v c 相同的混合视频编码框架，但同时又 引入了灵活块划分方式、内部比特深度提升( i n t e r n a lb i t - d e p t hi n c r e a s e ，i b d i ) 、先 进的位移矢量预测( a d v a n c e dm o t i o n v e c t o r p r e d i c t i o n ，a m v p ) 、改进的帧内预测、 环内滤波等先进的编码工具。因此，在相同的恢复视频质量条件下，它已经能够 比h 2 6 4 a v c 节约4 0 左右的码率，即压缩效率提高了7 0 。是当前比较出色的 视频编码技术。 然而，制定该标准的最终目标还未达到，为了使h e v c 尽快达到标准化目标， 各个公司和研究机构积极参与研究探讨，提供技术方案。随着j c t - v c 会议的阶段 性召开，h e v c 的编码技术也得到了快速提升。在此过程中，本文主要是针对参 考帧压缩技术和几何形状运动分割模式技术进行研究分析，旨在降低编码过程中 的内存开销和编码码率。 i b d i 8 】技术的原理在于，通过对图像处理中间过程中像素深度的增加，提高了 预测和滤波的精确度，进而提高编码效率。但是i b d i 技术的引入，使得存储参考 帧像素占用的内存及访问时所消耗的内存带宽大大增加了，约为原来的1 2 5 倍。 而高数据量的内存访问会消耗大量能量，这使得参考帧像素的存储与访问成为视 频编码硬件实现过程中的一个瓶颈。因此，研究参考帧内存空间的压缩具有十分 重要的意义。 在j c t - v c 第一次会议上，高通公司提出了几何形状运动分割模式【9 】 ( g e o m e t r y m o t i o n p a r t i t i o n ，g e o ) ，该技术可以提高预测的准确度，降低运动矢量 的开销，减小差值数据，进而提高编码效率。但由于几何运动分割模式数目巨多， 进行模式选择时要花费大量时间( 会使编码时间增加一倍) ，并且在对这些分割模式 信息进行编码时，采用基于上下文的自适应二进制算术编码技术( c o n t e x t - b a s e d a d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ，c a b a c ) 的旁路编码( b y p a s s ) 方式，即无压缩编 码，这将消耗较多的比特数。为此，对该工具进行优化是十分有必要的。 目前，人们对这两个方面的研究不断深入，提出了众多有价值的算法。其中， 针对参考帧压缩算法的有：固定舍入算法( f i ) 【e d r o 唧d i n g ) 【1 0 1 ，自适应量化算法【l l 】， 第一章绪论 自适应补偿的量化算法【1 2 】，联合色度和亮度的自适应参考图像压缩算、法【1 3 1 等，针 对g e o 划分模式的算法有：快速算法【1 4 】【15 1 、简化算法【1 6 】、重叠块的运动补偿 ( o v e r l a p p e db l o c km o t i o nc o m p e n s a t i o n ，o b m c ) 改进算法【1 刀等。这些方案，在一 定程度上对这两个编码技术的性能有所改进，提高了编码效率，但是仍然有提升 的空间，有待进一步研究。 1 3 研究内容 目前，研发中的h e v c 视频编码技术在性能上，已经比h 2 6 4 f a v c 具有了很 大的优势，但是，进一步提高编码效率，以更小码率实现更高质量的图像和视频 通信业务仍然是视频通信领域不断追求的目标。 本文的研究基于h e v c 技术提案中引进的新技术和新工具，主要对参考帧压 缩技术和g e o 运动分割模式进行了改进，旨在进一步优化编码器，提高编码效率。 在此期间，所做的主要研究工作及内容如下： 1 、改进的参考帧压缩算法 参考帧压缩技术是对i b d i 技术的一个补偿。在目标压缩率的限制下，为了使 压缩后的图像质量尽可能的高，同时降低视频终端总线带宽的要求，人们对参考 帧压缩技术的研究不断深入。从j c t - v c 第一次会议开始到现在，自适应的参考帧 压缩算法得到了很大程度的改进。 本文首先对现有提案中的几种自适应压缩算法进行了分析，指出其存在的不 足，然后就图像相邻像素的相关性、压缩单元尺寸和内存访问带宽的关系，进行 了理论分析和实验验证，得出结论：压缩单元越小，该单元像素间的相关性就越 大；当最小访问单元( b u r s t ) 参数较小时，采用小的压缩单元可以减少内存访问冗余， 反之，在b u r s t 参数较大时，采用大的压缩单元以减少对多余内存的访问。基于上 述理论基础，本文提出了基于2 x 2 块的参考帧压缩算法，通过更加合理分配目标 比特数来提高压缩效率，同时，充分利用2 x 2 单元的灵活性来降低内存访问带宽， 最后，通过软件平台h m 2 o 【l8 】验证了该算法的有效性。 2 、g e o 运动分割模式的改进 g e o 运动分割模式是预测单元形式的一种，应用在帧间预测中，通过一条有 方向性的边缘线，将编码单元划分为两部分，每部分具有明显不同的运动趋势， 分别用两个运动矢量来表示。该分割模式的使用，使得编码块的划分更加符合实 际情况，减少了因运动趋势的不同而对编码单元进行逐级划分所引入的头部信息 开销，同时也使得运动预测更加准确，提高了编码器的编码效率。 本文首先说明了目前g e o 运动分割模式的研究现状，然后针对编码器中对 4 提高h e v c 视频编码性能的相关技术研究 g e o 分割模式的旁路编码方式进行分析，并指出其在模式信息编码方面存在不足， 随后通过对相关数据的统计发现：编码该模式信息的比特率占码流的5 左右，优 化的必要性存在。考虑到视频序列中物体运动具有刚性和边缘线具有连续性这一 特性，同时又观察到相邻帧的g e o 分割线具有很大的相关性，相邻块的g e o 分 割线接近连续，推断出视频序列这一特性可以被用来去除g e o 模式信息的冗余。 基于此，本文提出了g e o 边缘线的预测算法，通过对边缘线进行帧内帧间预测， 用一条预测线来逼近当前线，最后只对预测差值信号进行熵编码，减少编码所用 比特数。在t m u c o 9 1 9 】软件平台上对该算法进行了实验仿真，实验结果表明该算 法对编码效率的提高有一定的效果，但是因为额外参考边信息的引入，使得码率 降低的效果较为有限。 1 4 本论文的结构安排 针对以上的研究目标，本文的研究工作和内容组织如下： 第一章首先介绍数字视频压缩标准的发展现状，然后说明本文的课题背景和 研究目标，最后列出本论文的组织结构。 第二章介绍新一代视频编码标准h e v c 的发展和研究现状，特别阐述h e v c 视频编码的基本原理，并对其中的关键技术进行了详细的介绍。 第三章研究基于h e v c 的参考帧压缩基本原理，并对从第一次j c t - v c 会议 开始到现在为止，技术提案中所涉及的相关算法及各自的优缺点进行分析，针对 现有算法的不足，提出一种改进的参考帧压缩算法，最后进行实验和仿真，在编 码效率和内存访问带宽两个方面证明该算法的有效性。 第四章介绍基于h e v c 的g e o 运动分割模式的原理及发展现状，并对其存在 的不足进行讨论，提出对边缘线进行预测的算法，最后对该算法进行仿真，验证 该预测算法的有效性。 第五章对本文的主要工作进行总结，分析存在的不足以及可以继续改进的地 方，并提出未来的研究和发展方向。 第二章h e v c 视频编码技术 第二章h e v c 视频编码技术 2 1引言 随着广播信号分辨率和人们更好的视频体验要求的不断提高，h 2 6 4 a v c 在 高清视频序列的应用中逐渐显现出压缩能力的不足，编码效率需要得到进一步的 改善。在此背景下，高性能视频编码标准( h e v c ) 进入视频压缩组织的制定日程。 该标准是在h 2 6 4 a v c 基础上发展起来，并由j c t - v c 来组织探索的不断发 展的高质量、低比特率的视频编码标准。下文将对h e v c 的目标、发展现状、编 码原理及目前采用的一些关键技术做一些简单的介绍。 2 2h e v c 草案的概述 2 2 1h e v c 的目标及应用范围 h e v c 是对h 2 6 4 a v c 视频编码标准的继承，目前正处在研发和制定阶段。 制定该标准的最终目标有两个：一是在各种运动图像应用情况下，例如，视频会 议、数字存储媒体、电视广播、互联网流和通信等，满足人们对其更高压缩效率 的需求；二是致力于研究一种灵活表示视频内容的方法，使其可以适应各种网络 环境。总之，该视频标准在h 2 6 4 a v c 的基础上不断改善，最终的目的就是使得 视频信息能够作为一种计算机数据被灵活操作及存储，并且可以在现有和未来的 任何网络上传送和接收、任何广播信道上进行传播。 在这个目标的指引下，视频编解码器将会发生很大的变化，其应用范围也将 被进一步扩大。j c t v c 组织指出，h e v c 标准的应用领域【2 0 】将涵盖但并不仅限于 这些方面：基于光网络的有线电视( c a b l et vo no p t i c a ln e t w o r k s ，c o p p e r ，e t c c a t v ) 、直播卫星视频服务( d i r e c tb r o a d c a s ts a t e l l i t ev i d e os e r v i c e s ，d b s ) 、数字用 户的在线视频服务( d i g i t a ls u b s c r i b e rl i n ev i d e os e r v i c e s ，d s l ) 、数字电视地面广播 ( d i g i t a lt e r r e s t r i a lt e l e v i s i o nb r o a d c a s t i n g ，d t t b ) 、交互式的存储介质( i n t e r a c t i v e s t o r a g em e d i a ，i s m ) 、多媒体邮件( m u l t i m e d i am a i l i n g ，m m m ) 、分组网络上的多 媒体服务( m u l t i m e d i as e r v i c e so v e rp a c k e tn e t w o r k s ，m s p n ) 、实时对话服务 ( r e a l t i m ee o n v e r s a t i o n a ls e r v i c e s ，r t c ) 、远程视频监控( r e m o t ev i d e os u r v e i l l a n c e ， r v s ) 、串行存储介质( s e r i a ls t o r a g em e d i a ，s s m ) 。 2 2 2h e v c 的发展及现状 l 、发展初期及准备工作 6 提高h e v c 视频编码性能的相关技术研究 h 2 6 4 a v c 标准制定之后，会议组长g s u l l i v a n 在2 0 0 3 年9 月的v c e g 会议上， 以t 会议和m p e g 会议的历次视频相关技术会议中技术提案为基础，对一些潜在 的可以进一步提高h 2 6 4 a v c 编码性能的技术做了总结【2 1 】【2 2 】，讨论了各编码算法 的计算复杂度和增益空间。 2 0 0 4 年l o 月的v c e g 会议上，g s u l l i v a n 进一步完善了可提高编码性能的编码 技术的总结。并在这次会议上，v c e g 建立了“关键技术领域”( k e yt e c h n i c a la r e a ， k t a ) 的研究平台，在h 2 6 4 a v c 参考软件( j o i n tm o d e l ，j m ) 田】的基础上，开发了 测试平台瞄】，集成了最新的先进编码技术。此外，还成立了编码效率专题小组( a d h o cg r o u po nc o i n g e f f i c e i e n c y ，c ea h o ) ，负责专门研究可提升编码效率的视频 编码新技术。 随后的四年里，在v c e g 会议上不断涌现出更加高效的编码技术和工具，持续 地推动了更高效率的视频编码技术的发展，为推出新一代视频编码标准奠定了技 术基础。 从2 0 0 8 年4 月至u 2 0 0 9 年11 月，m p e g 会议为制定下一代视频编码标准做了很多 准备性的工作，主要包括专题小组h v ca h g ( a dh o cg r o u po nh i 曲一p e r f o r m a n c e v i d e oc o d i n g ) 的成立、应用领域的确定、测试序列的征集和发布、编码技术验证 文档的征求和发布、设计目标的完善、c r y ( c a l lf o rp r o p o s a l ) 草案的完善与发布等。 其中，国际两大标准化组织联合发布c f p 是h v c 标准化研究工作正式开始的序幕， h v c 的研究工作进入了实质性阶段。 2 、标准化进程 2 0 1 0 年4 月，由m p e g 和v c e g 国际两大标准化组织组成的视频编码联合协作 小组( j o i n tc o l l a b o r a t i v et e a mo nv i d e oc o d i n g ，j c t - v c ) 第1 次会议在德国德累斯顿 召开，确定新一代视频编码标准名称：h e v c ( h i g he f f i c i e n c yv i d e oc o d i n g ) ，其核 心目标是在h 2 6 4 a v ch i g hp r o f i l e 的基础上，压缩效率提高一倍。同时还成立了 a dh o c d x 组，分领域搜集和审阅技术提案。本次会议共收到2 7 项对c f p 的回应 提案，其中一些回应提案的编码码率可以降低5 0 ，其计算复杂度增加了2 1 0 倍。此外，j c t v c 建立了测试模型( t e s tm o d e lu n d e rc o n s i d e r a t i o n ，t m u c ) 【2 5 】。 并挑选出效率提升幅度较大的回应提案，利用提案中的高效编码技术完善测试模 型t m u c ，同时也利用测试模型综合测评各编码技术，并为后续标准化技术研究 提供测试平台。 2 0 1 0 年7 月第2 次j c t v c 会议收到上百项编码技术提案，该研究已受到业界广 泛关注，分别在帧内预测编码、可替换变换( a l t e r n a t i v et r a n s f o r m s ) 、运动矢量精 度、环路滤波、大尺寸块结构( l a r g eb l o c ks t r u c t u r e s ) 、并行熵编码( p a r a l l e le n t r o p y 第二章h e v c 视频编码技术 7 c o d i n g ) 等方面成立研究小组。同时，在之前技术总结的基础上建立了多项测试计 划，对相关技术进行评测。 2 0 1 0 年l o 月，第3 次j c t - v c 会议在广州召开，搜集到了各个研究方向的更多编 码技术提案。并在第二次会议总结的草案j c t v c b 2 0 5 2 6 】的基础上，将本次会议上 一些有效的技术添加其中，例如j c t v c c 3 1 9 2 7 1 提案的残差的四叉树结构、 j c t v c c 0 4 2 1 2 8 1 提案的编码单元帧内预测模式的解码、运动矢量和参考帧索引的推 导、去块滤波、边界滤波强度等，进一步完善了标准草案。同时，也对暂时未被 接收进草案的新的编码工具进行了更深一步的探讨，明确下一步改进的方向。另 外，在本次会议上，建立了新的测试模型h m l 2 9 1 ( h e v ct e s tm o d e l ) 取代t m u c ，该 模型包含两类被实验证明行之有效的测试工具的集合：高性能和低复杂度。它含 有t m u c 测试模型中的大部分编码工具，但是也去掉了一小部分，降低了计算复杂 度。在此基础上，本次会议产生了第一个版本的工作草案( w o r kd r a f t ， w d ) j c t v c c 4 0 3 1 2 0 】，意味着标准化进程的正式启程。 2 0 11 年1 月，第4 次j c t - v c 会议在韩国大邱召开，各个公司和研究组织不仅深一 入研究已有的编码工具，提交了相关改进提案，而且还对新技术进行了大胆探究。 本次会议接受了更多提案，主要有j c t v c d16 4 1 3 0 j 提案的改进时域运动矢量预测模 式、j c t v c d 4 4 1 3 l 】提案的部分融合、j c t v c d 2 3 1 1 3 2 1 提案的简化的运动矢量预测、k v j c t v c d 0 7 2 1 3 3 】提案的时域运动矢量内存压缩、j c t v c d 2 8 2 3 4 】提案的基于模式的 帧内平滑、j c t v c d 3 4 4 1 3 5 】提案的亮度分量8 点插值滤波、j c t v c d 0 7 0 3 6 】提案的 熵s l i c e 等，进一步完善了相关技术，并撰写了第二个版本的工作草案 j c t v c d 5 0 3 t 3 7 1 。此外，更新了测试模型，建立了h m l 的第二个版本h m 2 1 3 羽，与 h m l 相比具有更高的编码性能，以后技术的验证和测试均在该平台上进行。 2 0 1 1 年3 月，第5 次j c t - v c 会议在日内瓦召开。在本次会议上，接受了具有较 高增益的技术提案，如c a b a c 残差编码的语法语义、z i g - z a g 扫描处理、c a b a c 熵编码的二进制化处理等，融入了草案中已有技术的改进提案，如j c t v c e 0 5 9 t 3 9 j 提案的参考索引压缩、j c t v c e 0 8 8 t 4 0 1 e 1 3 1 1 4 l j 提案的帧内模式编码、 j c t v c e 4 81 4 2 1 提案的m v 编码、j c t v c e 0 4 6 d 3 1 e 3 2 3 1 4 4 1 提案的基于块的自适应环 路滤波、j c t v c e 2 4 2 1 4 5 】提案的双向均衡的调整、j c t v c e 4 9 6 1 4 6 i e 1 8 1 4 7 1 e 2 2 4 1 4 8 】 提案的并行去方块滤波、j c t v c e 0 6 9 1 4 9 1 提案的改进的d c 预测等，进一步丰富了 编码技术，撰写了第三个版本的工作草案j c t v c e 6 0 3 t 5 0 】。并利用这些高效的编码 技术完善测试模型，形成了h m 的第三个版本h m 3 t ”j 。与h m 2 相比，h m 3 无论是 在编码性能，还是在计算复杂度上，都具有更大的优势。 2 0 11 年7 月，第6 次j c t - v c 会议在都灵召开，近于项的提案被讨论，视频编码 技术的研究进入了高潮。此时，一部分编码技术已经发展成熟，并被确定为最终 方案，一些方向仍有待进一步研究，同时也有新的研究方向的提出，主要有：填 8 提高h e v c 视频编码性能的相关技术研究 充处理、精度自适应、变换的跳过、色度分量支持的格式、无失真压缩等。具体 参见第四个版本的工作草案j c t v c f 8 0 3 1 5 2 l 。另外，还为屏幕内容编码( s c r e e n c o n t e n tc o d i n g ，s c c ) 技术引入了四个测试序列，将其新定义为c l a s s f 类型序列。 在此基础上，h e v c 更新了测试模型h m 4 5 3 】，它能更好的均衡编码性能和计算复 杂度，相对于h 2 6 4 a v c 的最新测试模型j m l 8 0 ，在对高清视频序列的编码上，已 能将码率降低4 4 。 2 0 1 1 年1 1 月，第七次j c t v c 会议在日内瓦召开，会议接收到来自各界的1 0 0 0 多份提案。会上，报告了上次会议中的1 2 个核心实验的结果以及a dh o c 组织的活 动，并对本次提交的各项技术提案展开了讨论。本次会议不仅吸收了具有相对优 势的研究成果，而且在多项技术已经接近成熟的基础上，强调了还需进一步完善 的相关研究方向，比如熵编码的结构、变换和动态范围的调整( t r a n s f o r ma n d d y n a m i cr a n g e ) 、运动矢量编码的简化、图像精度的调整( p i c t u r er e s o l u t i o na d a p t a t i o n ) 等；取消了对提高编码性能影响较小的相关技术，比如c a v l c 编码、推导的合并 技术等。此外，会议组织还对下一步的研究工作进行了展望。目前，工作草案的 第五个版本j c t v c g 11 0 3 的编辑及测试模型的更新h m 5 正在进行中。 根据日程，2 0 1 2 年2 月即将召开的第8 次j c t v c 会议将产生会议草案 ( c o n f e r e n c ed r a f t ，c d ) 的第一个版本，这意味着h e v c 的制定过程将进入到较为稳 定和成熟的阶段。 2 3 眦v c 视频编码原理 从信息论角度来看，视频图像可作为一个信源，描述信源的数据就是信息量( 信 息熵) 和信息冗余量之和，数据压缩的实质就是减少信息冗余量。从数学角度讲， 视频图像又可以看作一个多维函数，压缩的实质就是减少函数之间的相关性。可 见，视频信号的压缩实际上就是减少数据量但尽量不减少信息量。 根据视频信息组成元素的特点，h e v c 采用了帧内预测、帧间预测、运动估计 和运动补偿、整数变换、环内滤波等技术，以提高视频序列的压缩效率。与 h 2 6 4 a v c 相同，它采用了运动补偿和变换编码的混合编码框架，即m c d c t 结构。 编解码原理框图如图2 1 和2 2 所示。 第二章h e v c 视频编码技术 9 图2 1h e v c 视频编码器框图 图2 。2h e v c 视频解码器框图 h e v c 编解码器基本功能简述如下： 1 ) 编码器 由图2 1 ，输入的帧或场e 以编码单元为单位被编码器处理。首先，采用帧内 预测或帧间预测的方法来处理当前块的像素信息。当采用帧内编码时，先选择相 应的帧内预测模式进行帧内预测；随后对原始信号值和预测信号之间的差值进行 变换、量化和熵编码，与解码所需的一些边信息( 如预测模式等) 一起组成一个压缩 后的码流；同时另一路码流经过反量化和反变换之后重构预测残差图像，再与预 测值相加得出重构帧u f ，最后再经过滤波器平滑后( 即帧e ) 送入帧存储器。 当采用帧间编码时，输入的图像块先利用参考帧e 一，进行运动估计，得到运动 矢量。而后使用已获得的运动矢量进行运动补偿，得到预测数据块。再对原始像 素值与预测值的差值数据进行后续处理，包括整数d c t 变换、量化和熵编码，最 后与边信息一起送入信道传输。同时，另一路码流和帧内编码处理方式相同，重 构帧被送入帧存储器作为下一帧编码的参考帧。 2 ) 解码器 l o 提高h e v c 视频编码性能的相关技术研究 由图2 1 知，编码器的n a l 输出一个压缩后的h e v c 比特流。这个压缩码流 进入解码器时，首先进行熵解码，如图2 2 所示，得到量化后的一组变换系数x ， 再经过反量化、反变换，得到残差n 。然后利用从该比特流中解码出的头信息， 产生出一个预测块，该预测块的像素值和编码器中的原始预测块像素值是一样的。 将预测块的像素值与残差见相加，就形成重构图像呱，经滤波补偿和平滑处理， 就得到最终要输出的解码图像e 。 2 4h e v c 视频编码的关键技术 随着各个公司和组织机构的不断深入研究，更多的先进编码技术被引入到 h e v c 中，使得在压缩算法复杂度不断降低的同时，压缩效率大大提高。这些先 进技术主要集中在图像分割、帧间预测、帧内预测、空间变换、环内滤波、熵编 码等几个方面，下面对这些新的编码工具和技术进行详细说明。 2 4 1图像分割 为了更加灵活有效地表示各种分辨率的视频图像，h e v c 中定义了一套新的 图像划分的语法单元，主要包括编码单元( c o d i n gu n i t ，c u ) 、预测单元( p r e d i c t i o n u n i t ，p u ) 和变换单元( t r a n s f o r mu n i t ，t u ) 。 c u 类似于h 2 6 4 a v c 中的宏块或子宏块，但又略有不同。目前草案中规定一 个c u 的尺寸范围为8 x 8 到6 4 x 6 4 ，而不像h 2 6 4 a v c 中，仅有8 x 8 和1 6 x 1 6 。从 而可以为高清视频图像的有效表示，提供有力支持。编码过程中的各种操作( 除了 基于帧的环内滤波) 均是在c u 的基础上进行的，比如帧内帧间预测、变换、量化、 熵编码等。此外，为了更方便地表示c u ，还定义了最大编码单元( l a r g e s tc o d i n g u n i t ，l c u ) 和最小编码单元( s m a l l e s tc o d i n gu n i t ，s c 切。l c u 是一帧图像划分过 程中的基本单位，而一个c u 可以从其最大编码单元的尺寸开始，按照四叉树的形 式被不断分割为更小的c u ，直到达到最小编码单元，其间分割的次数称为深度。 那么就可以用l c u 尺寸和分割深度值来表征一个c u 的尺寸。 一个不再进行分割的c u ，将相应的会有不同的p u 与之相匹配。p u 是携带 了有关预测处理信息的基本单元，它的最大尺寸为当前c u 的大小。在召开的 j c t - v c 会议上，很多公司和研究组织就p u 的模式提出了新的建议，除了 h 2 6 4 a v c 标准中已有的( 除了n x n 模式，只支持最小尺寸编码单元) ，还提议引 入非对称 t 1 ( a s y m m e t r i cm o t i o np a r t i t i o n ，a m p ) 和几何形状运动分割模式 ( g e o m e t r y - m o t i o n - p a r t i t i o n ，g e o ) ，使之更加符合视频图像中c u 的实际分割情况。 但g e o 运动分割模式由于模式数目巨大，且复杂度高，目前还处于研究完善阶段， 还未被引入到h e v c 草案中。 第二章h e v c 视频编码技术 1 u 是变换和量化的基本单元，为了配合编码单元和预测单元的使用，t u 也 随之重新进行了定义。首先是尺寸方面，除了h 2 6 4 a v c 里面已有的4 x 4 、8 x 8 ，还 增加了1 6 x 1 6 、3 2 x 3 2 、1 6 x 4 、4 x 1