（信号与信息处理专业论文）h264分层视频编码（svc）算法研究.pdf

大连理工大学硕士学位论文 摘要 视频分层编码是近年来发展起来的一种新型的视频编码方式。它可以满足互联网视 频、移动无线视频、视频监控、视频电话以及实时转播等不同视频服务的多样化需求。 由于这些需求所要求的终端能力( 显示尺寸、处理能力等) 不同，码流传输的信道( 比 如带宽、噪声及拥塞等) 不同，要求视频编码能够提供具有不同速率、不同质量的视频 信息，因此进行分层视频编码算法的研究具有重要的意义。 i t u t 和i s o i e c 组成的联合视频小组( j o i n tv i d e ot e a m ，j v t ) 从2 0 0 5 年1 月开 始着手制订h 2 6 4 视频分层编码( s c a l a b l ev i d e oc o d i n g ，s v c ) 标准。本文基于j v t 发布的j s v m 9 1 2 2 版本( 2 0 0 8 年1 月发布) ，研究并实现了基于离散余弦变换的细粒 度视频分层编码算法，并将细粒度分层视频编码算法与j s v m 中已有的粗粒度分层算法 进行了性能比较及分析。 本文的主要内容包括： ( 1 ) 介绍了视频分层编码的技术的发展状况及其相关的算法原理： ( 2 ) 分析了h 2 6 4 视频编码的基本技术以及j s v m 所提供的具有时间、空间及粗粒 度质量分层特性的算法结构，讨论了渐进精细粒度分层视频编码算法； 0 ) 实现了基于离散余弦变换以及比特位平面编码的细粒度视频分层编码算法； ( 4 ) 在j s v m 9 1 2 2 程序中对算法进行仿真测试，并与h 2 6 4 以及j s v m 中的粗粒度 质量分层算法进行了性能对比。 本文研究实现的细粒度视频分层编码算法计算复杂度较低。算法产生的细粒度增强 层视频码流能够在比特级任意截断，而且具备较强的信道适应能力和差错恢复能力。但 是由于采用了基于离散余弦变换的比特位平面编码方式，该算法的编码效率与现有的 h 2 6 4 普通编码以及j s v m 粗粒度分层编码之间仍然存在较大差距，需要进一步提高编 码效率。 关键词：视频分层编码；细粒度分层；位平面编码；h 2 6 4 ；j s v m 大连理工大学硕士学位论文 s t u d yo ns c a l a b l ev i d e oc o d i n gb a s e do nh 2 6 4 a b s t r a c t s c a l a b l ev i d e oc o d i n gi san e wk i n do fv i d e oc o d i n g ，w h i c hc a l lm e e tt h ev a r i o u sv i d e o s e r v i c e sn e e d s ，s u c ha si n t e m e r tv i d e o ，w i r e l e s sm o v i n gv i d e o ，v i d e om o n i t o r i n g ，v i d e op h o n e a n dr e a lt i m er e b r o a d c a s t i n g t h et e r m i n a lc a p a b i l i t y ( d i s p l a ys i z e ，p r o c e s s i n ga b i l i t y ，e t e ) a n d t h et r a n s m i tc h a n n e l ( b a n dw i d e ，n o i s ea n dc o n g e s t i o n ，e t c ) n e e d e db yt h e s ed i f f e r e n t c i r c u m s t a n c ea r ea l w a y sd i f f e r e n tw i t he a c ho t h e r t h es c a l a b l ev i d e os t r e a mw i t hd i f f e r e n t r a t ea n dd i f f e r e n tq u a l i t yi sn e e d e d s oi ti si m p o r t a n tt oc a r r yo nt h er e s e a r c hi ns c a l a b l e v i d e oc o d i n g f r o mj a n u a r y2 0 0 5 ，j v t ( j o i n tv i d e ot e a m ) ，f o u n d e db y1 1 1 j ta n di s o i e c ，b e g a nt o d e v e l o pt h es c a l a b l ev i d e oe o d i n g ( s v c ) a u st h en e wp r o f i l eo fh 2 6 4r e c o m m e n d a t i o n t h i s p a p e rr e s e a r c h e sa n dr e a l i z e sf i n eg r a n u l a r i t ys c a l a b l e ( f g s ) v i d e oc o d i n ga l g o r i t h mi nd r a f t v e r s i o nj s v m 9 12 2r e l e a s e db y t ，b a s e do nd i s c r e t ec o s i n et r a n s f o r m ( d c t ) a n db i tp l a n e c o d i n g t h ep e r f o r m a n c ec o m p a r i s o nb e t w e e n t h ep r o p o s e df i n eg r a n u l a r i t ys c a l a b i l i t y a l g o r i t h ma n dt h ec o a r s eg r a n u l a r i t ys c a l a b i l i t ya l g o r i t h mi nj s v m i sp e r f o r m e di nt h i sp a p e r t h ep a p e rc o n t a i n sf i v ep a r t sa sf o l l o w s ： ( 1 ) i n t r o d u c e st h ed e v e l o p m e n to f s c a l a b l ev i d e oc o d i n ga n di t sr e l a t e dt h e o r i e s ； ( 2 ) a n a l y s e st h em a i nt e c h n o l o g i e su s e db yh 2 6 4a n dt h ea l g o r i t h ms t r u c t u r ew h i c h p r o v i d e ss c a l a b i l i t yi nt e m p o r a l ，s p a t i a la n dq u a l i t yd o m a i n si nj s v m ； ( 3 ) d i s c u s s e st h ep r o g r e s s i v ef i n eg r a n u l a r i t ys c a l a b l ev i d e oc o d i n ga l g o r i t h m ； ( 4 ) d e v e l o p sa n dr e a l i z e st h ef i n es c a l a b l ev i d e oc o d i n ga l g o r i t h mo nt h eb a s eo fd i s c r e t e c o s i n et r a n s f o r ma n db i tp l a n ec o d i n g ，p e r f o r m st e s tf o rt h ep r o p o s e da l g o r i t h mi n j s v m 9 12 2 ，a n dm a k e sp e r f o r m a n c ec o m p a r i s i o nb e t w e e nh 2 6 4a n dt h ec o a r s eg r a n u l a r i t y s c a l a b i l i t yp r o v i d e db yj s v m t h ep r o p o s e df i n eg r a n u l a r i t ys c a l a b l ev i d e oc o d i n ga l g o r i t h mh a sl o wc o m p u t a t i o n a l c o m p l e x i t y t h ev i d e os t r e a mg e n e r a t e db yt h ea l g o r i t h mc a nb et r u n c a t e da r b i t r a r i l ya tt h eb i t l e v e l ，a n dh a sn i c ep e r f o r m a n c ei na d a p t i n gt h et r a n s m i tc h a n n e la n dr e c o v i n gf r o me r r o r b e c a u s et h ea l g o r i t h mi sb a s e do nd i s c r e t ec o s i n et r a n s f o n na n db i tp l a n ec o d i n g 。t h ec o d i n g e f f i c i e n c yi sl o w e rt h a nc o m m o nh 2 6 4a n dt h ec o a r s eg r a n u l a r i t ys c a l a b l ec o d i n gi nj s v m s or e s e a r c h i n gn e wa p p r o a c ht oi m p r o v et h ec o d i n ge f f i c i e n c yi sn e e d e di nt h ef u t u r e k e yw o r d s ：s c a l a b l ev i d e oc o d i n g ：f i n eg r a n u l a r i t ys c a l a b i l i t y ：b i tp l a n ec o d i n g ：h 2 6 4 ； j s v m 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 学位论文题目日：坐妄巨纽蜢龌刍丝! ! 美! 至翻! 歪 作者签名： 趣盔因 日期： 超z 年l 月1 t 日 大连理工大学硕士学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题 作者签名： 导师签名： 大连理工大学硕士学位论文 1绪论 1 1 课题的应用背景及研究意义 随着社会的发展，人们对视频服务的需求日趋多样化。从互联网视频到移动无线视 频，从视频点播到视频监视，从视频电话到实时转播，这些不同的视频服务对终端能力 ( 显示尺寸、处理能力等) 、网络传输的稳定性( 比如噪声、拥塞等) 、视频编码速率 以及视频信息质量等都提出了不同的要求。视频分层编码就是为了满足这种需求而出现 的。视频分层编码通过一次编码，将原始视频编码成具有不同码率，不同时间、空间以 及质量分辩率的码流。这种格式的码流可以按照不同的需求进行裁剪，能够适应动态网 络传输环境，满足不同用户的个性化要求【l 】【2 1 。 h 2 6 4 作为新一代的视频编码国际标准，具有极高的编码性能。在相同的编码质量 的条件下，h 2 6 4 能比m p e g 4 节省超过5 0 的码率。如此高的编码性能赋予h 2 6 4 广 阔的应用和发展前景。目前，在h 2 6 4 的基础上发展起来的分层编码算法已经被j v t 列 入h 2 6 4 的附录，相关的完善工作也在进行当中。随着通信技术的不断发展，特别是第 三代移动通信网络的普及，不断成熟的视频分层编码有可能很快进入实际应用。h 2 6 4 分层编码有可能称为第一种进入大规模应用的视频分层编码标准。 目前h 2 6 4 s v c 只支持粗粒度的分层编码方式，对细粒度分层编码还没有涉及，这 是由于目前细粒度分层算法的编码效率较低。考虑到细粒度分层编码具有强大的网络适 应能力和差错恢复能力，在h 2 6 4 基础上研究细粒度分层编码将是未来一个重要的研究 方向。 1 2 视频编码的发展历史 从1 9 4 8 年人们提出将电视信号数字化的构想至今，视频编码已经走过6 0 年的历史。 在此后的几十年中，模拟视频技术取得了长足的发展，数字视频技术却一直停留在理论 阶段。直到1 9 8 3 年，前联帮德国i 订公司( 国际电报电话公司) ，经过十几年的艰苦 研究，推出了第一部可以投放市场的数字化彩色电视接收机，人类真正才进入数字视频 时代。与此同时，视频技术也经历了从模拟信号到数字信号的转化。视频数字化后，由 于其数据量巨大，不适合存储和实时传输，所以要对原始视频数据进行压缩，视频编码 应运而生【2 1 。 为了使视频编码有统一的国际标准，从1 9 8 8 年开始，i t u t 和i s o i e c 完成了一 系列的视频压缩编码的标准化工作，截至到现在，已经推出了多个视频编码国际标准。 其中i t u t 推出的标准有：h 2 6 1 ，h 2 6 3 ，h 2 6 3 + h 2 6 3 h 和h 2 6 4 a v c 。i s o i e c 推 h 2 6 4 分层视频编码( s v c ) 算法研究 出标准有：m p e g 1 ，m p e g 2 ，m p e g 4 ，h 2 6 4 a v c 等。其中，h 2 6 4 a v c 是由i t u t 和i s o i e c 合作组建的联合视频小组( j o i n tv i d e ot e a m ，j v t ) 共同推出的最新的国际 视频编码标准，在i t u t 内部编号为h 2 6 4 1 1 ，在i s o f l e cm p e g 内部编号为m p e g 4 p a r t l 0 a v c ( a d v a n c e dv i d e oc o d i n g ) 。2 0 0 3 年发布第一个正式版本，目前这个标准的 扩展版本，h 2 6 4 分层编码( s c a l e dv i d e oc o d i n g ，s v c ) 标准的基本方案已经发布。在 国内，2 0 0 2 年6 月，我国信息产业部开始制定我国自己的数字音视频编码标准，并于 2 0 0 5 年发布了我国第一个有自主知识产权的视频编码标准一先进视觉系统( a d v a n c e d v i s u a ls y s t e m ，a v s ) ，其编码性能已基本上接近h 2 6 4 的指标。 这些国内外视频编码标准将人类带进数字视频时代。它们的推出极大地促进了视频 压缩编码技术的研究和发展，最终使数字视频技术进入了高速发展的快车道。 ( 1 ) h 2 6 1 标准 h 2 6 1 标准是i t u 的前身c c i t t 于1 9 8 8 年通过的视频编码标准，是第一个被广泛 应用的视频压缩国际标准，在图像压缩编码领域具有里程碑的意义。h 2 6 1 标准是为了 满足窄带综合业务数字网( i s d n ) 、可视电话和视频会议等要求实时编解码和低延迟 的应用而制定的，它提出了一种以运动估计和补偿、分块变换、变长编码为基础的混合 编码结构，其显著特点是把视频信号分成i 帧和p 帧。h 2 6 1 标准的推出极大地推进了 视频压缩编码技术的发展，其确立的经典的混合编码结构被后续的各个视频编码标准所 继承。该标准首次尝试综合数字压缩技术和网络技术实现数字视频实时传输，可以在码 率为p x 6 4 k b p s ( p 取l 3 0 ) 的i s d n 上实时地传输声音和视频信息。 ( 2 ) h 2 6 3 标准 h 2 6 3 标准是i t u t 于1 9 9 5 年制订的一种码率低于6 4 k b p s 的甚低码率视频压缩标 准。h 2 6 3 标准仍采用h 2 6 1 标准的混合编码结构，但为了适应极低码率的传输要求， 其在图像格式、运动估值块尺寸、运动估计精度等方面都作了改进。此外，h 2 6 3 标准 还增加了无限制运动矢量、基于语法的算术编码、高级预测模式和p b 帧模式等四个高 级选项。各种高效的压缩技术使得h 2 6 3 标准在极低码率下仍能获得较好的图像质量。 h 2 6 3 编码标准的出现不仅使视频数据在p s t n 、i s d n 、d d n 网络上的传输称为可能， 而且它还可以应用于移动通行等无线业务，图像质量也比h 2 6 1 改善很多。 在随后的几年中，i t u t 经过的多次补充修订，于1 9 9 8 年推出强化版本h 2 6 3 + 和 h 2 6 3 + + 。h 2 6 3 + 和h 2 6 3 + + 是在h 2 6 3 基础上，分别增加了时间分层、信噪比分层和 空间分层的编码模式，增加了1 5 个可选的模式，进一步提高了编码的效率，改善了图 像的质量，增强了抗误码能力。 大连理工大学硕士学位论文 ( 3 ) m p e g - l 标准 m p e g 1 是i s o i e cm p e g 工作组与1 9 9 3 年推出的音视频编码标准，主要针对 1 5 m b p s 速率的多媒体业务。该标准具体包括系统、视频、音频、一致性和参考软件5 部分。m p e g 1 标准的视频部分依然采用经典的d p c m d c t 混合编码结构，其显著特 征是加入了能够进行双向预测的b 帧。与h 2 6 1 标准相比，m p e g 1 标准的视频部分在 存取方式、帧率、图像格式等方面更为灵活，压缩效率也更高。除此之外，m p e g 1 还 增加了图像组层g o p 来支持同步和交互存取。 ( 4 ) m p e g - 2 标准 m p e g 2 是i s o i e cm p e g 工作组在m p e g 1 的基础上，于1 9 9 5 年推出的音视频 编码标准，主要针对带宽为4 - - - 9 m b p s 的数字视频广播、高清晰电视和数字视盘等应用 领域。同m p e g 1 类似，m p e g 2 包括系统、音频、视频等诸多部分。该标准广泛应用 在能够采用较高码率的应用场合，其提供了隔行扫描输入、多种图像预测和运动补偿方 式、改进的量化和编码选项等新的功能。m p e g 2 的语法结构的最大特点是具有良好的 兼容性和可扩展性。 此外，m p e g 2 标准引进了分层的编码方式，通过把码流分为基本层码流和增强层 码流的方式，引入了码流在空间、时间和信噪比上的分层性。m p e g 2 的分层编码将在 1 3 节详细介绍。 ( 5 ) m p e g - 4 标准 m p e g 4 是m p e g 工作组于1 9 9 9 年推出的音视频编码标准，主要针对视频会议、， 视频电话等多媒体通信的应用需求等应用领域。同m p e g 1 及m p e g 2 类似，m p e g 4 标准仍然由系统、视频、音频等几部分构成。此前，传统压缩方法都是基于图像帧进行 压缩，而m p e g 4 标准的视频部分则是以内容与交互为核心，采用面向对象的方式进行 压缩。为此，m p e g 4 标准中引入了视频对象平面( v i d e oo b j e c tp l a n e ，v o p ) 的概念， 把图像分割成不同的对象来分别处理，结果使得压缩效率大大提升。 与m p e g - 2 标准一样，m p e g 一4 中也包括时域、空域和质量域的分层编码。其中比 较有特色的是所谓的质量精细粒度分层( f i n eg r a n u l a r i t ys c a l a b i l i t y ，f g s ) 机制，该机 制能使图像质量实现平滑过渡。m p e g 4 的f g s 分层编码也将在1 2 节进行介绍。 ( 6 ) h 2 6 4 a v c 标准 h 2 6 4 标准是由i t u t 视频编码专家组( v i d e oc o d i n ge x p e r t sg r o u p ，v c e g ) 和 i s o i e c 运动图像专家组( m o v i n gp i c t u r ee x p e r t sg r o u p ，m p e g ) 组成的联合视频工作 组( j o i n tv i d e ot e a m ，j v t ) 于2 0 0 3 年完成的视频编码标准，是目前性能最好但也是 最复杂的视频编码标准。h 2 6 4 标准具有很高的压缩性能，在重建图像质量相同的前提 3 h 2 6 4 分层视频编码( s v c ) 算法研究 下，其码率比h 2 6 3 标准降低5 0 。在具有优异压缩效率的同时，h 2 6 4 标准仍保持了 较高的抗误码能力，因此生成的码流可以在无线等恶劣环境下传输。2 0 0 5 年1 月，t 决定以h 2 6 4 标准为基础，制定h 2 6 4 的扩展标准一视频分层编码( s c a l a b l ev i d e oc o d i n g ， s v c ) ，记为h 2 6 4 s v c 。目前，h 2 6 4 s v c 扩展标准的框架结构已基本确立。本文第 2 、3 章将会对h 2 6 4 标准及其分层编码扩展进行详细地介绍和分析。 ( 7 ) a v s 标准 a v s 是中国自主研发的音视频编码技术标准，于2 0 0 3 年底最终获得通过。a v s 标 准的视频部分主要包括8 x 8 整数变换、量化、帧内预测、1 4 精度像素插值、特殊的帧 间预测运动补偿、二维熵编码、去块效应环内滤波等核心技术。测试表明，a v s 视频部 分的性能已非常接近h 2 6 4 标准。 1 3 视频分层编码的发展概况 目前支持分层编码的视频编码标准有m p e g 2 ，m p e g 4 和h 2 6 3 + 以及 h 2 6 4 s v c 。m p e g 2 的分层编码通过是时间分层、空间分层和质量( 信噪比，s n r ) 分层实现的( 见1 3 1 节) 。m p e g - 4 支持基于内容的空间、时间分层，另外在m p e g 4 的扩展档次中，还支持细粒度分层( f i n eg r a n u l a rs c a l a b i l i t y ，f g s ) 。h 2 6 3 + 是在h 2 6 3 基础上的扩展和改进，h 2 6 3 本身并不支持分层编码机制，但在h 2 6 3 + 中增加了时间分 层、质量分层和空间分层的编码机制。h 2 6 4 s v c 提供了全面的时间、空间及质量域的 分层机制。 本节简要介绍一下m p e g 2 分层编码和m p e g 4f g s 分层编码的主要技术。 h 2 6 4 s v c 的分层编码技术将在第3 章详细介绍。 1 3 1 m p e g 2 分层编码 m p e g 2 是首个支持分层编码的国际视频压缩标准。m p e g 2 分层编码包括时间域 分层、空间域分层和信噪比分层【2 j 。 ( 1 ) 时间域分层编码 一孚、y ? 丫? 迤垒岁 图1 1m p e g 2 时间分层帧结构 f i g i 1 f r a m es t r u c t u r eo ft e m p o r a ls c a l a b i l i t vo fm p e g 2 大连理工大学硕士学位论文 时间域的分层编码主要由基本层和增强层来实现。基本层编码形成码率较低的码 流，提供较低的时间分辨率。增强层通过预测等方式来提高基本层的时间分辨率，当同 时解码基本层和增强层，则达到完整的时域速率。图1 1 显示了时间分层的一种基本的 图像结构，基本层的时间分辨率为正常时间分辨率的一半，增强层的图像由基本层预测 得到。在这种情况下，当增强层出现错误时，不会向后扩散。 ( 2 ) 空间域分层编码 空间域的分层编码的基本层对应低空间分辨率的图像，采用基于运动补偿的 d p c m d c t 变换进行编码。基本层的低空间分辨率图像是从输入视频下采样得到。增 强层的编码图像来自于原始输入图像与基本层解码重建图像进行空域插值之后图像的 插值信号，通常包含更多高频信息。m p e g 2 的空间域分层编码示意图如图1 2 所示。 输入 ；基本层编码器 l ，一，一： 图1 2m p e g 2 空间域分层算法结构 f i g 1 2a l g o r i t h ms t r u c t u r eo fs p a t i a ls c a l a b i l i t yo fm p e g 2 ( 3 ) 质量分层编码 质量分层编码是一种基于频率域的分层编码方法。通过对d c t 变换后的系数采用 不同的量化步长，可以得到具有不同码率和图像质量分层。基本层的输入是原始视频图 像，对d c t 系数采用较大量化步长进行量化，编码效率较高，视频质量较差。增强层 的输入采用原始图像的d c t 系数与基本层的量化系数反量化后相减得到的残差图像， 对这个残差图像采用较小的量化步长进行量化，能够保留比基本层更加丰富的高频信 息，在基本层解码的基础上，附加增强层会得到较高质量的解码图像。 5 h 2 6 4 分层视频编码( s v c ) 算法研究 1 3 2m p e g - 4f g s 分层编码 m p e g 4f g s 3 , 4 】编码标准将码流分为一个可以单独解码的基本层码流和一个可以 在任何位置进行截断的增强层码流。基本层码流能够适应最低的网络带宽，可以提供一 个基本的重建质量。增强层码流能够覆盖一定范围的网络带宽变化，提供从基本的图像 质量到近无损的重建质量。 m p e g - 4 细粒度分层扩展标准采用了基于d c t 变换的比特平面编码技术，其基本的 编码算法框架如图1 3 所示，可以看出，f g s 分层编码使用的是一种混合分层的嵌入式 编码方式。增强层使用比特平面编码方式，对d c t 系数的比特平面进行逐层编码，得 到可以随意分割截断的码流，如图1 4 所示。 增 基 ；j f g s 增强层编码 ( a ) 编码器 ( b ) 解码器 图1 3m p e g - 4f g s 编解码算法框架 f i g 1 3a l g o r i t h ms t r u c t u r eo fm p e g 一4f g s 大连理工大学硕士学位论文 m p e g 4f g s 增强层的码流具有嵌入的特点，可以在任意位置截断。码流的任意一 个比特都可以看作是一个增强层，解码端的视频的重建质量与解码器受到的增强层的比 特数成正比。这种细粒度的可扩展性不仅可以适应网络状况的动态变化，还易于更加精 确的码率控制。为了减轻编码的漂移( d r i f t i n g ) 现象，m p e g 4 中的f g s 编码仅参考当 前帧的基本质量重建图像。 图1 4m p e g - 4f g s 码流视频流结构图 f i g 1 4 v i d e os t r e a ms t r u c t u r eo fm p e g - 4f g s 1 4 本文的工作及内容安排 本文深入研究了新一代视频编码标准h 2 6 4 及其可分层扩展标准h 2 6 4 s v c ，并在 此基础上，研究实现了细粒度视频编码算法。本文基于t 发布的j s v m 9 1 2 2 版本， 对算法进行了仿真实验，实验表明：本文算法产生的细粒度视频增强层码流能够在比特 级别任意截断，算法计算复杂度较低。但在编码效率方面本文算法与h 2 6 4 普通编码和 h 2 6 4 s v c 已有的分层编码之间还存在较大的差距。 论文各章的内容安排如下： 第一章介绍了视频编码及分层编码发展的历史，简要的介绍了已有的h 2 6 1 、 h 2 6 3 、m p e g 1 、m p e g 2 、m p e g 4 等编码标准的基本原理及发展状况，重点介绍了 m p e g 一2 及m p e g 4f g s 分层编码标准的基本算法结构和分层技术。 第二章介绍了h ，2 6 4 普通编码的关键技术，如帧内预测、帧间预测整数变换与量 化等。 第三章分析了h 2 6 4 s v c 现有的分层编码技术，如时间域分层、空间域及粗粒度 质量分层、扩展空间域分层及细粒度分层等算法结构。 第四章给出了一种基于比特平面编码的细粒度分层编码算法，详细介绍了算法所 使用的各项技术。 7 h 2 6 4 分层视频编码( s v c ) 算法研究 析。 第五章在j s v m 9 1 2 2 版本上对提出的算法进行仿真实验，并对实验结果进行了分 大连理工大学硕士学位论文 2 h 2 6 4 标准简介 2 0 0 1 年1 2 月，i t u t 与i s 0 i e c 合作成立视频联合小组( j o i n tv i d e ot e a m ，j v t ) ， 以i t u t 正在开发的h 2 6 l 为基础，致力于制订下一代的视频编码标准。2 0 0 3 年5 月， j v t 发布了第一个正式版本，并命名为h 2 6 4 m p e g - 4p a r t 10a v c ( a d v a n c e dv i d e o c o d i n g ) 。2 0 0 5 年3 月，h 2 6 4 视频编码标准发布。截止到目前，h 2 6 4 标准的完善和 扩展工作已经吸引了包括我国多家公司在内的全球的近百家知名企业、科研机构的参 与，目前还有多个扩展版本在制订当中，包括本文的主要研究方向一分层视频编码 ( s c a l a b l ev i d e oc o d i n g ，s v c ) ，多视角立体视频编码( m u l t i v i e wv i d e oc o d i n g ，m v c ) 等等。 h 2 6 4 标准的设计目标是力求设计简单有效的编码技术，并具有高效压缩性能和易 于网络传输的能力。与m p e g 一4 等以往的视频压缩编码标准相比，h 2 6 4 在3 0 3 5 d b 的 质量范围内，能够比m p e g - 4 节省3 0 5 0 的码率。 在应用方面，h ，2 6 4 主要面对以下几个方面的应用： ( 1 ) 通过有线、卫星和c a b l em o d e m 等媒体的数字广播业务； ( 2 ) 光、磁等数字存储设备，如d v d 等； ( 3 ) 通过i s d n 、i n t e m e t 、无线和移动网络上的对话型视频服务和点播等流媒体业 务； ( 4 ) 数码影院、视频监控等。 2 1h 2 6 4 基本编码结构 h 2 6 4 标准并没有明确定义如何实现一个完整的编解码结构，而是定义了编码器输 出的码流的语法语义和对比特流解码的基本框架。只要满足这个基本框架的编码器和解 码器都能够互通，这种特性有利于不同厂家产品的兼容。在t 发布的参考程序j s v m 中，还是采用了与其它的视频编码标准类似的运动估计运动补偿+ 分块d c t 变换的混 合编码框架【5 。7 1 。 h 2 6 4 的编码器和解码器的主要结构如图2 1 所示。 2 1 1 h 2 6 4 编码器 如图2 ，l ( a ) 所示，h 2 6 4 的编码器仍然采用基于变换、运动预测及运动补偿的混合 编码方案，以1 6 x 1 6 的宏块为单位进行编码。输入的图像按帧内( i 帧) 或帧间( p 帧 或b 帧) 预测模式进行编码。 9 h 2 6 4 分层视频编码( s v c ) 算法研究 若采用帧内预测模式，其预测值图像( 图中以p 表示) 是由当前帧已编码的参考图 像经运动补偿后得出。预测值p 和当前的宏块块相减后，产生一个残差块d 。，经整数 变换变换、量化后产生一组量化后的系数x ，再对量化系数x 进行熵编码，与解码所需 的一些信息( 如预测模式、量化参数和运动矢量等) 一起组成一个压缩后的码流，被网 络抽取层( n e t w o r ka b s t r a c t i o nl a y e r ，n a l ) 打包成网络抽取单元( n a lu n i t ) ，便形成 可以传输或存储的码流。 为了提高预测精度，实际的参考图像可以选用当前帧时间顺序之前或之后的图像， 即采用帧间模式进行预测。预测之后的变换、量化熵编码与帧内模式相同。 为了提供进一步预测用的参考图像，编码器必须有重建图像的功能。因此必须使残 差图像经反量化、反变换并解码得到的重建的图像砭与预测值p 相加，得到初步的重 建图像，对这个重建图像进行去块效应滤波，去除编码解码环路中产生的噪声，提高参 考帧的图像质量，产生重建的图像，这个重建的图像同解码端解出的图像完全相同。 ：一。厂、o r l | * ，5 f r 盎慷i 厂i 万 ： 7 7 l 刊蠢嚣h 。 | 参主 1 ：l 帧间 l运动 - kp 补偿 jl 一测模式卜一= 2 卜固 i 判决li “”j 噘 _、_r - 1 n 一去块效应滤波k 一+ ) _ 1 整数反变换 h 反量化卜 ( a ) 编码器 l ( b ) 解码器 图2 1h 2 6 4 编解码器算法结构 f i g 2 1 a l g o r i t h ms t r u c t u r eo fh 2 6 4e n c o d e ra n dd e c o d e r 大连理工大学硕士学位论文 2 1 2h 2 6 4 解码器 如图2 1 ( b ) 所示，h 2 6 4 解码器可以看作编码器的一个子集。解码器收到编码器生 成的n a l 单元，经过熵解码、重排序后，得到与编码端一样的量化参数x 。对x 进行 反量化和反变换后，得到与编码端完全一致的重建图像同d ：。同时对当前图像进行与 编码端相同模式的预测，得到与编码端完全一致的预测图像p 。d ：与p 相加后得到初步 的重建图像，之后在进行去块效应滤波，便得到与最后的解码重建图像。同时，将重建 的图像保存到参考图像缓冲区中，用作其他图像的预测参考。 2 2h 2 6 4 的档次 h 2 6 4 共规定了四种档次，即基本档次( b a s e l i n ep r o f i l e ) 、主档次( m a i np r o f i l e ) 、 扩展档次( e x t e n d e dp r o f i l e ) 和高档次( 1 1 i g hp r o f i l e ) 。其中前三个档次与2 0 0 3 年推出， 高档次于2 0 0 4 年7 月推出。每个档次支持一组特定的编码功能，并支持一类特定的应 用。 图2 2h 2 6 4 档次关系图 f i g 2 2r e l a t i o n s h i pc h a r to fh 2 6 4p r o f i l e s h 2 6 4 分层视频编码( s v c ) 算法研究 ( 1 ) 基本档次：利用i 条带和p 条带支持帧内和帧间编码，支持利用基于上下文的 自适应的变长编码进行的熵编码( c o n t e x t b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g ， c a v l c ) 。主要用于可视电话、会议电视、无线通信等实时视频通信； ( 2 ) 主要档次：支持隔行视频，采用b 条带的帧间编码和采用加权预测的帧内编码； 支持利用基于上下文的自适应的算术编码( c o n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i c c o d i n g ，c a b a c ) 。主要用于数字广播电视与数字视频存储； ( 3 ) 扩展档次：支持码流之间有效的切换( s p 和s i 条带) 、改进误码性能( 数据 分割) ，但不支持隔行视频和c a b a c ； ( 4 ) 高档次：高档又分成四个级别，可以支持1 0 和1 2 比特采样深度，4 ：2 ：2 和4 ：2 ：2 y u v 色度格式的视频。 2 3h 2 6 4 的分层结构 h 2 6 4 的算法在概念上分为两层：视频编码层( v i d e oc o d i n gl a y e r ，v c l ) 和网络 适配层( n e t w o r ka d a p t a t i o nl a y e r ，n a l ) 。v c l 负责对视频的高效压缩编码，而n a l 层负责按照网络的要求对v c l 数据进行打包和传送。其简要结构见图2 3 ，其中h 2 3 4 m 表示用于移动应用的h 3 2 4 系统。 图2 3h 2 6 4 的层次结构 f i g 2 3h i e r a r c h ys t r u c t u r eo fh 2 6 4 编码器输出的是v c l 数据，n a l 层首先会将v c l 数据封装成n a l 单元，之后 再进行传输或者存储。n a l 单元是h 2 6 4 规定的数据格式，如图2 4 所示，每个n a l 单元包括一个原始字节序列载荷( r a g b y t es e q u e n c ep a y l o a d r b s p ) ，每个r b s p 单 大连理工大学硕士学位论文 元包含组与n a l 头信息对应的数据，h 2 6 , 1 规定了2 0 种r b s p 单元，并且最多可以指 定3 2 种，其余1 2 种由标准保留或未定义。 图2 4n a l 单元序列 f i g 2 4s e q u e n c e so fn a l u n i t s 2 4 h 2 6 4 的宏块、条带与条带组 2 4 1 宏块 在h 2 6 4 标准中，对于4 ：2 ：0 的y 格式视频，图像编码的基本单位是亮度( y ) 尺寸大小为1 6 x 1 6 的宏块，每个宏块包含1 6 x 1 6 的亮度( y ) 数据块和两个8 8 的色度 ( c b ，c r ) 数据块。每个1 6 1 6 的数据块都可以分割成1 6 x 8 、8 x 1 6 和8 x 8 的大小，而 每个8 x 8 的数据块又可以继续分割成8 x 4 ，4 8 和4 x 4 的大小。这种分割结构使得h 2 6 4 有灵活的预测和运动补偿机制，能够进行更加精细的编码。 2 4 2 条带与条带组 在h 2 6 4 中，一幅图像可以分成一个或多个条带进行编码，h 2 6 4 定义了五种条带， 分别为i 条带、p 条带、b 条带、s p 条带和s i 条带。其中前三种的含义与h 2 6 3 、m p e g 4 中的定义一样，分别代表帧内预测条带、前向预测条带和双向预测条带。s p 条带和s i 条带是为了满足视频传输中视频流切换的问题而增加的，允许终端用户在不同的码流间 进行灵活切换。 h 2 6 4 的条带可以包含最少一个、最多整幅图像的宏块。分条带的目的是为了限制 误码的扩散与传输，保持条带之间编码相互独立。 条带组是条带的集合，可以包含一个或多个条带。在每一个条带组中，宏块安照光 栅顺序进行编解码。h 2 6 4 定义了一种特殊的条带编码结构一任意条带次序( a r b i t a r y s l i c eo r d e r ，a s o ) ，支持任意编码顺序的条带。 另外，h 2 6 4 还支持一种灵活宏块次序( f l e x i b l em a c r o b l o c ko r d e r i n g ，f m o ) 的条 带组可以用灵活的方法把宏块映射到条带组中。 1 3 h 2 6 4 分层视频编码( s v c ) 算法研究 2 5 h 2 6 4 的帧内预测 在帧内预测模式中，宏块的亮度与色度均有多种不同的预测模式。对于宏块中1 6 1 6 亮度数据，h 2 6 4 为宏块预测定义了4 x 4 与1 6 x 1 6 两种尺寸的分割。对4 x 4 的分割定义 了9 种预测模式，对1 6 1 6 的分割定义了4 种预测模式。对于每个8 8 ( c b ，c r ) 的色 度数据，定义了4 种预测模式