（通信与信息系统专业论文）h264码率分辨率下采样转码的设计与实现.pdf

北京邮电大学硕上论文 h 2 6 4 码率分辨率下采样转码的设计与实现 摘要 近年来随着数字信息技术的飞速发展，多媒体通信成为人们日常 信息交流的重要手段，尤其是图像和视频，由于能给人们带来最生动 的直观感受，受到最广泛的关注和应用。针对不同的应用使用不同的 视频压缩方法，会得到各种不同码率、不同分辨率和不同格式的视频。 在整个通信系统中，终端的处理能力、存储容量、网络传输带宽、子 网的结构都存在很大的差异，如何实现不同终端和不同网络之间的无 缝连接就成为多媒体通信研究的热点。视频转码技术可以实现视频数 据在不同比特率、不同空间分辨率、不同时间分辨率和不同压缩格式 之间的转换，为实时高效地实现异质网络之间、不同接入设备之间以 及不同压缩数据格式之间的无缝连接提供了有效的解决方案。因此研 究视频转码技术具有较高的研究意义和实用价值。 本文进行了h 2 6 4 码率和分辨率下采样转码的研究和实践工作， 主要完成如下工作： 1 研究和分析了各类视频转码框架的特点和性能，然后针对本 文视频转码的需求，提出了一种基于像素域级联的高效h 2 6 4 码率和 分辨率下采样转码框架。 2 实现了基于h 2 6 4 标准b a s e l i n ep r o f i l e 和m a i np r o f i l e 标准c 版本 的解码器，并对其进行了代码和算法的优化。该解码器作为高效级联 转码的一部分，充分考虑了各个模块的功能及相互关系，为后续各种 转码算法模块提供了良好的可扩展性。 3 实现并改进了t g 0 1 2 码率控制算法，提高了h 2 6 4 转码码 率控制的精度。提出了基于纹理的帧内模式优化算法和帧间模式合并 算法。实验结果表明，本文的速率控制算法在维持转码图像质量下降 不明显( 下降不超过0 5 d b ) 前提下，转码速度提高了2 倍左右。 4 实现了h 2 6 4 分辨率2 ：1 下采样转码，并提出了一种分辨率下 采样转码中模式选择与模式映射算法以及运动再估计算法。实验测试 结果表明，与全解全编的视频转码相比，本文提出的转码系统速度提 i l 北京邮l 乜人学硕l ：论文 高了近1 倍，而p s n r 损失仅在0 1 d b 左右。 关键词：h 2 6 4 视频转码，码率控制，下采样滤波，模式优化，模式 映射 i i i 北京邮电人学硕1 ：论文 d e s i g na n di m p l e 匝n t a t i o no fh 2 6 4 b i t r a t e r e s o l u t i o nd o q 呵s c a l i n gt r a n s c o d i n g a b s t r a c t m u l t i m e d i ac o m m u n i c a t i o nh a sb e c o m ea l li m p o r t a n ts t y l eo f p e o p l e sd a i l yc o m m u n i c a t i o n i m a g ea n dv i d e o ，w h i c hc a i lb r i n gp e o p l e m o s tv i v i dv i s u a le x p i e r e n c e ，a r eb e i n gw i d e l yc o n c e r n e da n da p p l i e d f o rd i f f e r e n ta p p l i c a t i o n ，v i d e os t r e a m sw i t hd i f f e r e n tb i t r a t e ，d i f f e r e n t r e s o l u t i o na n dd i f f e r e n tf o r m a t sa r eg e n e r a t e du s i n gd i f f e r e n tv i d e o c o m p r e s s i o nm e t h o d s m i l ei nt h ee n t i r ec o m m u n i c a t i o ns y s t e m ，t h e r e e x i s tg r e a td i f f e r e n c e si nt e m i n a lp r o c e s s i n ga b i l i t y , s t o r a g ec a p a c i t y , n e t w o r kb a n d w i d t ha n di n f r a - s t u c t u r e h e n c eh o wt oa c h i e v es e a m l e s s c o n n e c t i o nb e t w e e nd i f f e r e n tt e m i n a l sa n dn e t w o r k sh a sb e c o m eah u bo f m u l t i m e d i ac o m m u n i c a t i o n sr e s e a r c h v i d e ot r a n s c o d i n gc a l lc o n v e r t v i d e os t r e a m si nb i t r a t e ，s p a t i a lr e s o l u t i o n ，t e m p o r a lr e s o l u t i o na n df o r m a t a n dp r o v i d e se f f e ：c t i v es o l u t i o n sf o rt h ea c h i e v e m e n to fs e a m l e s s c o n n e c t i o nb e t w e e nh e t e r o g e n o u sn e t w o r k s ，d i f f e r e n ta c c e s se q u i p m e n t s a sw e l la sd i f f e r e n tc o m p r e s s i o nf o r m a t s t h e r e f o r e ，t h e r ee x i s t sv e r y h i g hv a l u ei nt h er e s e a r c ho fv i d e ot r a n s c o d i n g t h i sp a p e ri n t r o d u c e st h ep r a c t i c ea n dr e s e a r c hw o r ki nh 2 6 4 b i t r a t ea n dr e s o l u t i o nd o w n s c a l i n gt r a n s c o d i n g f i r s t ，t h ec h a r a c t e r i s t i c s a n dp e r f o r m a n c eo fd i f f e r e n tt y p eo f f r a m e w o r ko fv i d e ot r a n s c o d i n gi ss t u d i e d a c c o r d i n gt ot h et a r g e to ft h e r e s e a r c hw o r ko ft h i sp a p e r , ah i g h - e f f i c i e n c yc a s c a d i n gp i x e ld o m a i n t r a n s c o d i n gf r a m e w o r ki sg i v e na st h eb a s i cf r a m eo fh 2 6 4b i t r a t ea n d r e s o l u t i o nd o w n s c a l i n gt r a n s c o d i n g s e c o n d l y , a nh 2 6 4d e c o d e ri ncl a n g u a g et h a tc o m f o r i l l st oh 2 6 4 b a s e l i n ep r o f i l ea n dm a i np r o f i l ei si m p l e m e n t e d n e c e s s a r yi m p r o v e m e n t o fc o d e sa n da l g o r i t h m si sd o n ei np u r p o s eo fh i g hp e r f o r m a n c et h e f u r t h e rd e s i g n e dt r a n s c o d e r a sp a r to fh i g h e f f i c i e n c yc o n c a t e n a t e d 北京邮电人学硕l ：论文 t r a n s c o d e r , t h ef u n c t i o na n dr e l a t i o nb e t w e e nd i f f e r e n tm o d u l e so ft h e d e c o d e ra r ed i s c r e e t l yc o n s i d e r e di no r d e rt op r o v i d eg o o df l e x i b i l i t y t h i r d l y , t g o 12r e c o m m a n d a t i o nf o rh 2 6 4r a t ec o n t r o li s a d o p t e da n dr e a s o n a b l ym o d i f i e dt or e a l i z ea c c u r a t e l yr a t ec o n g o li n t r a n s c o d i n g o nd e s i g n i n gt h et r a n s c o d i n ga l g o r i t h m s ，w ec o m eu pw i t h a ni n t r af r a m em o d er e f i n e m e n ts c h e m eb a s e dt h et e x t u r eo fi n t r am o d e a n dab o t t o m u pb l o c k m e r g i n ga l g o r i t h mt or e d u c et h ec o m p l e x i t yo f m o d ed e c i s i o n t h er e s u l ts h o w st h ep r o c e s s i n gs p e e do ft h ed e s i g n e d t r a n s c o d e ri sa b o u tt h r e et i m e so ft h a to ft h ef u l lt r a n s c o d e r , w i t ht h el o s s i nm e a np s n ro ft r a n s c o d e dv i d e ow i t h i n0 5d b l a s t ，a 1 1h 2 6 4t r a n s c o d e rw i t h2 ：1s p a t i a lr e s o l u t i o nd o w n s c a l i n gi s r e a l i z e da n dap r i m a r ym o d er e f i n e m e n ta n dm a p p i n ga l g o r i t h m sa n d m o t i o nv e c t o rr e - e s t i m a t i o ns c h e m ea r ea p p l i e di nt h i st r a n s c o d e r i ni n t e r f r a m em o d er e f i n e m e n t ，t h eb o t t o m - u pb l o c k - m e r g i n gm e t h o di sa l s o a d o p t e d t h er e s u l ts h o w st h ep r o c e s s i n gs p e e di sa l m o s tt w i c eo ft h a to f t h ef u l lt r a n s c o d e r , w i t ho n l yo 1d bl o s si nm e a np s n ro ft r a n s c o d e d v i d e o k e yw o r d s ：h 2 6 4t r a n s c o d i n g ，r a t ec o n t r o l ，d o w n s c a l i n gf i l t e r i n g ， m o d er e f i n e m e n t ，m o d em a p p i n g v 北京邮i 乜人学顾i 论文 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：幽日期：鲨! ：! ：! 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名：至壹查塾 日期： 导师签名：1 霭努“l 日期： 北京邮电人学硕上论文 1 1 课题背景和研究意义 第一章绪论 随着近几年数字信息技术的飞速发展，人们日渐步入一个信息化的社会。人 们希望无论何时何地都能够方便、快捷、灵活地通过语音、数据、图像与视频等 多种方式进行通信。视觉信息给人直观、生动的形象，因此图像和视频的传输受 到了人们的广泛关注，诸如可视电话、视频会议、视频监控、高清晰度电视 ( h d t v ) 、视频点播( v o d ) 、移动电视、远程教学和远程购物等极大地丰富和便 利了人们的日常生活和工作。随着互联网技术的发展，通过网络传输获得各种标 准格式的多媒体数据就成为人们日常生活中必不可少的内容。目前，市场上比较 流行的多媒体产品通常采用m p e g l 、m p e g 2 、m p e g 4 和h 2 6 1 与h 2 6 3 标准 的格式存储。那么如何将现有的多媒体资源转换为能够满足用户需求的数据流就 成为一个主要问题。由于不同的网络带宽的限制，设计的网络也各有特色，同时 终端的显示能力、处理器能力和内容存储量也不一样，因此需要根据当前的网络 条件、终端和用户的特征传送一些视频内容，此时进行不同格式码流的转码就是 实现符合网络条件和用户定制数据流传输的有效途径。转码是将已有的压缩视频 转换成满足当前网络条件、终端能力和用户需求的另一种压缩视频。因为视频 转码非常灵活，可以满足各种不同的需求，而且视频转码技术用于媒体网关，不 需要终端用户增加额外的开销，所以视频转码技术具有很高的研究价值和良好的 市场前景。 h 2 6 4 1 】是由1 1 r u t 和i s o 1 e c 的联合开发组共同开发的继m p e g - 4 之后的 最新国际视频编码标准，于2 0 0 3 年3 月正式成为国际标准，在u - t 中称为 h 2 6 4 ，而在i s o i e c 中被称为m p e g - 4 的第1 0 部分，即高级视频编码( a v c ) 。 通过使用该标准，在同等图像质量下的压缩效率比以前的标准提高了2 倍以上， 因此，h 2 6 4 被行业看好。h 2 6 4 既保留了以往压缩技术( h 2 6 3 和m p e g - 4 ) 的优 点和精华，又具有其他压缩技术无法比拟的许多优点，如：低码率、容错能力强、 网络适应能力强等。由于h 2 6 4 拥有以往压缩标准无可比拟的巨大优势，目前在 市场和网络中获得了越来越广泛的应用，它应用的范围囊括了视频业务从低端至0 高端的各方面，如视频会议、远程教育、视频点播、i p t v 以及高清数字电视等。 因此，研究h 2 6 4 标准内码流转换技术以适应不同视频业务的需求具有很高的研 究价值和广阔的市场前景。 北京邮电人学硕j ：论文 1 2 视频转码技术简介 视频转码是把输入的压缩视频码流转换为满足实际应用需求的压缩视频码 流，要求尽可能的再利用原始码流中的信息降低转码的复杂度并使转码之后图象 质量的下降尽可能小。视频转码可以是同类码流的转换，如m p e g - 2 到m p e g 一2 ， h 2 6 3 蛩j h 2 6 3 ，这类转换一般不用考虑语法的问题，只进行结构上的相应变换； 也可以是不同格式间的转换，如m p e g 2 至l j h 2 6 3 ，m p e g 2 到m p e g 4 。这类转 换不仅要考虑语法和结构问题，同时也要考虑两种标准间的兼容问题。 目前转码技术主要有码率转换、空间分辨率转换和时间分辨率转换和语法转 换4 类。首先出现的转码需求是码率变换转码，在数字电视广播领域和系统中的 视频服务器端，为了使不同带宽的用户能够收看视频点播，视频服务器端需要利 用转码器将高码率视频转换为低码率视频。空间分辨率转换和时间分辨率转换有 利于在低带宽的条件下工作，它主要应用于低分辨率显示和处理器性能较弱的移 动设备如手机，以适应处理器能力、显示器分辨率的限制或者内存容量等问题。 语法转换能够保持发送方和接收方的兼容性和透明性，确保混合网络的自适应 性。这四种视频转码技术通常并不独立存在而是结合在一起的。 视频转码的研究主要集中在如何充分的利用原输入视频流的编码信息，在较 低运算复杂度下输出目标视频流。因此国内外相关的研究工作主要集中在转码器 的逻辑框架设计、转码速率控制、分辨率下采样、运动矢量重用以及d c t 域运动 补偿等问题上。针对不同的实际转码需求设计不同的转码框架是为了更好的利用 原始压缩码流中信息，尽最大可能实现质量好、速率快的高性能转码。一般框架 在设计时，根据视频流的结构可以选择有开环和闭环的选择；根据图像处理域的 不同又可以分为像素域转码和d c t 域转码。此外还可以根据转码的一些特殊需 求，对复杂的框架进行简化，或者将不同的关键技术进行合理的分配和结合，这 样就可以从最基本的框架上合理的设计转码器，从而达到最好的转码性能。 1 3 本文工作与安排 1 3 1 本文的工作内容 本文的主要工作为h 2 6 4 硒- q 率和分辨率下采样转码的设计与实现，主要内容 包括以下几方面： 1 h 2 6 4b a s e l i n e & m a i np r o f i l e 解码器和h 2 6 4 转码器框架的软件实现 2 北京邮电大学硕 ：论文 h 2 6 4b a s e l i n e & m a i np r o f i l e 解码器是本文最先需要完成的工作，在实现解 码器的过程中注意进行算法和代码上的优化，保证解码器的解码速度，为转码器 提供较好的平台。在解码器的基础之上迸一步完成一个具有良好可扩展性的转码 器框架软件，方便后期转码算法模块的添加和未来的扩展。 2 h 2 6 4 码率转码的设计实现 h 2 6 4 码率转码工作为本文重点研究的范围，首先是h 2 6 4 转码码率控制的实 现，本文的转码器采用j v t g 0 1 2 码率控制算法实现。这部分的另一重点就是转 码模式优化算法和运动再估计算法的设计，文章通过分析和数据统计，提出了一 种基于纹理的帧内模式优化算法，同时采用自底向上的帧间模式合并算法和结合 了预测搜索法的运动再估计算法，有效降低了转码的复杂度，同时保证了转码的 视频质量。 3 h 2 6 4 分辨率2 ：1 下采样转码的设计实现 本论文实现了一个初步的h 2 6 4 分辨率2 ：1 下采样转码器，转码算法中利用原 图像4 个宏块的模式来确定当前宏块的可能的模式，以减少模式搜索的范围。帧 间模式优化部分采用了分割到亚分割的模式映射方法，并结合了自底向上的模式 合并算法，最终在转码器中取得了不错的效果。 1 3 2 论文结构安排 本文的具体内容安排如下： 第一章首先介绍了本论文课题的研究背景和意义，然后简单地描述了这些课 题目前的进展，最后简要介绍了本文的研究内容和论文的结构安排。 第二章介绍了h 2 6 4 标准及其使用的主要压缩技术。 第三章介绍了各类常见视频转码框架，并在此之上选择了合适的框架完成了 h 2 6 4 转码器框架的设计。 第四章重点研究了h 2 6 4 码率转码器的设计与实现，包括码率控制算法的思 想和步骤以及帧内帧间模式优化算法和运动再估计算法。 第五章介绍了初步的h 2 6 4 分辨率2 ：1 下采样转码器的设计实现，给出了下 采样滤波器的设计以及帧内帧间的模式选择和映射算法的思想。 第六章对全文所做的工作进行了总结，并对后续工作做了展望，提出了一些 建议。 北京邮i 也人学硕f ：论文 第二章h 2 6 4 标准简介 2 1h 2 6 4 标准特点 h 2 6 4 标准【1 】是由j v t ( j o i n tv i d e ot e a m ，视频联合工作组) 组织提出的新 一代数字视频编码标准。j v t 由n u t 的v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 活动图像编码专家组) 两个国际标准化组织的专家联合组成，其工作 目标是制定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良好 的网络适应性等目标h 2 6 4 标准。h 2 6 4 标准将作为m p e g - 4 标准的一个新的部 分( m p e g - 4p a r t 1 0 ) 而获得批准，是一个面向未来i p 和无线环境下的新数字视 频压缩编码标准。 h 2 6 4 标准的主要特点如下： 1 更高的编码效率：同h 2 6 3 、m p e g - 4 等标准的特率效率相比，能够平均 节省大于5 0 的码率。 2 高质量的视频画面：h 。2 6 4 能够在低码率情况下提供高质量的视频图像， 在较低带宽上提供高质量的图像传输是h 2 6 4 的应用亮点。 3 提高网络适应能力：h 2 6 4 可以工作在实时通信应用( 如视频会议) 低 延时模式下，也可以工作在没有延时的视频存储或视频流服务器中。 4 采用混合编码结构：同h 2 6 3 相同，h 2 6 4 也使用采用d c t 变换编码加 d p c m 的差分编码的混合编码结构，还增加了如多模式运动估计、帧内预测、多 帧预测、基于内容的变长编码、4 x 4 二维整数变换等新的编码方式，提高了编码 效率。 5 编码选项较少：在h 2 6 3 中编码时往往需要设置相当多选项，增加了编 码的难度，而h 2 6 4 做到了力求简洁的“回归基本”，降低了编码时复杂度。 6 可应用在不同场合：h 2 6 4 可以根据不同的环境使用不同的传输和播放 速率，并且提供了丰富的错误处理工具，可以很好的控制或消除丢包和误码。 7 错误恢复功能：h 2 6 4 提供了解决网络传输包丢失的问题的工具，适用 于在高误码率传输的无线网络中传输视频数据。 8 较高的复杂度：2 6 4 性能的改进是以增加复杂性为代价而获得的。据估 计，h 2 6 4 编码的计算复杂度大约相当于h 2 6 3 的3 倍，解码复杂度大约相当于 4 北京邮电人学硕上论文 h 2 6 3 的2 倍。 2 2h 2 6 4 标准结构 j v t 在开发h 2 6 4 视频编码规范的时候，为它设计了很广的应用层面。为了 增加灵活性和可扩展性，j v t 在结构上为h 2 6 4 定义了视频编码层( v c l ，v i d e o c o d i n gl a y e r ) 和网络提取层m a l ，n e t w o r k a b s t r a c t i o nl a y e r ) 两层结构，如图2 - l 所示。视频编码层主要规定如何有效地表示视频内容，即视频编码的问题；而网 络适配层主要负责为编码后的数据进行打包并提供头信息，以适应网络传输或者 媒体存储的需要。网络适配层把数据封装成为若干网络适配单元，这些网络适配 单元可以在现有的大部分网络中以包的形式传送。 封装于网络适配单元中的数据称为原始字节序列载荷( r a wb y t es e q u e n c e p a y l o a d s ) ，简称r b s p 。h 2 6 4 中的r b s p 主要有两种，一种为视频编码数据， 一种为控制数据。视频编码数据可以以片( 每个片由若干宏块组成) 为单位进行组 织，也可以对片进行数据分割。控制数据是指视频序列参数、图像参数等信息。 图2 - 1h 2 6 4 整体框架 h 2 6 4 着重在压缩的高效率和传输的高可靠性，其应用面十分广泛，具体说 来，h 2 6 4 支持三个不同档次： 1 、基本档次：该层次使用了h 2 6 4 的除b s l i c e s ，c a b a c 以及i n t e r l a c e 编 码模式外所有的特性，主要用于“视频会话”，如会议电视，可视电话，远程医疗、 远程教学等低时延应用场合； 北京邮i 乜人学硕l ：论文 2 、扩展档次：包含b a s e l i n ep r o f i l e 的所有特性，并包括了b s l i c e s ，c a b a c 以及i n t e r l a c e 编码模式，主要用于网络的视频流，如视频点播； 3 、主要档次：支持所有b a s e l i n ep r o f i l e 的特性，但不支持c a b a c 以及基 于宏块的自适应帧场编码，主要用于消费电子应用，如数字电视广播，数字视频 存储等。 2 3h 2 6 4 编码器框架 h 2 6 4 在编码框架上还是沿用前面所说的m c d c t 结构，即运动补偿加变换 编码的混合结构，编码器框架图如图2 2 所示： 图2 2h 2 6 4 编码器框架图 h 2 6 4 保留了一些先前标准的特点，如不受限制的运动矢量、对运动矢量的 中值预测等。h 2 6 4 在性能上的较大提升应归功于各种不同技术的性能改进，其 中主要是帧内预测、多模式运动补偿、整数变换、环路滤波技术、量化、以及熵 编码等所采用的新技术和处理方法。后面几节将分别介绍h 2 6 4 标准中采用的主 要压缩技术。 2 4帧内预测 h 2 6 4 标准对i 帧的编码利用了空间相关性来提高压缩效率。以前的标准只利 用了一个宏块内部的相关性来进行压缩，忽视了宏块之间的相关性，所以帧内编 码后的数据量仍然较大。为了能进一步利用空间相关性，h 2 6 4 引入了帧内预测 以提高压缩效率。简单的说，帧内预测编码就是用周围临近的像素值来预测当前 6 n 京邮m 大学硕l 。论文 的像素值，然后对预测误差进行编码。这种预测是基于块的，对于亮度分量 ( 1 u m a ) ，块的大小可以在1 6 x 1 6 和4 x 4 之f b j 选择。1 6 1 6 块有4 种预测模式，4 x 4 块 有9 种预测模式；对于色度分量( c h r o m a ) ，预测是对整个8 x 8 块进行的，有4 种预 测模式。除了d c 预测外，其他每种预测模式对应不同方向上的预测。 亮度4 x 4 预测 亮度4 x 4 预测把1 6 】6 的宏块划分成1 6 个4 x 4 的子块每个子块用与其相邻的 上面和左面已经编码并重建后的像素点来预测，如图2 3 所示，子块的a ，b ， 口等像素的预铡值通过相邻a ，b ，m 等像素的值计算得到。 图2 - 3 利用像章a m 预测a 呻 根据预测方向的不同4 ) ( 4 亮度预测可分为9 种模式淇中d c 预测( 模式2 ) 、 垂直预测( 模式0 ) 和水平预测( 模式1 ) 总是有效的，即使在上面像素或左边 像素不可用情况下( 这时上面像素或左边像素的值用1 2 8 来代替) 。而其他模式 仅在所有需要利用的预测像素点都可用的情况f 才可以使用( 如果e ，f ，g ， h 不可用，可以用d 的值来代替) 。具体这9 种预测模式如图2 4 所示。 鬻7 翟 蔫 期 慧 5 ( m 自 自)7 ( | e m 自) 8 ( 十 ”自 圈2 49 种亮度4 x 4 预测模式 器器 o f i 昌- 盎 丽蕴潺 n “f u 学m1 艟史 亮度1 6 1 6 预测 老块的全部1 6 x 1 6 亮度块可以整体预测，有4 种预翘4 模式：m o d eo 垂直预测、 m o d e l 水平预测、m o d e2 d c 预测和m o d e3p l a n e 预测，预测方向如图2 5 所示： o ( 难直j1 ( 水平)2 ( d c ) 3 ( p l a n e ) v 羽疆。羽蘸蔫器溺 ：燃盥 囤2 - 5 亮度1 6 1 6 预测模式 色度8 x 8 预测 每个帧内宏块的8 x 8 色度堍由己编码左上方色度像素预测而得，两种色度成 分用同一种预测模式。4 种预测模式类似于亮度1 6 x 1 6 预测的4 种预钡4 模式只是 模式编号不同，其中d c ( 模式o ) 、水平( 模式1 ) 、垂直( 模式2 ) 、p l a n e ( 模式3 ) 。 2 5整数变换技术 h2 6 4 中使用了三种变换方法：第一种为4 4 的整数变换，针对亮度信号和 色差信号的差值；第二种为4 4 的啥达玛( h a d a m a r d ) 变换，针对1 6 x 1 6 的帧内预 测模式下亮度信号经4 x 4 整数变换后得到的直流系数组成的4 x 4 矩阵；第三种 为2 x 2 的哈达玛变换，针对色差信号经4 4 整数变换后得到的直流系数组成的 2 2 矩阵。作为h2 6 4 的一个基本编码单元，每个1 6 1 6 的宏块需要对2 4 个4 x 4 的块进行整数变换，并对两个2 2 的块进行哈达玛变换，当宏块采用帧内1 6 x 1 6 预测时还需要再进行一次4 4 的哈达玛变换，如图2 - 6 所示。 亮度信号 叫 一 色差信号 图2 - 6 哈达码变换系数示意图 豳豳 北京邮i 乜人学硕士论文 以上提到的4 x 4 整数变换是在4 4 d c t 的基础上演变而来的。h 2 6 4 对像素 值进行的变换、反变换，量化、反量化以及其他运算均在整数范围内进行，所以 不需要进行浮点运算，这样做可以有效降低计算机在实际编码处理时的计算量。 此外，进行各种变换的最小单位是4 x 4 块，而不是以往常用的8 x 8 块。由于用 于变换块的尺寸缩小，运动物体的划分更精确，这样不但变换计算量比较小，而 且在运动物体边缘处的衔接误差也大为减小。为了使小尺寸块的变换方式对图像 中较大面积的平滑区域不产生块之间的灰度差异，对帧内宏块亮度数据的1 6 个 4 x 4 块的d c 系数( 每个小块一个，共1 6 个) 进行第二次4 x 4 块的变换，对色度数 据的4 个4 x 4 块的d c 系数( 每个小块一个，共4 个) 进行2 x 2 块的变换。 2 6运动补偿技术 可变尺寸块、多参考帧和1 4 像素精度是h 2 6 4 运动补偿技术的三个新特征。 在h 2 6 4 的运动预测中，一个宏块( m b ) 可以被分为不同的子块，如图2 7 所示，共有7 种不同模式的块尺寸：1 6 x 1 6 、1 6 x 8 、8 x 1 6 、8 x 8 、8 x 4 、4 x 8 、4 x 4 。 根据运动补偿采用的块尺寸的不同，宏块的编码模式分为四种，前三种模式分别 按照一个1 6 x 1 6 块、两个1 6 x 8 块和两个8 x 1 6 块来进行运动补偿，最后一种模 式记作p 8 x 8 ，在p 8 x 8 模式下，一个宏块被分为4 个8 x 8 的子块，而每一个子块 又有4 种可能的子模式，分别按照一个8 x 8 块、两个8 x 4 块、两个4 x 8 块及四 个4 x 4 块进行运动补偿。这种多模式的灵活和细致的划分，更切合图像中实际运 动物体的形状，大大提高了运动估计的精确程度。在这种方式下，在每个宏块中 可以包含有1 ，2 ，4 ，8 或1 6 个运动矢量。 1 6 8 图2 - 7h 2 6 4 宏块划分方式 在h 2 6 4 中，允许采用最多1 6 个参考帧来进行运动补偿，这在很多自然场 景的周期变换以及镜头在两个场景中交替转换等情况下可以提高编码效率。在四 种宏块的编码模式中，每个1 6 x 1 6 块、1 6 8 块、8 x 1 6 块和8 x 8 块均可以采用不 同的参考帧，而同一个8 x 8 块的所有亚分割则必须使用相同的参考帧。 9 习田 北京邮电人学硕一l ：论文 h 2 6 4 支持1 4 亮度精度( 色度为1 8 像素精度) 的运动补偿，其中在亮度l 2 像素精度时使用6 抽头滤波器来减少高频噪声，l 4 像素精度采用半像素点的线性 内插以降低复杂度，色度采用双线性内插。亮度亚像素采样点的内插过程如图2 8 所示。 口口 口口 围困 日回 国曰 口口 冈田同 l - jl jl j 同同同 口口 口口 田 回 圈 田 回 回 回国固口口 口口回囤回口口 图2 8 亮度亚像素采样点 首先生成半像素点，半像素点( 如b ，h ) 通过对相应整像素点进行水平和垂 直的6 抽头滤波得出，权重为( 1 3 2 ，5 3 2 ，5 8 ，5 8 ，5 3 2 ，1 3 2 ) 。例如b 计算如下： b = r o u n d ( ( e 一5 f + 2 0 g + 2 0 h 一5 + j ) 3 2 ) 4 个整像素点中间的半像素点( 如j ) 需进行水平和垂直两次插值后得出，因 此i 的生成涉及到周围3 6 个整像素点。 1 4 像素值由整数像素和半像素点求均值取得，例如： f l = r o u n d ( ( g + b ) 2 ) ，e = r o u n d ( ( h + b ) 2 ) 相应地，色度像素需要1 8 精度地m v ，也同样通过整像素点通过双线性内插 得出。 2 7环路滤波技术 为了尽量消除在预测和量化过程中产生的块效应现象，h 2 6 4 采用了一个自 适应的环路滤波器。这个滤波器根据块边缘信息的不同采用不同的滤波强度，因 而可以在有效消除块效应的同时又不会模糊图像的真实边缘信息，滤波强度也可 l o 北京邮电人学硕上论文 以在编码器参数配置里进行调整。 另外，同m p e g - 4 和h 2 6 3 的后置滤波不同，环路滤波是作为编码器的一部 分直接对编码器端的参考图像进行的，是h 2 6 4 标准的一部分，与仅仅作为后处 理的解码器端的去方块滤波相比，环路滤波在改善主观质量的同时还可以有效地 提高编码器的编码效率。 2 8量化 h 2 6 4 对变换参差系数的量化使用了5 2 级步长的量化器，步长是以1 2 5 的复 合率递进的，而不是一个固定常数。量化步长范围的扩大使得编码器能够更灵活、 精确地进行控制，在比特率和图像质量之间达到折中。 2 9熵编码技术 h 2 6 4 提供了两种变长编码方式供选择：基于上下文的变长编码技术 ( c a v l c ) 和基于上下文的二进制自适应算术编码技术( c a b a c ) 。 在以前的标准中，控制信息、运动信息和量化后的变换系数多采用霍夫曼编 码，使用静态的概率估计码表，这样就忽略了不同视频流在统计特性上的区别， 也忽略了待编码符号之间的相关性，而c a v l c 通过上下文信息( 如相邻块的非 零系数个数) 来动态的选择相应的码表，进一步挖掘了4 x 4 块d c t 变换后的残 差系数的统计特性来提高压缩效率。 c a b a c 通过建立上下文模型并自适应地更新待编码符号的统计特性解决了 这两个问题。另外，采用c a b a c ，每个符号可以用精确n d , 数的比特数来表示， 能够更有效地逼近符号的熵。采用c a b a c 算法进行编码，可以提高大约1 0 的编码率。 北京邮电大学硕一l ：论文 第三章h 2 6 4 转码器框架设计 随着多媒体网络通信的发展，网络中开始承载越来越多的多媒体业务，这些 具有不同码率、分辨率、满足不同标准的多媒体数据在经过各种异质网络、不同 的接入设备，到达能力各异的接收终端时，经常会遇到数据速率和网络带宽不匹 配的问题。为了使得异质网络之间，不同的接入设备之间以及不同多媒体数据格 式之间能够无缝连接，视频转码技术就显得尤为重要。 视频转码技术就是对压缩视频进行端到端的处理，即转码器的输入、输出都 是压缩数据，转码后的压缩码流更能适应传输带宽以及接收端的要求。视频转码 根据实现功能和目的的不同可以分为码率转码、帧率转码和空间下采样转码等。 码率转换主要通过采用较粗的二次量化系数实现。分辨率转换包括时间分辨率转 换和空间分辨率转换，时间分辨率转换就是帧率的转换，空间分辨率转换包括上 采样和下采样，分别增加像素数和减少像素数。在很多情况下进行分辨率转换的 目的也是为了转换码率。语法转码主要是由于输入和转码后的码流所遵循的压缩 标准不同，这部分研究，主要集中在不同标准在具体的语法、码流结构组织上的 对应转换，另外因为不同标准所支持的编码选项和模式不同，这些不同模式之间 的转换，也是研究的内容之一。本文的主要工作是针对h 2 6 4 标准的码率和分辨 率转码。 视频转码涉及到解码、再编码和中间的一些转换和信息再利用过程，视频转 码技术最重要的就是转码框架的选择。衡量一种转码框架的优劣又可以从运算复 杂度、转码后的视频质量、灵活性等多个方面进行考察。本章介绍了视频转码技 术的发展现状和目前常用的一些转码框架【5 1 ，通过分析选择了适用于本文研究课 题的转码框架，最后介绍了h 2 6 4 转码器框架的实现过程。 3 1 视频转码框架 视频转码器的类烈多种多样，按照结构主要分为两大类：像素域转码 ( p i x e l d o m a i nt r a n s c o d e r , p d t ) 和变换域转码( c o m p r e s s e d d o m a i nt r a n c o d e r , c d t ) 。p d t 是指对输入流进行完全解码得到像素域图像，在像素域进行转码， c d t 则不需要完全解码，而是在变换域中进行转码。p d t 有着实现灵活的特点， 可以满足多种不同的转码需要，输出图像质量较高，但在转码时需要做i d c t 和 d c t 计算，复杂度较高。c d t 贝i j 是直接处理压缩域系数，减少重新编码的计算量， 但其实现框架不够灵活，转码质量下降较大。因此，在设计视频转码框架时，需 1 2 北京邮电人学硕上论文 要考虑视频转码需求的影响以及可扩展性。 3 1 1 像素域完整级联转码器 最基本的转码器结构是全解全编结构，如图3 1 所示，由解码器和编码器级 联而成，输入码流经过解码器完全解码后，根据需要可能会通过个分辨率和帧 率的调整，再通过编码器编码输出。 图3 - 1 全解全编解码器框架图 由于是标准解码器和标准编码器的级联，该转码框架不会引起误差漂移，影 响视频质量的只有再编码时的量化过程，由目标码率和所采用的速率控制策略决 定。此转码框架非常灵活，因为解码器完全重构了所有图像，所以在重新编码之 前可以按照要求进行图像预处理，例如任意的空间分辨率转换、帧率转换，也可 以再重新编码时任意地选择帧编码类型，采用灵活的速率控制方法来约束输出码 流的速率。高度的灵活性是该转码框架的最大优点。 但其缺点也很明显，没有利用任何输入码流解码后得到的信息，只是简单的 将解码器和编码器级联，运算复杂度非常大，但在目前所有的转码结构完整级联 转码所能达到的效果最好，所以多适用于一些离线应用场合或用作分析其他结构 转码器性能的参照框架。 3 1 2 简单码率转码框架 开环转码框架 码率转换最简单的方法就是通过再量化实现的。开环转码器对输入视频流先 进行变长解码，反量化，再根据新的目标码率调整量化台阶重新量化d c t 系数， 北京邮 乜人学硕j ：论文 再通过变长编码输出码流，如图3 3 所示。该结构省去t d c t 、i d c t 和m e 、m c 的过程，计算复杂度是所有框架中最低的，但是由于没有对再量化误差的补偿而 存在误差，若此图像为参考帧，误差又会通过运动补偿传递向后传递而产生误差 积累，导致图像质量严重下降直到下一个i 帧出现或i n t r a 宏块出现。 图3 - 2 开环转码框架 简化像素域级联转码框架 对于简单的码率转换，我们可以重新利用原来的帧类型、运动矢量等信息， 据此将上述像素域级联转码框架进行一步简化，得到如图2 - 4 所示的框架。 图3 - 3 简化的像素域级联转码( 一) 此转码框架是通过再量化来降低比特率，由于采用了反馈环对再量化误差进 行了补偿，不存在误差漂移，所以