（计算机应用技术专业论文）h264的编码器优化及信息在网络中实时传输研究.pdf

摘要 由i s o i e c 和i t u t 联合推出的h 2 6 4 标准，被普遍认为是最有影响 力的行业标准。与以往技术相比，h 2 6 4 具有更高的压缩性能，以及更好 的网络亲和性。 本文依据h 2 6 4 标准，实现了编码器的关键模块，并在此基础上，采用i n t e l 公司推出的多媒体扩展结构技术。对已经实现的编码器模块进行了性能优化， 提高了编解码系统变换和量化的速度。文中还对多媒体数据实时传输的关键技术 进行了详细的分析和讨论，在此基础上，建立了传输控制机制，采用多线程技术， 设计并实现视频网络传输。模块优化技术以及基本传输系统的建立，为进一步研 究h 2 6 4 视频通讯系统奠定了基础。 关键词：h 2 6 4 ，视频压缩，m m x ，视频网络传输 a b s t r a c t h 2 6 4s t a n d a r d ，w h i c hs u b m i t t e db yi s o i e ca n di t u - t ，g r e a t l yi m p r o v e s c o d i n ge f f i c i e n c ya n db er e g a r d e da st h em o s ti n f l u e n t i a lv i d e oc o d i n g s t a n d a r d c o m p a r ew i t ht h eo t h e rt e c h n i q u e s ，h 2 6 4h a sh i g hc o m p r e s s i o n p e r f o r m a n c e ，a n di t ss y s t e mc a nb ew e l la p p l i c a b l ei nt h em o b i l ea n dt h ei p n e t w o r k t h ep a p e rr e a l i z e st h ek e ym o d u l e sa c c o r d i n gt oh 2 6 4s t a n d a r da n d a d o p t sm u l t i m e d i ae x t e n s i o nt e c h n i q u e st oi m p r o v et h es p e e do ft r a n s f o r m a n dq u a n t i z a t i o n k e yt e c h n i q u e so fm u l t i m e d i ar e a lt i m et r a n s m i s s i o n p r o t o c o l a r ea l s ob er e s e a r c h e di nt h i s p a p e r b a s e do nt h ee n c o d e r o p t i m i z a t i o n ，t r a n s m i s s i o nc o n t r o l ，a n dm u l t i t h r e a d st e c h n o l o g y ，t h i st h e s i s d e s i g n e dav i d e on e t w o r kt r a n s m i s s i o ns y s t e m t h eo p t i m i z a t i o na n dt h e t r a n s m i s s i o ns y s t e mb u i l du pf o u n d a t i o no ff u r t h e rr e s e a r c hf o rt h eh 2 6 4 v i d e ot r a n s m i s s i o ns y s t e m y uy u n d i ( c o m p u t e ra p p l i c a t i o na n dt e c h n i q u e ) d i r e c t e db yp r o f x i a ol i x i a n k e y w o r d s ：h 2 6 4 ，v i d e oc o m p r e s s i o n ，m m x ，v i d e ot r a n s m i s s i o n 摘要 由i s o i e c 和i t u t 联合推出的h 2 6 4 标准，被普遍认为是最有影响 力的行业标准。与以往技术相比，h 2 6 4 具有更高的压缩性能，以及更好 的网络亲和性。 本文依据h 2 6 4 标准，实现了编码器的关键模块，并在此基础上，采用i n t e l 公司推出的多媒体扩展结构技术，对已经实现的编码器模块进行了性能优化， 提高了编解码系统变换和量化的速度。文中还对多媒体数据实时传输的关键技术 进行了详细的分析和讨论，在此基础上，建立了传输控制机制，采用多线程技术， 设计并实现视频网络传输。模块优化技术以及基本传输系统的建立，为进一步研 究h 2 6 4 视频通讯系统奠定了基础。 关键词：h 2 6 4 ，视频压缩，m m x ，视频网络传输 a b s t r a c t h 2 6 4s t a n d a r d ，w h i c hs u b m i t t e db yi s o i e ca n di t u - t ，g r e a t l yi m p r o v e s c o d i n ge f f i c i e n c ya n db er e g a r d e d a st h em o s ti n f l u e n t i a lv i d e o c o d i n g s t a n d a r d c o m p a r ew i t ht h eo t h e rt e c h n i q u e s ，h 2 6 4h a sh i g hc o m p r e s s i o n p e r f o r m a n c e ，a n di t ss y s t e mc a nb ew e l la p p l i c a b l ei nt h em o b i l ea n dt h ei p n e t w o r k 。 t h ep a p e rr e a l i z e st h ek e ym o d u l e sa c c o r d i n gt oh 2 6 4s t a n d a r da n d a d o p t sm u l t i m e d i ae x t e n s i o nt e c h n i q u e st oi m p r o v et h es p e e do ft r a n s f o r m a n dq u a n t i z a t i o n k e yt e c h n i q u e so fm u l t i m e d i ar e a lt i m et r a n s m i s s i o n p r o t o c o l a r ea l s ob er e s e a r c h e di nt h i s p a p e r b a s e d o nt h ee n c o d e r o p t i m i z a t i o n ，t r a n s m i s s i o nc o n t r o l ，a n dm u l t i - t h r e a d st e c h n o l o g y ，t h i st h e s i s d e s i g n e dav i d e on e t w o r kt r a n s m i s s i o ns y s t e m t h eo p t i m i z a t i o na n dt h e t r a n s m i s s i o ns y s t e mb u i l du pf o u n d a t i o no ff u r t h e rr e s e a r c hf o rt h eh 2 6 4 v i d e ot r a n s m i s s i o ns y s t e m y uy u n d i ( c o m p u t e ra p p l i c a t i o na n dt e c h n i q u e ) d i r e c t e db yp m x i a ol i x i a n k e yw o r d s ：h 2 6 4 ，v i d e oc o m p r e s s i o n ，m m x ，v i d e ot r a n s m i s s i o n 声明 y 8 6 8 0 5 9 本人郑重声明：此处所提交的硕士学位论文h 2 6 4 的编码器优化及信息在 网络中实时传输研究，是本人在华北电力大学攻读硕士学位期间，在导师指导 下进行的研究工作和取得的研究成果。据本人所知，除了文中特别加以标注和致 谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得 华北电力大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同 志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。 学位论文作者签名：i 盂懿日期：垫堕! 堡：鲤 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有 权保管、并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩 印或其它复制手段复制并保存学位论文i 学校可允许学位论文被查阅或借阅； 学校可以学术交流为目的，复制赠送和交换学位论文；同意学校可以用不同 方式在不同媒体上发表、传播学位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 作者签名：盘左媾 日 期：2 硝：然：玉 导师签名： 日期：型：! ：，弓 华北电力大学硕士学位论文 1 1 研究背景 第一章引言 在“计算机就是网络”的时代，多媒体应用基本上就是网络环境的应用， 随着计算机网络的技术和多媒体技术的发展，多媒体应用将变得越来越丰富， 越来越贴近并服务于人们的生活。多媒体内容丰富，包括文字、声音、图形、 视频等数据，数据容量大( 尤其是视频数据) ，表达能力强，作为数字信号， 它易于传输且可以远距离存储，且可被高品质还原。 与此同时，多媒体信息的海量数据，对数据通讯中有限的带宽和存储提出 了更多的要求。现有的资源已经不足以承受几十甚至上百兆的码率。因此如何 压缩视频数据成为多媒体研究的重要课题之一。由此产生的各种压缩标准为视 频数据的传输和存储提供了解决方案，尤其是2 0 0 3 年由i t u t 和i s o 联合推 出的h 2 6 4 标准。h 2 6 4 标准使运动图像压缩技术上升到了一个更高的阶段， 在较低带宽上提供高质量的图像传输是h 2 6 4 的应用亮点，这也为其在英特网 的应用提供了广阔的前景。h 2 6 4 的推广应用对视频终端、网关等系统的要求 较高，将有力地推动视频会议软、硬件设备在各个方面的不断完善。因此，密 切关注h 2 6 4 的发展，深入研究其对于网络传输的新贡献是非常必要的。 由于多媒体信息的实时性，它需要在一段时间内以某一特定的速度播放， 并且需要一定的质量保证( q o s ) ，解决低延迟、高实时性等问题，当前的网络 体系环境以及数据压缩技术发展状况，以t c p i p 等一些传统互联网协议为基 础的i n t e r n e t 已无法满足目前实时多媒体信息通信的需求。 市场方面，据目前来看，还没有哪一个厂家能够现在提供出真正支持 h 2 6 4 标准的产品。 基于以上因素，为抢占视频技术和标准的制高点，深圳某公司于2 0 0 4 年 1 0 月启动了相应的研究工作，引入高校科研力量，联合成立了视频技术研究小 组。作为备受关注的研究课题，数据压缩以及多媒体信息的网络传输仍然需要 解决很多问题，尽管目前推出了性能比较优越的压缩协议以及传输协议，但是 压缩编码工作还远没有结束，人们在不断寻求一种比目前方案压缩性能更好、 适用性更强的编码方案，也在不断寻求一种更经济的传输解决方案。对这两个 课题的研究不但具有很强的理论价值，还有很高的实践价值。 华北电力大学硕士学位论文 1 2 视频编解码基本原理 视频图像数据有极强的相关性，也就是说有大量的冗余信息。其中冗余信 息可分为空域冗余信息和时域冗余信息。压缩技术就是将数据中的冗余信息去 掉( 去除数据之间的相关性) ，压缩技术包含帧内图像数据压缩技术、帧间图 像数据压缩技术和熵编码压缩技术1 1 1 。 去时域冗余信息：使用帧间编码技术可去除时域冗余信息，它包括以下三 部分： 1 ) 运动补偿 运动补偿是通过先前的局部图像来预测、补偿当前的局部图像，它是减少 帧序列冗余信息的有效方法。 2 ) 运动表示 不同区域的图像需要使用不同的运动矢量来描述运动信息。运动矢量通过 熵编码进行压缩。 3 ) 运动估计 运动估计是从视频序列中抽取运动信息的一整套技术。即将活动图像分为 若干块或者宏块，并设法搜索出每个块或者宏块在邻近帧图像中的位置，得出两 者之间的空间位置的相对偏移量，得到这个偏移量( 运动矢量) 的过程就是运动 估计。 去空域冗余信息：主要使用帧内编码技术和熵编码技术 1 ) 变换编码 帧内图像和预测差分信号都有很高的空域冗余信息。变换编码将空域信号 变换到另一正交矢量空间，使其相关性下降，数据冗余度减小。 2 ) 量化编码 经过变换编码后，产生一批变换系数，对这些系数进行量化，使编码器 的输出达到一定的位率。这一过程导致精度的降低。 3 ) 熵编码 熵编码是无损编码。它对变换、量化后得到的系数和运动信息，进行进一 步的压缩。 1 3 视频压缩标准发展历程 多年来。c c i t t 、i s o 、i t u 等国际组织积极致力于图像处理的标准化工作 2 华北电力大学硕士学位论文 并且成功地制定了一系列的国际标准。例如，在静态图像压缩方面，i s o 推出 了j p e g 标准以及后来的j p e g 2 0 0 0 ；在运动图像方面，i s o 推出了用于v c d 的 m p e g 一1 标准，用于广播电视的m p e g 一2 标准，以及低码率运动图像标准m p e g 一 4 ；i t u t 的用于i s d n 的电视电话会议标准h 2 6 1 ；i t u 推出的用于会议场合 的低码率运动图像压缩标准h 2 6 3 以及后来修订的h 2 6 3 + + 标准。这些标准的 制定，极大地推动了图像压缩编码技术的发展与应用。 1 ) h 2 6 l 【2 】 h 2 6 1 标准是由i t u t 第1 5 研究小组为i s d n 的双向声像业务( 可视电 话，会议电视) 设计的，主要针对实时编码和解码设计，压缩和解压缩的信号 延时不超过1 5 0 m s ，码率p x 6 4 k b p s ( p = l 3 0 ) 。 h 2 6 1 标准主要采用运动补偿的帧间预测、d c t 变换、自适应量化、熵编 码等压缩技术。只有i 帧和p 帧，没有b 帧，运动估计精度只精确到像素 级。支持两种图像扫描格式：q c i f 和c i f 。 2 ) m p e g - 1 2 ( h 2 6 2 ) 1 3 1 m p e g l 标准用于数字存储体上活动图像及其伴音的编码，其数码率为 1 5 m b s 。m p e g - 1 的视频原理和h 2 6 1 的相似。 】t p e g 一1 视频压缩技术的特点：1 随机存取：2 快速正向逆向搜索；3 逆向重播；4 视听同步；5 容错性；6 编解码延迟。m p e g - 1 视频压缩策 略：为了提高压缩比，帧内帧间图像数据压缩技术必须同时使用。帧内压缩 算法与j p e g 压缩算法大致相同，采用基于d c t 的变换编码技术，用以减少空 域冗余信息。帧间压缩算法，采用预测法和插补法。预测误差可在通过d c t 变 换编码处理，进一步压缩。帧间编码技术可减少时间轴方向的冗余信息。 m p e g 一2 被称为“2 1 世纪的电视标准”，它在m p e g - l 的基础上作了许多重 要的扩展和改进，和m p e g 一1 向下兼容，主要针对存储媒体、数字电视、高清 晰等应用领域，分辨率为：低( 3 5 2 x 2 8 8 ) ，中( 7 2 0 x 4 8 0 ) ，次高( 1 4 4 0 x 1 0 8 0 ) ， 高( 1 9 2 0 x 1 0 8 0 ) 。m p e g - 2 视频相对m p e g - 1 提升了分辨率，满足了用户高清晰的 要求，但由于压缩性能没有多少提高，使得存储容量还是太大，也不适和网络 传输。 3 ) h 2 6 3 1 2 1 1 4 】 1 9 9 5 年1 1 月低数码率( l o wb i tr a t e ) 视频编码h 2 6 3 建议草案出台。 h 2 6 3 标准以h 2 6 l 为基础，以混合编码为核心，其基本原理和h 2 6 1 十 分相似，原始数据和码流组织也相似；另一方面，h 2 6 3 也吸收了m p e g 等其它 一些国际标准中有效、合理的部分，如：半像素精度的运动估计、p b 帧预测 等，使它性能优于h 2 6 1 。h 2 6 3 使用的位率可小于6 4 k b s ，且传输比特率可 不固定( 变码率) 。h 2 6 3 支持多种分辨率： s q c i f ( 1 2 8 x 9 6 ) 、q c i f 、c i f 、 3 华北电力大学硕士学位论文 4 c i f 、1 6 c i f 。 4 ) m p e g 一4 3 1 1 9 9 8 年1 1 月m p e g 提出了低数码率视频音频编码和多媒体通讯的m p e g - 4 建议草案。m p e g 一4 能够支持q c i f 格式的视频数据以满足低码率传输的要求。 m p e g 一4 标准并非是m p e g 一2 的替代品，它着眼于不同的应用领域，为多媒体数 据压缩编码提供了更为广阔的平台，它定义的是一种格式、一种框架，而不是 具体算法，它希望建立一种更自由的通信与开发环境。于是m p e g - 4 新的目标 就是定义为：支持多种多媒体的应用，特别是多媒体信息基于内容的检索和访 问，可根据不同的应用需求，现场配置解码器。编码系统也是开放的，可随时 加入新的有效的算法模块。应用范围包括实时视听通信、多媒体通信、远地监 测监视、v o o 、家庭购物娱乐等。 1 4h 2 6 4 标准介绍 h 2 6 4 是i t u t 的v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 活动图像 编码专家组) 的联合视频组( j v t ：j o i n tv i d e ot e a m ) 开发的一个新的数字 视频编码标准，它既是i t u t 的h 2 6 4 ，又是i s o i e c 的i p e g 一4 的第1 0 部 分。1 9 9 8 年1 月份开始草案征集，1 9 9 9 年9 月，完成第个草案，2 0 0 1 年5 月制定了其测试模式t m l 一8 ，2 0 0 2 年6 月的j v t 第5 次会议通过了h 2 6 4 的 f c d 板。2 0 0 3 年3 月正式发布。 h 2 6 4 和以前的标准一样，也是d p c m 加变换编码的混合编码模式1 3 1 。采用 简洁的系统设计。不用众多的选项，获得比h 2 6 3 + + 好得多的压缩性能；加强 了对各种信道的适应能力，采用”网络友好”的结构和语法，有利于对误码和丢 包的处理：应用目标范围较宽，以满足不同速率、不同解析度以及不同传输 ( 存储) 场合的需求；它的基本系统是开放的，使用无需版权。 在技术上，h 2 6 4 标准中有多个闪光之处，如统一的v l c 符号编码，高精 度、多模式的位移估计，基于4 4 块的整数变换、分层的编码语法等。这些 措施使得h 2 6 4 算法具有很的高编码效率，在相同的重建图像质量下，能够比 h 2 6 3 节约5 0 左右的码率。h 2 6 4 的码流结构网络适应性强，增加了差错恢 复能力，能够很好地适应i p 和无线网络的应用。 h 2 6 4 标准使运动图像压缩技术上升到了一个更高的阶段，在较低带宽上 提供高质量的图像传输是h 2 6 4 的应用亮点，这也为其在目前尽力而为( b e s t e f f o r t ) 的英特网的应用提供了广阔的前景。h 2 6 4 的推广应用对视频终端、 网关、m c u 等系统的要求较高，将有力地推动视频会议软、硬件设各在各个方 4 华北电力大学硕士学位论文 面的不断完善。因此，密切关注h 2 6 4 的发展，深入研究其对于网络传输的新贡 献是非常必要的。 1 5 本文内容安排 本文在第二章详细介绍了h 2 6 4 编解码器的结构，各关键模块的及主要算法。 第三章详细阐述了关键模块的编码实现流程及设计的关键函数，通过多媒体扩展结 构技术，对实现的模块进行了优化，进一步提高其编解码速率，并对实验结果进行 了分析和讨论，为整个系统的优化奠定了实践基础。第四章对多媒体数据实时传输 的关键技术进行了详细的分析和研究，在此基础上，建立传输控制，采用多线程技 术，设计并实现了一个基本网络传输系统，并对实验结果进行了分析，对进一步研 究h 2 6 4 媒体流实时传输奠定了基础。第五章为总结及对h 2 6 4 的展望。 5 华北电力大学硕士学位论文 第二章h 2 6 4 视频压缩标准 h 2 6 4 集中了以往标准的优点，并吸收了以往标准制定中积累的经验，采 用简洁设计，使它比m p e g 4 更容易推广。其算法在概念上采用分层设计，负责高 效视频内容表示的视频编码层v c l 和负责对数据进行打包和传送的网络提取层 n a l ，通过该设计将编码和网络传输任务分别由两个层来负责。h 2 6 4 编解码器 还创造性使用了多参考帧、多块类型、整数变换、帧内预测等新的压缩技术 1 5 1 ”，使用了更精细的分象素运动矢量( 1 4 ) 和新一代的环路滤波器。使得压 缩性能大大提高，系统更加完善。 2 1h 2 6 4 编解码器 2 1 1h 2 6 4 编码器 h 2 6 4 协议并没有规定一个编解码器如何实现，而是规定了一个编了码的 视频比特流的句法，和该比特流的解码方法。实际应用中，符合语法的编码器 和解码器需要包括一些必需的模块，但除此之外，标准对具体编解码器的实现 留有很大的余地。 通常编码器的主要模块有运动估计、运动补偿、变换、量化、反量化、反 变换、熵编码等，如图2 1 所示。 当视频信息进入编码器时，编码器会根据帧内帧间的识辨信息选择帧内或 者帧间编码如果采用帧内编码，则直接将源信息进行d c t 变换、量化，生成视 频压缩流q 。当采用帧间编码时，当前信息与运动估计以及运动补偿后的信息相 减，将残差迸行d c t 变换、量化，形成q 。得到的q 一路进入熵编码器，一路通过 反量化，反交换恢复图像，进入帧存储器。 h 2 6 4 协议中，基本的模块( 如预测、变换、量化、熵编码等) 与之前的协 议没什么本质的区别，主要的不同在于每个模块的细节上，这也是h 2 6 4 之所 以可以提高编码质量、降低码率的关键所在。 编码器包括了两个数据流分支，一是前向分支，二是后向的重建分支。如 图2 - 2 所示。 6 华北电力大学硕士学位论文 图像输 入 图2 - i 编码器框图 图2 - 2h 2 6 4 编码器 在编码的前向通路中，e 表示输入的视频帧，每一帧是以宏块( 1 6 x1 6 个 像素点) 为单元进行处理的。每个宏块以帧内或者帧间的模式进行编码，然后 生成一个预测宏块p 。当宏块以帧内模式进行编码时，当前被编码的第n 帧的 宏块经过前期的编码、解码和重建( 即图2 2 中的峨) ，生成预测宏块p 。当宏 块以帧间模式进行编码时，宏块经对前一个或多个参考帧进行运动补偿得到预 7 华北电力大学硕士学位论文 测宏块p 。图2 2 中，参考帧用。表示。 预测宏块p 和当前的宏块相减，得到了宏块的残差，这一结果经过以块 ( 8 8 个像素点) 为单位的变换、量化，得到一组相关系数x ，x 经过重新排序 和熵编码，就完成了一个宏块的编码过程。经过熵编码的码流加上宏块解码所 需的一些信息( 如宏块预测模式、量化步长、描述宏块运动补偿的运动矢量信 息等) ，组成了压缩后的码流，然后再通过网络适配层n a l 进行传输或存储。 在后向的重建通路中，按照一定的顺序对量化后的宏块系数x 进行解码， 得到对后续宏块进行编码所需的重建帧。宏块的系数x 经过反量化掣和反变 换r ，得到了一个差分宏块u n ，这与原来的差分宏块u n 并不完全相同，因为 量化和反量化的过程产生了信息的损耗，所以是一个包含了失真信息的 的复制。 预测宏块p 和残差宏块“相加，得到了重建的宏块w 一，也就是原始宏 块的一个包含失真的副本，然后经过滤波，减少块失真效应，最后得到重建的 参考帧fn 。 2 1 2h 2 6 4 解码器 解码器结构如图2 - 3 所示。由编码器的n a l 中输出一个压缩后的码流，数 据经过熵解码和排序，得到一组变换系数x 。然后经过反量化和反变换得到残 差或，利用码流的头信息，解码器重建一个预测块p ，与编码器中的原始的p 是相同的，p 与晚相加便得到未经过平化处理的图像叫，再经过滤波，得到重建 的e ，即最后的解码输出图像解码过程即是编码的逆向过程。 图2 3h 2 6 4 解码器 8 华北电力大学硕士学位论文 2 2h 2 6 4 关键模块 根据以上分析，编码器的主要模块有运动估值和运动补偿、变换、量化、 反量化、反变换、熵编码等。 对应于编码器的解码器主要的模块依次是：熵编码、反量化、反变换、运动补 偿。除了熵编码模块和运动补偿模块，反量化和反变换都在编码器的后向通路中用 到，运动补偿和变长编码则是编码器中运动补偿和变长编码的逆运算，所以解码器 实际上是编码器工作的一部分。以下将详细介绍各模块。 2 2 1 运动估计 帧间预测编码中，由于活动图像邻近帧中的物体具有相关性，因此，可将图 像分割，并用相关算法搜索出每块在邻近帧中的位置，计算得出两者之间空间位 置的相对偏移量。这个偏移量就是运动矢量，得到运动矢量的过程就是运动估 计。将运动矢量和预测误差共同发送到解码端，解码器按照运动矢量搜索出相 应的块，与预测误差共同得出块在当前帧中的位置。 相比以前的标准，为了更精确地对图像的运动内容进行预测补偿，提高编 码速率，h 2 6 4 允许宏块更进一步划分成尺寸更小的块：1 6 1 6 、1 6 8 、 8 1 6 、8 8 、8 4 、4 x 8 、4 4 的子块，以区分更加精细的运动 8 1 。 运动图像中，运动物体动作的连续性，使得邻近帧中的块的运动矢量不是以 整象素为基本单位的，因此，为提高编码效率，在h 2 6 4 标准中，采用 1 2 ，1 4 ，l 8 等亚象索作为运动矢量的单位。经证明，以上三种高精度的亚象素 运动搜索得到的编码效率，1 4 象素精度效率明显优于1 2 ，算法上利用线性二 阶滤波对已有的1 2 象素插值结果进行计算，复杂度上约为1 2 象素精度的4 倍。1 8 象素精度相对于1 4 象素精度编码效率没有明显的提高，但是实现的复 杂度远大于1 4 象素精度，所以目前h 2 6 4 多采用1 4 象素的运动补偿。 h 2 6 4 支持多参考帧的预测以提高预测精度，这是与以往视频压缩标准的 最大不同。标准规定运动估计使用的参考帧数最多可达1 5 帧。该技术是在编 码器端建一个多帧存储器，当前编码模块可在存储器中搜索最优的匹配块进行 运动补偿，来去除时间域的冗余。多参考帧的使用大大提高了对图像传输的容 错性，抑制了错误在空间和时间上的蔓延。 2 2 2 帧内预测 在先前的h 2 6 x 系列和m p e g x系列标准中，都是采用的帧间预测的方 9 华北电力大学硕士学位论文 式。在h 2 6 4 中，当编码i n t r a 图像时可用帧内预测。帧内预测主要是用于减 少空间冗余。在帧内预测编码中【7 】，预测块或宏块是基于之前编码和重建块的 形成的。以亮度块为例，一个亮度块可采用4 4 的块预测，用于带有大量细 节 的图像，也可以是1 6 x 1 6 的宏块，该方式适合于图像中包含有大量低频信号。 对于一个4 4 的亮度块，有9 种预测模式。首先可以用相邻宏块预测目标宏 块，特别是目标宏块的上面和左边的宏块，因为这些宏块的编码已经完成。然 后对目标宏块与得到的预测之差编码，这样就可以用尽量少的比特表示目标宏 块。帧内预测用在背景比较单一的图象当中，可以大大减少空间上的冗余。对 于1 6 1 6 的亮度块有4 种帧内预测模式，如图2 4 所示。对于8 * 8 色度信号， 两种色度信号采用同一种预测模式，由左方和上方已编码色度象素预测得到。 预测方式类似于1 6 x1 6 亮度信号预测方式。 h 模式0模式l模式2 模式3 图2 41 6 1 6 尧度块帧内预测方式 模式0 ( 垂直) ：由上面象素推出相应象素值： 模式1 ( 水平) ：由左边象素推出相应象素值： 模式2 ( d c ) ：由上面和左面象素推出相应象素值： 模式3 ( 平面) ：通过线性函数，利用上面和左面象素，推出相应象素值 2 2 3 整型变换及量化 对于变换、量化部分，以往的视频压缩标准，通过d c t 变换，把经运动补 偿或帧内预测得到的残差从空域转换到频域，减少空间冗余。不同于以前标准 对预测参差值的变换编码使用d c t 变换，h 2 6 4 对图像采用了4 * 4 整数离散余 1 0 华北电力大学硕士学位论文 弦变换技术，避免了在以往标准中逆变换经常出现的失配问题。对变换参差系 数的量化使用了5 2 级步长的量化器，而i - i 2 6 3 标准只有3 1 级。量化步长范围 的扩大使得编码器能够更灵活、精确地进行控制，在比特率和图像质量之间达 到折中。此外，h 2 6 4 将变换和量化两个过程合二为一i s l 9 i ，采用整数运算，减少 了运算量，提高了压缩的实时性 与之前的m p e g d i 系列标准所采用的d c t 变换相比，压缩对比效果如下，如 图2 5 所示。 h 2 6 4 al。厂i i ：k 7 lt r a n s f o r m ) 7 m p e g l ，i t r 7 晰n s f o r mh 0 k r t r a n s f o r m 4 4 b l o c k t r a n s f o r m 8 8 b l o c k 图2 - 5i - i 2 6 4 和m p e g 的变换的比较 整型变换将原来的d c t 变换分为整数变换部分和归一化部分，在整型变换 时，做整数部分的变换，只需要加和移位的运算，速度得到提高，而归一化的 部分被整合到量化中去，将变换和量化中要进行的两次乘法运算，简化为一 次，从而达到了提高运算速度，降低运算复杂度的目的。 量化在编解码中是很重要的一部分，量化的步长和编码的码率相关，要根 据码流的大小来调整量化的步长，才能保持码率恒定。在这个问题上，要参考 码率控制的算法，是一个很值得研究的课题。 同时，h 2 6 4 标准下的量化还要结合整型变换中没有完成的浮点乘法运 算，所以这一模块也是运算量比较大，耗时较多的一部分。 华北电力大学硕士学位论文 2 2 4 熵编码 利用信源的统计特性迸行码率压缩方式称为熵编码。熵编码是无损压缩编 码的方法，它生成的码流可以经解码无失真的恢复出原数据。h 2 6 4 协议中在编 码模块定义了两种熵编码方式。一种是基于内容的算术编码 1 q ( c a b a c ， c o n t e x t b a s e da d a p t i v eb i n a r ya r l t h m e t i cc o d i n g ) ，另一种是基于内容的 变长编码( c a v l c ，c o n t e x t b a s e da d a p t i y ev a r i a b l el e n g t hc o d i n g ) ，算术 编码是近十多年来循序发展的一种无失真信源编码，它与最佳的h u f f m a n 编码 相比，理论性能稍加逊色，而实际压缩率和编码效率却往往还优于h u f f m a n 编 码，故很受工程上的重视。 在h 2 6 4 的基本应用中，通常采用c a v l c 编码，该编码方式利用了已编码符 号所提供的相关性。 亮度和色度的残差信号，经过预测、变换、量化后，残差( 经变换、量化后4 4 块的系数) 后，数据表现为特性： 1 ) 经预测、变换和量化，非零系数主要集中于低频部分，高频系数大多归 为0 。 2 ) 量化后的数据经过z i g z a g 扫描，如果一个块内有非零系数，最先出 现在一连串零后面的第一个非零系数通常是士1 。 3 ) 相邻块的非零系数往往是相关的，非零系数和拖尾系数的编码是用查 表法实现的，有4 个变长表格和1 个定长表格供选择，具体使用哪个表格，根 据当前块左边和上边的已编码块确定，体现了基于上下文的思想。 2 3h 2 6 4 关键算法 2 3 1 整数d c t 变化和量化 由于输入的图像块中的元素是整数，传统离散余弦变化算法( d c t ) 进行 的是实数运算，解码时会不可避免的出现较大的偏差，即图像漂移现象【6 1 ， h 2 6 4 中要不断利用解码后的数据对下一数据预测，因此该标准对漂移非常敏 感。基于此原因，h 2 6 4 对图像采用了4 4 整数离散余弦变换技术，即整数 d c t 。 4 4 整数d c t 可表示为： y = 1 2 华北电力大学硕士学位论文 ( c x c 7 ) oe = - , 1 i l l 憾d - 叠1 口2 口b 口2 口b a bb 2a bb 2 口2a bd 2a b a bb 2 a bb 2 其中口= 三，a = 挺酬c = 扣c 争，d = 詈。 为了简化茎换，以及确保变换的正交性，日、6 、d 的值被近似为 口= 三、6 = 詈、d = 三，同时为保证1 1 式成立，矩阵c 的第二行，第四行均 乘以了2 。 ( 1 1 ) 式蛮搀为 y = c f x c j 圆e f 寸 口2 d 6 _ _ 2 a 2 a b _ 一 2 a b 一 2 b 2 。 4 a b 。一 2 6 2 - 4 a 2 口6 _ 一 2 口2 口6 _ 2 口6 _ _ 2 b 2 一 4 口6 2 6 2 。一 4 ( 1 2 ) 整数变换后，实际输出的是w = c ，弼，后面的乘法运算将归至量化中进行，以减 轻负担。 量化的主要工作： 1 ) 承接整数变换遗留的乘法运算； 2 ) 计算出图像或者输入残差的量化值： 第二步这里充分利用了量化表，在表中，较低空间频率的精度要高于较高 频率的精度，这是由于人眼的低频分量比较敏感，而对高频分量不太敏感。只 要量化参数q p 确定就可直接从表中得到所对应的参数o s t e p 量化步长。 量化算法如下： 基本的正量化操作为： z i = r o u n d ( y f s q s t e p ) ( 1 3 ) 巧为第一步输出结果，进一步上式转换为乞2 ，d 姗d 【差刍j ( 1 4 ) 为矩阵w 的转换系数，p f 为e 中元素，用在图像块中的位置表示。 1 3 华北电力大学硕士学位论文 2 3 2 运动估计 运动会降低画面之间的相似性，因而增加创建差异画面所需要的数据。运 动补偿则是用来增加画面的相似性。帧间预测的原理如图2 6 所示。其中比较 数据得到运动矢量的过程就是运动估计，解码器使用该矢量将上一幅画面的一 部分移至新画面中更恰当的位置上。 运动矢量 图2 - 6 帧间编码 运动估值是视频编码过程中的一种视频运算技术。在以下情况下，运动估 值的压缩效率较好：一个视频对象的大部分特征，如形状和方位，在各帧之间 保持不变。只有帧内视频对象的位置改变。 运动估值过程计算每1 6 x 1 6 像素区域( 称为宏块) 的运动矢量。运动矢量 就是块从一帧到另一帧的相对位移 9 1 1 “l 。假设在当前帧( t 时刻) 中某一块左上 角的位置是( x ，y ) 。如果该块在参考帧中的最佳匹配块位于( x + u ，y + v ) ，那么位 于( x ，y ) 处的块的运动矢量就是( x + u ，y + v ) 。在相对坐标系中，运动矢量表示为 ( u ，v ) 。如果参考帧是t 时刻之前的( t n ) 时刻，则运动矢量称为前向运动矢 量。如果参考帧是t 时刻之后的( t + n ) 时刻，则运动矢量称为后向运动矢量。 在编码过程中，对不同帧定义了不同的图像模型。在同一个视频帧中，每 个宏块可以采用不同的编码模型。每个宏块具有的运动矢量数目取决于宏块的 编码类型：帧内图像( i 帧) ，编码时不需要其他参考帧。i 帧主要由变换系数 组成，不含矢量；预测图像( p 帧) ，p 帧数据由在前面画面中描述的每个宏块 的矢量所组成，而不是由描述必须加到块上的校正或差异数据的变换系数所组 成。p 帧需要的数据大约是i 帧的一半：双向预测图像( b 帧) ，同时用前面和 后面的i 帧或p 帧进行运动补偿预测编码。b 帧需要的数据大约是i 帧的四分 之一。 1 4 nd一 华北电力大学硕士学位论文 各种块匹配算法在以下三方面有区别： 1 ) 块大小选择。在m p e g 标准中，通常选择宏块尺寸1 6 1 6 位块匹配尺 寸。 2 ) 最佳匹配标准。 3 ) 搜索策略。 最佳匹配最常用的实现简单的方法是绝对差之和( s a d ) 方法，也就是说， 最佳匹配宏块是使绝对差之和s a d ( i ，j ) 取最小值的宏块。s a d ( i ，j ) 定义如下： m - 1 一l s a d ( i ，) = i c ( z + i ，y + 1 ) - r ( x + i + k ，y + ，+ 驯 ( 1 5 ) t c 0 = o c ( x + k ，y + 1 ) 表示当前帧中位于( x ，y ) 处宏块的像素。该块被称为估计块。 r ( x + i + k ，y + j + 1 ) 表示参考帧中位于( x ，y ) 处宏块的像素。该块被称为参考块。 ( i ，j ) 定义为在搜索区域内：一p i sp ，一p s ，p 。n ，m 表示块的尺寸。 位于( x ，y ) 处的估计块的运动矢量是使函数s a d ( i ，j ) 取最小值的( i ，j ) 。 当最佳匹配块与估计块几乎相同时，差值s a d ( i ，j ) 非常小。实际上，只有 对s a d ( i ，j ) 值小于某一预定闽值的块，才能使用运动估值算法。 1 5 华北电力大学硕士学位论文 第三章h 2 6 4 关键模块的实现和优化 3 1 整数d c t 及量化模块 在第二章的关键算法中，详细介绍了整数i ) c t 及量化的算法，h 2 6 4 采用该 算法，在反变换中使用精确的整数，这就避免了浮点d c t 中逆变换不匹配的问 题。此外，在图像编码标准中，变换和量化从原理上讲是两个相互独立的过程， 在h 2 6 4 标准中0 2 ，为降低变换模块的压力，将与改造矩阵的乘法运算归结到了 量化算法中，两者合二为一。 h 2 6 4 的整数d c t 模块程序实现时要使用3 种变换，一是4 4 的整数d c t 变换，另外两种是根据变换块不同的标志显示( 亮度或者色度块) ，实行亮度 d c 系数哈德曼4 4 ，或者色度块d c 系数的2 2 哈德曼变换。亮度d c 系数矩 阵最先被传送，其他亮度残差块其次，然后色度信号的d c 系数矩阵再传送， 最后是色度残差块。 变换和量化的功能流程如图3 1 所示，程序流程如图3 - 2 所示。 图3 - 1ta n dq 编码功能流程图 1 6 华北电力大学硕士学位论文 b l o c k d c t ( i n tb n ，i n tb f l a g ) y e s 上 n 。 ( 、! = ! ! ! ：! ：夕 j dc t 一1 u l n l 一16 x l6 ( i n d c t c h r 一8x 8 ( i 1 1 t ti i l t r am o d e ) uv ，in tc h r m o de ) jj l u m a q u a n t d c ( i 1 1 t1 i l m a q u a n t a c c h r q u a n t d c h r q u a r t t s c a n n l o d e ，s h o r t ( s h o r t + p ) c ( in t c ( sh o f t + p 1 ) s c a n i i l o d e ， 4 p ) h a d m a d4 + 4s h o r t p 1 ) h a d m a d2 + 2 、，j、r r e s i d u a l b l o c k c a v l c ( i n t + c o c f f l c v c l ，i n tm a x n o m c v o e f t 3 图3 - 2ta n dq 程序流程图 关键函数介绍： i n td o t l u m a 一1 6 x 1 6 ( i n ti n t r a _ m o d e ) 1 6 1 6 帧内预测亮度块的d c t 变换函数，输入参数为图像i m g 的参 数，即亮度块的预测方式：f l e w i n t r a m o d e ( 前面已经提及预测方式 有4 种) 。通过该函数，可以得到当前编码块的参数值。 将编码块的参数存储在一个m o 中，并使用d c t 公式( 第二 章讲述过) 完成变换。将结果存放