（检测技术与自动化装置专业论文）h264avc视频编码器中模式选择研究.pdf

北京交通大学硕士学位论文 中文摘要 中文摘要 摘要：h 2 6 4 a v c 较以往的视频压缩标准如m p e g 4 和h 2 6 3 ，其压缩性能有了 很大的提高，己经作为一种新型的标准被广泛接受。本文在充分研究了h 2 6 4 a v c 标准参考代码和1 r i 开发的专门用于视频处理的d s p 芯片硬件结构特点的基础上， 对代码复杂度较大的模式选择算法进行了深入的研究。h 2 6 4 a v c 中每个宏块有 7 种不同尺寸的分割方法，支持帧内1 3 种不同的预测模式。尽管更小的分割可以 提供更准确的预测，但代码复杂度也成倍增加。针对模式选择过程中计算量过大 的问题，本文对目前应用较广的几种模式选择算法进行研究，对结果做详尽分析 以选择最优的模式选择算法，为后续的代码优化工作打下基础。最后，将v i s u a l c + + 6 0 环境下具有基本编码功能的软件编码器程序移植到t m s 3 2 0 d m 6 4 2 芯片 上，针对d s p 硬件结构，对部分代码傲迸一步优化，并在c c s 集成开发环境下 进行仿真。结果证明优化后的代码性能有了很大的提高。 关键词：h ，2 6 4 a v c ；模式选择；移植；优化 分类号：t n 9 1 9 8 1 i n 北京交通大学硕士学位论文 a b s t r a c t a b s t r a c t a b s t r a c t ：h 2 6 4 a v ci sar e c e n t l yc o m p l e t e dv i d e oc o m p r e s s i o ns t a n d a r dj o i n t l y d e v e l o p e db yt h ei t u tv c e ga n dt h ei s o f l e cm p e gs t a n d a r d sc o m m i t t e e s t h e s t a n d a r di sa c c e p t e dw i d e l ys i n c ei tp r o m i s e sm u c hh i g h e rc o m p r e s s i o nt h a ns o m e e a r l i e rs t a n d a r d ss u c ha sm p e g 4a n dh 2 6 3 i ta l l o w sc o d i n go fn o n - i n t e r l a c e da n d i n t e r l a c e dv i d e ov e r ye f f i c i e n t l y ，a n de v e na th i g hb i tr a t e sp r o v i d e sm o t ea c c e p t a b l e v i s u a lq u a l i t yt h a ne a r l i e rs t a n d a r d s f u r t h e r , t h es t a n d a r ds u p p o r t sf l e x i b i l i t i e si n c o d i n ga sw e l la so r g a n i z a t i o no fc o d e dd a t at h a tc a l li n c r e a s er e s i l i e n c et oe r r o r so r l o s s e s a sm i g h tb ee x p e c t e d ，t h ei n c r e a s ei nc o d i n ge f f i c i e n c ya n dc o d i n gf l e x i b i l i t y c o m e sa tt h ee x p e n s eo fa ni n c r e a s ei nc o m p l e x i t ) rw i t hr e s p e c tt oe a r l i e rs t a n d a r d s i nt h i sp a p e r , w ef i r s t l yi n t r o d u c et h ev i d e oc o d i n gt o o l st h a tt h es t a n d a r ds u p p o r t s a n dt h ep e r f o r m a n c eo f t h ed s pu s e di nt h ev i d e op r o c e s s i n gs y s t e m ，t h e nw er e s e a r c h o nt h ei s s b eo fm o d ed e c i s i o nw h i c hi sq u i t ec o m p l e x ，i nh 2 64 i 斟c e a c h m a c r o b l o c k s 1 6 1 6 l u m i n a n c e i s p a r t i t i o n e d i n t 0 1 6 1 6 ，1 6 8 , 8 1 6 a n d8 8 ，a n d f u r t h e r , e a c h8 8l u m i n a n c ec a l lb es u b - p a r t i t i o n e di n t o8 8 , 8 4 4 8a n d4 4 r a l s op r o v i d e s1 3m o d e si ni n t r ap r e d i c t i o n t h o u g hl e s sm a c r o b l o c kp a r t i t i o nc a l l p r o v i d em o r ee x a c tp r e d i c t i o n , c o d ec o m p l e x i t yh a sb e e nm u l t i p l i e d a i m e da tt h i s p r o b l e m s e v e r a lm o d ed e c i s i o na l g o r i t h m sw h i c ha r eu s e dw i d e l ya r er e s e a r c h e di n t h i sp a p e r t l i sp a p e rd o e si td e t a i l e da n a l y s i so ft h er e s u l t st os e l e c tt h eb e s tm o d e d e c i s i o na l g o r i t h m f i n a l l y , t h es o f t w a r ee n c o d e ru n d e rv i s u a lc + + 6 oi st r a n s p l a n t e d i n t ot h et m s 3 2 0 d m 6 4 2d s pc h i p f u r t h e r , w eo p t i m i z ep a r t i a lcc o d ea c c o r d i n gt o t h ed s p sh a r d w a r es t r u c t u r ea n ds i m u l a t ei ti nc c s t h er e s u l t ss h o wt h a tm e p e r f o r m a n c eo f t h eo p t i m i z e dc o d eh a sb e e ni m p r o v e dg r e a t l y k e y w o r d s ：h ，2 6 4 a v c ；m o d ed e c i s i o n ；t r a n s p l a n t ；o p t i m i z e c l a s s n o ；1 n 9 1 9 8 1 致谢 本论文的工作是在我的导师张励忠副教授的悉心指导下完成的，张励忠副教 授严谨的治学态度和科学的工作方法给了我极大的帮助和影响。在此衷心感谢两 年多以来张励忠老师对我的关心和指导。 荆涛教授悉心指导我完成了实验室的科研工作，在学习上和生活上都给予了 我很大的关心和帮助，在此向荆涛老师表示衷心的谢意。 邢书明教授对于我的科研工作和论文都提出了许多的宝贵意见，在此表示衷 心的感谢。 在实验室工作及撰写论文期间，尹航及实验室师兄弟等同学对我论文的研究 工作给予了热情帮助，在此向他们表达我的感激之情。 另外，我也感谢我的家人和朋友，他们的理解和支持使我能够在学校专心完 成我的学业。 i i 北京交通大学硕士学位论文绪论 1 1 引言 1 绪论 近年来数字视频通信产品正迅速的进入办公室和普通家庭中，其覆盖领域已 触及到通信、多媒体、广播电视和计算机等各个角落，其应用范围渗透到从低端 到高端不同的视频通讯中。现代信息社会对通信业务的要求的不断增长，导致图 像通信与通信网容量的矛盾日益突出。特别是具有庞大数据量的数字图像通信， 更难以传输与存贮，极大的制约了图像通信的发展，已成为图像通信发展中的“瓶 颈”问题。因此，随着网络的发展，无论是i n t e m e t 网还是无线网络都迫切需要一 种新型的压缩算法，它不仅有高的压缩比，而且可以根据不同的网络条件提供不 同质量的视频服务，可以应用在低带宽的信道，也可以应用在高带宽的信道，同 时还应该有一定的网络自适应功能。另外，随着3 g 技术的成熟和无线通讯技术 的发展，交互的个人视频通讯和高质量的视频广播给当前的视频压缩技术也带来 了新的挑战。 在视频压缩算法的研究方面，国际标准化组织0 s o ) 的运动图像专家组( m p e g ) 和国际电信联盟r r u t 的视频编码专家组( v c e g ) 的贡献颇多：他们分别提出 m p e g - 1 、m p e g - 2 、m p e g - 4 和h 2 6 1 、h 2 6 3 、h 2 6 3 + + 的视频编码标准。但是这 些算法都有很大的局限性，如m p e g - 1 是针对视频存储的v c d ；m p e g - 2 主要用 于广播；m p e g - 4 是基于视听对象的编码，其应用面较广，但还有需要完善和改 进的地方，如其“基于对象的编码”部分，由于尚有技术障碍，目前还难以普遍 应用；h 2 6 x 系列主要针对实时的视频会议，但是它有自己的一些特殊的限制条 件，如需要对等的编解码环境、低时延、低等待时问等。v c e g 在完成h 2 6 3 之 后，致力于个短期的目标h 2 6 3 h 和一个长期的目标h 2 6 l ，这是h 2 6 4 的前身。 后来m p e g 组织和v c e g 组织联合组成了联合视频专家组( j v tj o i n tv i d e o c o d i n g e x p e r t s c r o u p ) ，共同研究新的编码方案，分别命名为m p e g - 4 p a r t1 0 a d v a n c e dv i d e oc e d i n g ( a v c ) 并f l h 2 6 4 t ”。标准于2 0 0 3 年3 月正式被肿t 通过并 在国际上颁布。其应用范围极其广泛。图1 1 为它的一些应用。 北京交通大学硕士学位论文绪论 篮芏生茂盛 日本a r i b 准备羟傻携设备豹地厩数字电 视广播编码方式巾采用 夔周a t s c 准锯在便携武的数字电规广播 编码方式中采用 欧潲d v b 准备在数字电祝广箍编码方式 中采用 锺赶匿笙 i e 邗西内h 2 “豹r 拼e 格式簖睫化) 始 开入蕊联嘲和乎杌的内嚣配送缡羁方式 杰蓝筮燃 d v i ) 论坛控格制定巾曲f n x d ) 9 的编码 方式中莱 i i i | d 饼d v d 录像机技对问象像豹编码方式 半导体厂于f 发芯片 h 2 6 4 砌：光线电王韭鄱事务协会 a f s c ：r 岛等电橇系统会议 d v b ：数宁视毒射“播 t f ：互联同t 攫任务队 r t p ：实时传输狲议 图1 1h 2 6 4 广泛的应用领域 f i g 1 1 h 2 6 4 sf a r - m n g i n ga p p l i c a t i o n 1 2 国内外研究现状 h 2 6 4 良好的网络适应性和内在的抗丢包能力、抗误码机制，使它不仅适于 口传输方式，也适合丢包严重，时延和抖动复杂的无线信道。与现有的视频编码 标准相比，如h 2 6 3 和m p e g 4 ，h 2 6 4 可以取得大约2 0 5 0 编码效率的提 高【2 】。虽然h 2 “仍旧采用了基于运动估计、运动补偿和变换编码的混合编码方 法，但是新增加的多种特性和功能使其获得了巨大的系统增益。本文将对h 2 6 4 新增的关键技术之一的多宏块分割模式进行深入的研究。 以往视频编码标准中运动预测模式的运动估计的失败区域主要集中于图像中 运动物体的边缘区域和运动频繁区域，如可视电话视频序列中人的头肩部与背景 交界区以及人的唇、眼部等部位。产生这种现象的主要原因是由于1 6 1 6 的宏块 相对于图像的某些细节尺寸较大，与取样宏块内各像素的运动性质并不一致，不 能满足块匹配算法的假想条件。因此，在h 2 6 4 中对匹配块的改进主要是改变匹 配块的尺寸，一个宏块可以分成7 种不同模式的尺寸：每个1 6 x1 6 的亮度块可分 为1 6 1 6 、1 6 x 8 、8 x 1 6 和8 8 块；而每个8 8 块又可再分为8 x 8 、8 4 、4 x 8 和4 x 4 子块。实验表明：使用的模式数目越多率失真效率越高。使用4 种模 式时可以得到6 0 8 5 的峰值信噪比( p s n r ) 提高和7 5 8 5 的码率减少， 但随着模式数目的增多，其压缩效率也逐渐饱和；不同块尺寸模式数目的增加会 线性的影响访问频率，即每增加一个模式，约增加2 5 的复杂度。h 2 6 4 采用 2 北京交通大学硕士学位论文绪论 率失真优化进行模式判决可以提高信噪比达o 3 5 d b ，同时可节约9 的码率。然 而，其数据传递却显著增长，可达1 2 0 p 】，即多模式分割方式提高图像的质量 的同时却拥有极大的复杂度，因此成为目前国内外学者研究的热点。早期r a y n a r d o h i n d s 等人1 4 t 提出了丢包信道环境下在r d 框架之内的编码模式选择算法，但 其提出的仅是一种简单的失真度租略估计算法。s t e p h a nw e n g e r 等人【5 1 则提出了 改进的算法，该算法考虑到了误码掩盖的影响，但其将宏块的整体失真度粗略地 认为是宏块量化失真与先前帧相应宏块误码掩盖失真的简单累力1 1 6 1 。基于率失真 理论的编码模式选择算法的核心是对解码器端重构帧失真度的准确估计，但是早 期的算法普遍存在编码器端不能精确估计解码器端重构帧整体失真度的闯题。 z h a n gr u i 等人【7 】虽然提出了一种在给定速率，丢包率及误码掩盖方式下解码器 端重构帧整体失真度的最优估计算法，但该算法计算量较大，不适合用在复杂度 较低的视频编码系统中等等。 1 3h 2 6 4 的应用前景 h 2 6 4 以其优异的压缩性能将在数字电视广播、视频实时通信、网络视频、 流媒体传递以及多媒体短信等各个方面发挥重要作用嗍。 1 3 1 数字电视 数字电视的优越性已是公认的，但它的广泛应用还有赖于高效的压缩技术。 利用m p e g _ 2 压缩的一路高清晰度电视( 蛐) t v ) ，约需2 0 m b i f f s 的带宽，利用 h 2 6 4 进行一路i - i d t v 的压缩，只需约5 m b i t s 的带宽。美国已公布在2 0 1 0 年( 我 国约在2 0 1 5 年) 停止模拟电视广播，全部采用数字电视广播。如果那时h d t v 要获得迅猛发展，必需要降低成本。以传输费用而言，采用h 2 6 4 可使传输费用 降低为原来的1 4 ，这是一个非常诱人的前景。据了解，2 0 0 8 年在我国北京举行 的奥运会也将是一个“科技奥运”，h d t v 必然将呈现在人们的眼前。现在有的 省市( 如南京) 已在有线电视信道上开通了数字电视，2 0 0 6 年1 2 月份北京部分 地区作为试点也开通了数字电视。因此，采用压缩性能优异的h 2 6 4 显得更为迫 切。 1 3 2 视频通信 2 0 世纪9 0 年代以来，会议电视在我国获得了迅速的发展，其优点是可以节 北京交通大学硕士学位论文绪论 约大量旅途出差时间，节约出差费用，还争取了时间并能及时做出重大决策。但 其仍存在不足之处：( 1 ) 不方便：必须到电信局专门的电视会议室才能参加会议， 这对一些领导同志更是不方便；( 2 ) 价格昂贵：采用h 2 6 1 作为视频压缩编码标 准，压缩比不高，而且图像质量也不够好，设备价格昂贵，传输费用也相当高。 可视电话是视频通信的另一个重要的应用，可是直到今天尚未很好的广泛应 用，其中个重要原因是视频质量不理想，这与视频压缩技术有密切关系。特别 是互联网在2 0 世纪9 0 年代的迅猛发展，人们希望利用口技术传输视频。现在人 们已经发现，在网络流量不大时，人们看到的可视电话质量尚可接受，但是由于 口数据流的突发性，当流量大时，网络会发生拥塞，这时经常发生丢包、误码， 看到的图像中带有不少方块，这样的视频质量无法让人们接受。对于视频编码技 术的要求，不仅仅要压缩比高，而且应在恶劣的传输条件下具有抗阻塞、抗误码 的健壮性。h 2 6 4 不仅拥有优异的压缩性能，而且具有很好的网络亲和性，这对 实时的视频通信是十分重要的，现在已有基于d s p 的采用h 2 6 4 编码的可视电话 出现在市场上，进一步说明了h 2 6 4 在视频通信中的重要应用价值。 1 3 3 网络的流媒体 众所周知，应用流媒体技术的视频点播( v o d ) 最近有了迅速的发展。我国 宽带上网用户今年已达1 0 0 0 万户以上，而且还在继续发展，v o d 的迅速发展也 是可以期待的。 多媒体短信息也是h 2 6 4 的重要应用之一，我国短信市场正方兴未艾，相信 多媒体短信也会有巨大的发展潜力。 1 4 论文主要内容及安排 本文以h 2 6 4 标准参考模型j m 8 6 为基础，采用闻亭公司实时图像处理系统 为硬件平台，主要研究增加代码复杂度的模式选择算法以及代码的移植与优化。 主要内容安排如下： 第一章绪论。总体介绍论文研究的背景，说明本文研究的学术意义和经济价 值。 第二章h 2 6 4 视频编码标准研究。对视频编码标准h 2 6 4 的关键技术、h 2 6 4 的特点、优势及其广阔的应用前景做了分析。这部分工作是通过认真阅读 h 2 6 4 a v c 最后草案的研究成果、分析相关文献及各个模块算法的研究性文章得 到的。 4 北京交通大学硕士学位论文绪论 第三章h 2 6 4 中模式选择算法研究模式选择在编码器中占有重要地位，对 它的优化设计能够大幅度提升编码器的率失真性能，因此也成为视频编码器研究 的热点问题。本文针对参考模型源代码中复杂度较大的模式选择算法进行深入研 究，分别对参考软件中帧内和帧间模式选择算法进行详细的描述，并最终给出模 式选择的流程图。这部分的工作是通过深入研究h 2 6 4 视频编码标准和r r u - t 提 供参考模型的基础上得到的。 第四章h 2 6 4 模式选择算法改进策略研究。如何根据某种算法策略进行模式 选择以使得视频编码系统获得最优的率失真性能，是视频编码器优化实现的关键 问题。本章通过阅读大量的相关的研究性文章，对h 2 6 4 a v c 编码器基于拉格朗 日率失真函数的几个国内外学者提出的模式选择算法进行分析，为下一步的优化 工作做准备。 第五章i t 2 6 4 编码器的移植与优化分析本文应用的硬件处理平台，t i 公司 的d m 6 4 2 芯片特点，c c s 软件应用，把参考模型移植到d s p 端；对移植后的代 码进行优化，重点针对移植后代码中模式选择过程中耗时较大的量化、d c t 及 i d c t 函数进行线性汇编改写，并给出优化后的结果，从结果可以看出，优化后 的代码效率得到了很大提高。 结论部分对全文工作做一个总结，并对h 2 6 4 a v c 未来的发展前景做进一步 的展望。 北京交通大学硕士学位论文h 2 6 4 视频编码标准研究 2h 2 6 4 视频编码标准研究 2 1h 2 6 4 视频编码标准的发展过程 视频编码技术基本是由i s o i e c ( 国际电工委员会) 制定的m p e g - x 和n u t 制定的h ，2 6 x 两大系列视频编码国际标准推出的。从h 2 6 1 视频编码建议，到 h 2 6 2 3 、m p e g 一1 2 4 等都有一个共同的不断追求的目标，即在尽可能低的码率 下获得尽可能好的图像质量。随着市场对图像传输需求的增加，如何适应不同信 道传输特性的问题也日益显现出来。于是i e o f l e c 和i t u - t 两大国际标准化组织 联手制定了视频新标准h 2 6 4 ，艄，c 来解决这些问题。 h 2 6 1 t 9 1 是最早出现的视频编码建议，目的是规范综合业务数字网( i s d n ) 网 上会议电视和可视电话应用中的视频编码技术，并成为后来其他视频编码标准的 基础。它采用的算法结合了可减少时间冗余的帧间预测和可减少空间冗余的d c t 变换的混合编码方法。和i s d n 信道相匹配，其输出码率是p x 6 4 k b i t s 。p 取值较 小时，只能传清晰度不太高的图像，适合于面对面的电视电话；p 取值较大时( 如 p 6 ) ，可以传输清晰度较好的会议电视图像。h 2 6 3 t l o 】建议的是低码率图像压 缩标准，在技术上是h 2 6 i 的扩展，并增加了许多新的特性，如半像素运动补偿。 因此编码视频能够以低于5 6 k b p s 的速率在模拟电话线上传输，广泛用于各种典 型的视频场合。 m p e g - 1 t “i 是为c d - r o m 光盘的视频存储和播放所制定的。标准的码率为 1 2 m b i t s 左右，可提供3 0 帧c i f 质量的图像。m p e g - 1 标准视频编码部分的基本 算法与h 2 6 1 1 - 1 2 6 3 相似，也采用运动补偿的帧问预测、二维d c t 和v l c 游程 编码等措施。此外还引入了帧内帧、预测帧和双向预测帧等概念，迸一步提高了 编码效率。m p e g - 2 t 1 2 , 1 3 是迄今为止最成功的视频编码标准，也是第一个能以 s d t v ( 标准数字电视) 和i - i d t v 分辨率隔行视频编码的标准。它扩展了m p e g 一1 ， 在提高图像分辨率等方面做了一些改进，例如它的运动矢量的精度为半像素；在 编码运算中区分“帧”和。场”，为隔行扫描引入了新的预测模式等。它可以提供 大约4 m b p s 速率的t v 广播以及1 5 m b p s 的高质量视频，被广泛应用于d v d 、广 播、卫星和有线电视。近年推出的m p e g 一4 t 1 4 , 1 5 标准引入了基于视听对象( a v o ： a u d i o v i s u a lo b j e c t ) 的编码；不仅用运动和纹理，还使用形状来描述视频对象： 形状信息和亮度信号同位；采用基于上下文的算术熵编码进行编码，大大提高了 视频通信的交互能力和编码效率。 6 北京交通大学硕士学位论文h 2 6 4 视频编码标准研究 h 2 6 4 是删t 和i s 0 ，i e c 联合制定的最新编码标准，最先由r r u t 的 v c e g 于1 9 9 7 年提出并命名为h 2 6 l 。目标是提出一种更高性能的视频编码标准。 目的包括：第一，在同样的视频质量下，相对于m p e g - 2 编码标准，提供大约5 0 码率的降低。第二，提高视频的编码效率、差错控制能力以及网络的友好性。由 于其相对于m p e g 一4 的优良表现，2 0 0 1 年底，i s o i e c 的m p e g 加入到h 2 6 4 标准的开发中，并与v c e g 组成t 。2 0 0 2 年底，h 2 6 4 基本完成所有的技术 工作。2 0 0 3 年6 月已经正式成为官方标准的草案。该标准在u _ t 中被称为 r e c o m m e n d a t i o nh 2 6 4 ，而在i s 伽e c 中成为m p e g 4 的第1 0 部分。 2 ，2h 2 6 4 的档次和级 h 2 6 4 规定了三种档次，每个档次支持一组特定的编码功能，并支持一类特 定的应用。 1 ) 基本档次：利用i 片和p 片支持帧内和帧间编码，支持利用基于上下文 的自适应的变长编码进行的熵编码( c a b a c ) 。主要用于可视电话、会 议电视、无线通信等实时视频通信。 2 ) 主要档次；支持隔行视频，采用b 片的帧间编码和采用加权预测的帧内 编码；支持利用基于上下文的自适应的算术编码。主要用于数字广播电 视与数字视频存储。 3 ) 扩展档次：支持码流之间有效的切换( s p 和s i 片) 、改进误码性能( 数 据分割) 、但不支持隔行视频和c a b a c ，主要用于流媒体中。 表2 1 为h 2 6 4 的档次。其中各个档次具有不同功能，扩展档次包括了基本 档次的所有功能，而不包括主要档次的全部功能。每一档次设置不同的参数( 如 取样速率、图像尺寸、编码比特率等) ，得到对应的编解码器性能的不同级。 表2 1h 2 6 4 视频编码标准的档次 t a b l e2 1p r o f i l e si no r i g l n a lh 2 6 4 a v cs t a n d a r d c o d i n gt o o l s b a s e l i n em a i ne x t e n d e d ia n dp s l i c e sxxx c a 儿cxxx c a b a cx b s l i c e sxx i n t e r l a c e dc o d i n g ( p i c a f f , m b a f f )xx e n h e r r o rr e s i l ( r m o , a s o ，r s )xx f u r t h e re n h e r r o rr e s i i ( d p ix s p a n ds 1s l i c e sx 7 北京交通大学硕士学位论文h 2 6 4 视频编码标准研究 2 3h 2 6 4 编码器结构及特点 h 2 6 4 并不明确规定一个编码器如何实现，而是规定了一个编了码的视频比 特流的句法和该比特流的解码方法，各个厂商的编码器和解码器在此框架和解码 器框架下应能够互通，在实现上具有较大的灵活性，而且利于相互竞争。 h 2 6 4 编码器的功能组成如图2 1 所示，其中浅色部分为重构帧的形成过程： 图2 1h 2 6 4 的功能框图 f i re 1 h 2 6 4f u n c t i o nf i g u r e 图2 2 给出编码器各个部分对应实际图像实例”6 1 ： i n p u tf r a m ef _ 北京交通大学硕士学位论文h 2 6 4 视频编码标准研究 r e s i d u a lf - f n 一1 ( n om o t i o nc o m p e n s a t i o n )m o t i o nc o m p e n s a t i o nr e f e r e n c ef l a n l e 1 6 x i 6m o t i o nv c c o r ( s u p e r i m p o s e d0 1 1f r a m e )m o t i o nc o m p e n s a t e dr e s i d u a lf r a m e 图2 2 编码器各部分对应实际图像举例 f i g u r e 2 2p i c t u r e si n c o d c r sv a r i o u sp a r t s 由图2 1 可以看出，编码器采用的仍是变换和预测的混合编码。输入的帧或 场f n 以宏块为单位被编码器处理。首先，按帧内或帧间预测编码的方法进行处理。 如果采用帧内预测编码，其预测值f r e d ( 图中用p 表示) 是由当前片中已 编码的参考图像经运动补偿( m c ) 后得到的，其中参考图像用一表示。为了 提高预测精度，从而提高压缩比，实际的参考图像可在过去或未来( 指显示次序 上) 已编解码重建和滤波的帧中进行选择。 预测值f r e d 和当前块相减后，产生一个残差块d n ，经块变换、量化后产生 一组量化后的变换系数x ，再经熵编码，与解码所需的一些边信息( 如预测模式 量化参数、运动矢量等) 一起组成一个压缩后的码流，经n a l ( 网络自适应层) 供传输和存储用。如上述，为了提供进一步预测用的参考图像，编码器必须有重 建图像的功能。因此，必须使残差图像经反量化、反变换后得到的“一与预测值p 相加，得到卢一( 未经滤波的帧) 。为了去除编解码环路中产生的噪声，提高参 考帧的图像质量，从而提高压缩图像性能，设置一个环路滤波器，滤波后的输出 9 北京交通大学硕士学位论文h 2 6 4 视频编码标准研究 f 。即为重建图像，可用作参考图像嗍。 2 4h 2 6 4 关键技术研究 2 4 1 帧内预测 帧内预测是利用邻近块已编码的像素( 当前块的左面和上面) 来实现当前块 像素预测的方法。预测块和实际块的残差被编码，以消除空间冗余。尤其是在平 坦的区域，帧内预测可以大大的提高编码效率【1 7 1 。 1 4 x 4 块的亮度预测模式 如图2 3 所示，4 x 4 亮度块的上方和左方像素a m 为已编码并重构的像素， 用作编解码器中的预测参考像素。a p 为待预测像素，利用a m 值和9 种预测 模式实现，如图2 4 所示。每种模式只有在所需预测像素全部提供时才能使用。 fgh 心侈1 砀4 p 图2 34 x 4 块相邻像素位置图2 44 x 4 帧内预测方向 f i g 2 3s a m p l e su s e df o rs p a t i a lp r e d i c t i o nf 瑭2 4i n u a - p r e d i c d o nd i r e c t i o m 表2 2 为4 x 4 亮度块帧内9 种预测模式的具体描述。 表2 24 x 4 预测模式描述 模式描述 模式0 ( 垂直)由a 、b 、c 、d 垂直推出相应像素值 模式1 ( 水平)由i 、j 、k 、l 水平退出相应像素值 模式2 ( d c )由a d 及i l 平均值推出所有像素值 模式3 ( 下左对角线)由4 5 度方向像素内插得出相应像素值 模式4 ( 下右对角线)由4 5 度方向像素内插得出相应像素值 模式5 ( 右垂直) 由2 6 6 度方向像素内插得出相应像素值 模式6 ( 下水平) 由2 6 6 度方向像素内插得出相应像素值 模式7 ( 左垂直)由2 6 6 度方向像素内插得出相应像素值 模式8 ( 上水平)由2 6 6 度方向像素内插得出相应像素值 i o 北京交通大学硕士学位论文h 2 6 4 视频编码标准研究 2 1 6 x1 6 块的亮度预测模式 宏块的1 6 x 1 6 亮度成分可以整体预测，有4 种预测模式。如图2 5 所示，描 述见表2 3 。 震蓐藤蘑 图2 5 帧内1 6 1 6 预测模式 f i g 2 5 i n t r a1 6 1 6 p r e d i c t i o n m o d e s 表2 31 6 1 6 帧内预测模式描述 t a b l e 231 6 x 1 6p r e d i c t i o nm o d e 模式描述 模式0 ( 垂直)由上边像素推出相应像素值 f 模式1 ( 水平)由左边像素推出相应像素值 模式2 ( d c )由上边和左边像素推出相应像素值 由线性。p l a n e ”函数及左、上像素推出相应像素值，适于亮 模式3 ( 平面) 度变化平缓区域 3 ，8 8 块的色度预测模式 每个帧内编码宏块的8 x 8 色度成分由已编码左上方色度像素的预测而得，两 种色度成分常用同一预测模式。4 种预测模式类似于帧内1 6 x 1 6 的4 种预测模式， 只是模式编号不同，其中1 3 ( 2 为模式0 ，水平为模式l ，垂直为模式2 ，平面为模 式3 。 2 4 2 帧间预测 h 2 6 4 中的帧间预测是利用己编码的视频帧场和基于块的运动补偿的预测模 式。与以往标准相比，帧间预测的区别在于块尺寸范围更广，有7 种分割模式。 1 t 多宏块分割模式 每个宏块可以按4 种方式进行分割：1 个1 6 x 1 6 ，或2 个1 6 ( 8 ，或2 个8 1 6 ，或4 个8 x 8 ，其运动补偿也相应有4 种；而8 x 8 模式的每个子宏块还可 以进一步以4 种方式进行分割：1 个8 8 ，2 个8 4 或2 个4 8 及4 个4 4 。 如图2 6 所示。编码器按照图像的内容搜寻与即将编码的原始宏块单元最佳匹配 的参考宏块，并根据率失真理论得到最佳参考宏块模式和残差。 北京交通大学硕士学位论文h 2 6 4 视频编码标准研究 每个分割或子宏块都有独立的运动补偿。每个m v 必须被编码、传输，分割 的选择也需要编码压缩到比特流中。对大的分割尺寸而言，m v 选择和分割类型 只需少量的比特，但运动补偿残差在多细节区域中的能量将非常高。小尺寸分割 运动补偿残差能量低，但需要较多的比特表示m v 和分割选择，分割尺寸的选择 影响了压缩性能。整体而言，大的分割尺寸适合于平坦区域，而小的尺寸适合于 多细节区域。 1m o 口曲d c k d t 5 o f2 壕a 口“d 矗p q t v o o t ao r 2 m a 口斟kp 耕酗b o f飘每椰拭帕b l o n s 一 1 9 。 6 m 0 m ，a n d e t 81 u 强日岫删e 。1 6j t l m a 3 m d a c ，d8 8 h f m 目目“ 黼口日田 田1 _ j t h n d 曲嗽崩如n2 n a u b 脯口r 目蜘 2 u b 4 r m r , r o o k x t 自口日*4 h h m a o b 愀p a r o t o r a d 8 8 h 阳m r h 岫0 棚一8 4 “n 强5 “口a n d酊4 8 h 髓姗岫a n d a f 4 * 4 岫s a r a p h a n d 一口日田田 图2 6 宏块及子宏块分割示意图 f i g 2 6 m a c r o b l o c k p a r t i t i o n sf o rm o t i o ne s t i m a t i o na n dc o r a p e n s a f i o n 图2 7 所示为一个残差帧。h 2 6 4 编码器为帧的每个部分选择了最佳分害4 尺 寸，使传输信息量最小，并将选择的分割加到残差帧上。在帧变换小的区域，选 择1 6 x1 6 分割；多运动区域，选择更小的尺寸。 图2 7 未进行运动补偿的残差帧 f i g 2 7r e s i d u a l ( w i t h o u tm c ) s h o w i n go p t i m u mc h o i c eo f p a r t i o n s 另外，宏块的色度成分则为亮度的一半( 水平和垂直各一半) 。色度采用和亮 北京交通大学硕士学位论文 h 2 6 4 视频编码标准研究 度块相同的分割模式，只是尺寸减半( 水平和垂直方向都减半) 色度块的m v 也是通过相应的亮度m v 的水平和垂直分量减半而得。实验表明，基于不同大小 宏块的帧间匹配模式可以有效地减小图像时域相关性，提高压缩编码的效率。 图2 8 给出两个连续的视频序n f r a m el 和f r a m e2 1 1 ”，图( c ) 是两个连续帧未进行 运动补偿得到的残差帧，图( d ) 经1 6 1 6 块运动补偿得到的残差冗余明显减少，图 ( e ) 经8 8 块运动补偿得到的冗余进一步减少，而图( f ) 经4 x 4 ：块运动补偿得到的残 差帧冗余最少。这些例子说明更小的块尺寸可以产生更好的运动补偿结果。然而， 更小的块尺寸导致需要传输的运动矢量数目的增加，从而增加了代码复杂度。 ( b ) f r a m e 2 ( d ) r e s i d u a l ( 1 6 x 1 6 b l o c ks i z e ) ( e ) r e s i d u a l ( 8 x 8b l o c ksize)(t3 r e s i d u a l ( 4 4b l o c ks i z e ) 图2 8 不同块大小对运动估计的影响 f i g 2 8 b l o c ks i z ee f f e c t s m o t i o ne s t i m a t i o n 北京交通大学硕士学位论文h 2 6 4 视频编码标准研究 2 运动矢量精度 由于物体运动的不规则性使得参考宏块不可能刚好处于整像素位置上，从而 造成采用整像素精度的运动预测不够精确1 1 9 】。采用分像素精度运动矢量的方法早 在h 2 6 3 中就已经提出，h , 2 6 4 ，a v c 为了进一步提高编码效率，同时也考虑到计 算复杂度的因素，采用了精度达至01 4 像素的运动预测方法，如图2 9 所示。运 动内插过程分为两步进行：首先采用一个6 阶滤波内插出半像素精度的参考图 像，此6 阶滤波器系数为( 1 ，5 ，2 0 2 0 ，5 ，1 ) 3 2 ，经过滤波器后的像素值取整并限制 在0 2 5 5 间。图2 9 ( a ) q ，x 代表整像素位置，+ 和o 代表l 2 像素位置。其中，+ 处由x 处的值通过上述滤波器内插得到，o 处的值由x 和已经产生的+ 处的值同样 通过上述6 阶滤波器得到，接着再利用线性内插产生1 4 像素精度的参考图像。 图2 9 中的用小写字母标示的位置即是1 4 像素精度的内插位置，大写字母位置 为整像素位置，数字标明的位置为第1 次内插后产生的1 2 像素位置。h 2 6 4 a v c 噪用高精度的运动预测大大地提高了运动估计的精度，使得最终用于编码的残差 明显减小，从而提高帧间编码的效率。 ( a ) 第一阶内插过程( b ) 第二阶内插过程 图2 91 4 像素精度内插示意图 f i g 2 9i n t e r p o l a t i o np o s i t i o nw i t hf i l t e r i n g 3 多参考帧 由于物体运动可能来回往复，使得不同编码宏块的最佳参考宏块不一定处于 同一参考图像中，为了提高编码效率很多文献提出了多参考帧的概念t 2 0 , 2 ， h 2 6 3 + a n n f f gn 中提出了参考帧选择( r p s ) 的编码选项【2 2 1 ，m p e g 4 的检验模型 中也采取了类似的n e w i p r e d 方法【2 ”。t w i e g a n d ! “1 提出了l o n g - t c a - mm e m o r y 的运动预测概念在存储器允许的条件下，参考帧可以搜寻达几秒钟前的解码图像。 图2 1 0 中给出了当前编码帧n 在编码过程中参考帧搜寻到前4 帧的情况。 1 4 b g 4 n d b f i m p i e 3 i 5 a d h k o a c 2 j c 十o 十o 十o o x o x o十o 十o 十o x 0 o o+o十o十oooo十0 十o + o x 0 o o 北京交通大学硕士学位论文h 2 6 4 视频编码标准研究 图2 1 0 多参考帧运动预测 f i g 2 1 0 n u m b e r so f r e f e r e n c ep i c t u r e s h 2 6 4 编码器从一组前面或后面已编码图像中选出一个或两个与当前最匹配 的图像作为帧间编码的参考图像，其复杂度大为增加，但多次比较的结果可使匹 配后的预测精度显著改进。h 2 6 4 中最多可从1 5 个参考图像中进行选择，选出最佳 的匹配图像。当然，并不是说参考帧越多越好，由经验且考虑到缓冲区的能力和 编码器的效率，目前一般都选取3 5 个参考帧。相对于1 帧参考，5 个参考帧可以 节约5 l o 的比特率网。 2 4 _ 3 变换量化 h 2 6 4 编码标准较以往的视频编码标准有许多独到的创新之处，变换系数量 化采用整数运算，而不是除法和浮点数的运算。选择了自适应块大小变换，采用 基于4 x 4 块的变换编码，而以前的视频编码标准使用的是8 x 8 块的d c t 变换。 针对亮度信号和色差信号的差值，h 2 6 4 中使用4 x 4 块的整数变换：针对1 6 x1 6 块的帧内预测模式，亮度信号经4 x 4 整数变换后，得到的变换系数组成4 x 4 矩 阵，使用4 x 4 块的h a d a m a r d 变换；针对色差信号经4 x 4 整数变换后，得到的 交换系数组成的2 x 2 矩阵，使用2 x 2 的h a d a m a r d 变换。 将8 8 的d c t 变换改进成4 x 4 整数变换，优点如下： 1 ) 效果较好，即误差越小，要求经d c t 变换