（信号与信息处理专业论文）h264视频编码算法研究及在dsp上的实现.pdf

北京邮电大学硕士学位论文 h 2 6 4 视频编码算法研究及在d s p 上的实现 摘要 随着多媒体产品的普及和数字化技术的发展，视频编码及传输技 术受到人们广泛的关注。近年来出现了很多视频编码标准，如m p e g 一1 、 m p e g 一2 、h 2 6 1 、h 2 6 3 。而h 2 6 4 是国际电信联盟( i t u ) 和国际标 准化组织( i s o ) 联合成立的视频专家组( j v t ) 提出的新一代视频编码 标准。相比上几代的标准有着更好的编码压缩效率和网络亲和性，其 前景非常广阔。h 2 6 4 具备高效的压缩性能，但是它的复杂度也是比 一般编码器高很多的，因此如何提高h 2 6 4 编码速度，实现实时编码 和传输，已经成为视频编码领域很有挑战性的课题。 本文的研究工作是对h 2 6 4 编码算法进行优化和改进。首先分析 了h 2 6 4 编码标准中的关键技术，如帧内编码、帧间编码、变换和量 化、熵编码、s i s p 帧技术。主要对帧内编码做了仔细的分析和深入 的研究，并在此基础上提出了基于k i r s c h 算子检测亮度信号的边缘 方向算法，以及一种新的帧内预测算法流程。该算法根据空域相邻块 间的相关性，通过对多种预测模式进行有效的筛选。该算法一方面减 少了大量不必要的运算量；另一方面省去了传统基于边缘方向算法的 大量条件判断过程，提高了代码在d s p 中执行的效率。实验结果表明， 该算法可以在基本不影响图像质量的前提下，极大的提高帧内编码效 率，缩短编码时间。本文还分析了c w 5 5 2 1 的芯片结构，并介绍了基 于该d s p 芯片的h 2 6 4 编码优化方法，针对帧内编码部分对重点函数 做了结构调整以充分利用芯片资源，并通过代码优化等方法提高流水 线并行执行的能力。 关键词：视频编码h 2 6 4 帧内预测c w 5 5 2 1 北京邮电大学硕士学位论文 h 2 6 4v i d e oc o d i n ga l g o r i t h mr e s e a r c ha n d d s po p t i m i z a r r i o n a b s t r a c t 、m t ht h ep o p u l a r i t yo fm u l t i m e d i ap r o d u c t sa n dt h ed e v e l o p m e n to f d i g i t a lt e c h n o l o g y , v i d e oe n c o d i n ga n dt r a n s m i s s i o nt e c h n o l o g y i s w i d e s p r e a dc o n c e r n i nr e c e n ty e a r s ，al o to fv i d e oe n c o d i n gs t a n d a r d s s u c ha sm p e g l ，m p e g - 2 ，h 2 61 ，h 2 6 3 a n dh 2 6 4i san e w g e n e r a t i o no fv i d e oc o d i n gs t a n d a r dp r o p o s e db yj o i n tv i d e ot e a m ( j v t ) w h i c hi su n i t e db yi n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ( i t u ) a n d i n t e r n a t i o n a l o r g a n i z a t i o n f o r s t a n d a r d i z a t i o n ( i s 0 ) c o m p a r e d t o p r e v i o u sg e n e r a t i o n sh a v eab e t t e rs t a n d a r do ft h ee n c o d i n ge f f i c i e n c y a n dn e t w o r kc o m p a t i b i l i t ya n db r o a d e rp r o s p e c t s h 2 6 4c o m p r e s s i o n p e r f o r m a n c e se f f i c i e n t l y , b u tt h ec o m p l e x i t yo fe n c o d e ri sm u c hh i g h e r , h o wt oi m p r o v et h eh 2 6 4e n c o d i n gs p e e d ，r e a l - t i m ee n c o d i n ga n d t r a n s m i s s i o n ，h a sb e c o m eav e r yc h a l l e n g i n ga r e ao fv i d e oc o d i n gi s s u e t h i sp a p e rs t u d i e dt h eh 2 6 4c o d i n ga l g o r i t h mt oo p t i m i z ea n d i m p r o v e f i r s t l ya n a l y s i s e do ft h ek e yt e c h n o l o g i e so fh 2 6 4 ，s u c h a s i n t r a c o d i n g ，f l a m ec o d i n g ，t r a n s f o r ma n dq u a n t i f i e d ，e n t r o p yc o d i n g ， s i s pf r a m et e c h n o l o g y t h i sp a p e rd i dad e e p l ya n a l y s i sa n di n - d e p t h s t u d yo nt h ei n t r a c o d i n g ，a n dp r o p o s e da n e wi n t r ap r e d i c t i o na l g o r i t h m a c c o r d i n gt ot h ea l g o r i t h mo ft h er e l e v a n c e o fa d ja c e n tb l o c ka n d e n h a n c e dk i r s c ho p e r a t o r , o no n eh a n d ，i tr e d u c e du n n e c e s s a r y c o m p u t a t i o ne f f e c t i v e l y ；o nt h eo t h e rh a n d i ts a v e ds u b s t a n t i a lc o u r s eo f c o n d i t i o n st od e t e r m i n eo ft h et r a d i t i o n a la l g o r i t h mb a s e do ne d g e d i r e c t i o na n di m p r o v et h ee f f i c i e n c yo ft h ec o d ei nt h ed s p i m p l e m e n t a t i o n e x p e r i m e n t a lr e s u l t ss h o w e dt h a tt h ea l g o r i t h mc a nn o t a f f e c tt h eb a s i c q u a l i t y o ft h e i m a g e a n dg r e a t l ye n h a n c e dt h e i n t r a - c o d i n ge m c i e n c y , r e d u c e dt h ee n c o d i n gt i m e t h i sa r t i c l e a l s o a n a l y z e dt h ec w 5 5 2 l c h i ps t r u c t u r ea n di n t r o d u c e dao p t i m i z a t i o n m e t h o d ，b a s e do nd s pc h i pa n dg a v eab r i e f i n gc o d i n go p t i m i z a t i o n 北京邮电大学硕士学位论文 一一 a p p r o a c h f o rt h ep a r to fi n t r a - c o d i n g ，t h i sa r t i c l em a k es t r u c t u r a l a d j u s t m e n to fs o m ek e yf u n c t i o n si no r d e rt om a k ef u l lu s eo fc h i p r e s o u r c e s ，a n de n h a n c et h ea b i l i t yo fp a r a l l e le x e c u t i o np i p e l i n et h r o u g h c o d eo p t i m i z a t i o na n do t h e rm e t h o d s k e yw o r d s ：v i d e o e n c o d i n g ，h 2 6 4 ，i n t r a p r e d i c t i o n ，c w 5 5 2 1 北京邮电大学硕二t 学位论文 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：主童磕日期：望哆呈：旦 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权 保留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅 和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印 或其它复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名：受堡盗日期：丝2 ：兰：鱼 导师签名：日期： 北京邮电大学硕士学位论文 第一章绪论 近年来，随着互联网的普及和移动通信的迅猛发展，数字信息化涉及到人们 身边的每一个角落，改变着人们的生活、工作、学习方式。而信息化的主要特征 就是多媒体技术的应用。多媒体技术被广泛应用在商业、教育、医疗等各个领域， 人们对于该技术的需求也在不断增加。因此多媒体技术的研究和应用在世界范围 内获得了广泛的关注，同时也是我国信息化中的一个热点。 一般而言，视频信号信息量大，传输网络所需要的带宽相对较宽。例如，一 路可视电话或会议电视信号，由于其活动内容较少，所需带宽较窄，但要达到良 好质量，不压缩需要若干m b i t s ，压缩后需要3 8 4 k b i t s ；又如，一路高清晰电 视信号( h d t v ) ，由于其信息量相当巨大，不压缩需要1 g ，利用m p e g - 2 压缩后， 尚需要2 0 m b i t s 【i 】。由此可见在用户需求量大大增加、网络带宽有限的今天， 这显然已经成为视频信号传输的最大瓶颈。因此，如何提高视频信号的编码效率， 提高视频的传输速率，成为当今非常具有挑战性的课题。 1 1 视频编码发展史和现状 随着视频编码技术的不断发展，涌现出了大量的视频编码标准。i s o i e c 信 息技术联合委员会于1 9 8 8 年成立了活动图像专家组( m p e g ，m o v i n gp i c t u r e e x p e r tg r o u p ) ，该组织提出了一系列标准，以m p e g - x 命名。m p e g 系列突出的贡 献在于视频和音频的编码压缩，被广泛应用于视频存储、视频广播和无线上网流 媒体。国际电信联盟( i t u - t ) 也相继提出一些视频编码标准，以h 2 6 l 命名， 该系列具有良好的网络亲和性，被广泛应用于视频信号的网络传输。2 0 0 3 年， 国际电信联盟和活动图像专家组正式公布了h 2 6 4 视频压缩标准，不但在原有基 础上提高了压缩比，同时大大提高了网络传输能力，增强了应对于通信环境中的 误码和丢包的处理机制。以下介绍各个标准的技术特点。 h 2 6 1 ： c c i t t 于1 9 8 4 年提出了第一个被广泛应用的数字视频编码标准h 2 6 1 【2 】，该 标准使得视频信号可以以6 4 k b p s 的整数倍在电信网络中传输。该标准仅限于对 c i f 和q c i f 两个图像格式进行处理。h 2 6 1 详细定义了混合编码的编码方法，包 括帧间和帧内编码、运动估计、环路滤波器、d c t 变换、量化、熵编码，将每帧 图像分成图像层、宏块层、块层来处理，为以后的视频编码标准奠定了基础。以 北京邮电大学硕士学位论文 后公布的一系列视频编码标准的编码方法都是基于h 2 6 1 的编码方法。 h 2 6 3 ： i t u - t 于1 9 9 6 年提出该标准，是专为中高质量运动图像压缩设计的低码率 视频图像压缩标准。该标准在h 2 6 1 的基础上进行了改进，提高了运动矢量的精 度，采用半像素预测进一步提高压缩比，新增非限制运动矢量模式、基于句法的 算数编码、高级预测模式、p b 帧模式四个高级选项，从而提高了编码效率，增 强了其在网络中传输的能力 3 1 。后来提出的h 2 6 3 + 和h 2 6 3 + + 在h 2 6 3 的基础上 进一步改进了编码效率的选项，同时也增加了提高抗误码性能的选项，将传出过 程中适应信道的问题一同并入到信源编码的工作中1 4 1 。 m p e g - 1 ： m p e g 于1 9 9 3 年提出了m p e g 一1 标准，主要面向速率为1 5 m b it s 的视频信 号，编码前需要将视频图像转换成逐行扫描图像，主要应用v c d 视频压缩和存储， 是c d 品质播放压缩的音视频标准。该标准定义了图像的三种类型：i 、b 、p 图 像，增加了双向帧间预测技术，编码采用分层结构，并在h 2 6 1 的基础上曾加了 片层( s 1 i c e 层) ，提高了抗误码能力f s 。 m p e g 一2 ： m p e g - 2 是1 9 9 4 年由m p e g 提出的音视频数字化压缩编码标准，可以支持 4 m b i t s 一1 0 m b i t s 的传输率，分为五个压缩比档次和四个视频清晰度级别，能 够灵活的调节压缩比以适应不同画面质量、传输带宽的实际要求。m p e g 一2 主要 用于数字视频广播和高清电视的视频压缩，是电视品质的视音频压缩和广播【6 1 m p e g - 4 ： 1 9 9 9 年m p e g 通过了m p e g - 4 标准，该标准在定义传统的视频压缩标准外， 还突出了多媒体通信的交互性和灵活性的概念，提供了自然合成音视频的基于对 象和基于模型的编码工具。m p e g - 4 采用音视频对象( a v o ) 的分层结构对视频和 音频进行分层处理，以视频为例：将一个视频镜头( v s ) 分成多个视频对象( v o ) ， 一个v o 可以被分成多个视频对象层( v o l ) ，v o l 的一个时间点的表示构成视频 对象平面( v o p ) 。原始图像根据不同的特性被分成多个a v o ，a v o 可以是一帧图 像中的一个独立的物体，也可以是一段背景音乐。m p e g - 4 编码标准分为三大部 分：系统，音频、视频。由于m p e g - 4 是对每个a v o 进行单独编码，所以在解码 端需要控制a v o 的时域和空域上的结构关系，系统就是将a v o 整合服用的控制部 分。m p e g - 4 的音频部分在继承了传统的自然声音编码基础上，又添加了新的合 成声音编码功能。同样的视频部分中也加入了合成视觉编码功能1 7 1 。m p e g 系列 的突出贡献在于视音频编码效率的大幅提高，而m p e g - 4 更是在此方面下足了功 夫。相比前两代标准，m p e g 一4 出了采用基于对象的技术外，还引进了一些新技 2 北京邮电大学硕士学位论文 术以进一步提高编码效率，如a c 预测、四分之一像素运动补全局运动补偿、交 替水平扫描。 a v s ： a v s 是我国于2 0 0 2 年自主制定的音视频压缩编码标准，主要面向高清晰电 视。该标准基于混合编码框架结构，沿用了之前标准中的一些核心技术，如帧内 预测、帧问预测、运动补偿、整数d c t 变换、去块效应环内滤波、1 4 像素精度 差值等。技术层面上，a v s 最突出的特点在于充分考虑了算法实现复杂度，采用 了增强型帧内最佳模式预测、最佳接近运动矢量预测、低复杂度环路滤波等先进 和创新技术，在保证较高的视觉效果前提下大大提高了编码速率。a v s 是我国自 主定制提出，并得到相关国际组织广泛参与，按照国际开放式规则制定的标准。 该标准的提出是我国信息技术发展的一座里程碑，不仅在技术上达到了国际领先 的水平，更在知识产权上获得了历史性的突破，进而在相关领域的商业运作上也 得到很大的实惠。 与上述技术相比，t t 2 6 4 具有以下特点： 1 )压缩比更高，图像质量更好。通过对传统的帧内预测、帧间预测、变换编码 和熵编码等算法的改进，h 2 6 4 的编码效率和图像质量有了很大的提高【8 j 。同样 的视频清晰度，h 2 6 4 要比m p e g - 4 节省5 0 的码率。h 2 6 4 采用了环路滤波器、 高精度像素搜索等技术，使其即使在低码率的条件下仍然能保持清晰的画面。 2 )抗误码、数据丢失鲁棒性功能更强。h 2 6 4 加强了对各种信道的适应能力， 并且针对分组交换网中的分组丢失和无线网络中比特误码都提出了相应的算法 改进，使得h 2 6 4 在网络传播时具有更强的抗误码性能。 3 )网络亲和性更好。为了适应应用环境的多变性，h 2 6 4 的涉及包括了一个视 频编码层( v c l ) ，用于高效率的表示视频内容，和一个网络抽象层( n a l ) ，用于格 式化视频的v c l 并提供合适的头信息以便适应不同的传输层和存储媒介，提供了 友好的网络接口，使得h 2 6 4 的比特流可以方便的在不同的网络上传输【9 l 。 h 2 6 4 因为其良好的压缩性能、清晰的视频画质和更强的网络亲和性，使得 其成为当今视频存储和通信研究领域中的热点问题，被广泛应用于移动视频、视 频会议、电视电话等实时应用场合。 1 2 课题提出背景和意义 h 2 6 4 与其它编码标准有着突出的优势，但这是以大大增加算法复杂度 为代价的。如何将其广泛应用于生产实践，已成为国内外学者共同关注的课 题。目前视频压缩系统主要有三种实现方案： 1 ) 基于p c 平台的实现方法。该方法是在通用计算机上利用纯软件编程的 3 北京邮电大学硕士学位论文 方法实现视频编码方法。此类方法优点是开发灵活性大，软件资源丰富，开发周 期短。但是p c 机的中央处理器设计并不适合处理数字信号，很难达到实时的要 求，并且由于体积过大的原因，也无法将其作为嵌入式设备使用。 2 ) 基于a s i c 的实现方法。此方案采用的是纯硬件实现的方法，优点是集成 方便，可靠性高，但是芯片生产成本高，系统升级维护的灵活性差。 3 ) 基于d s p 的实现方法。数字信号处理器d s p 采用了先进的并行流水线结构， 能够实时的处理多路音视频数字信号，同时还提供了很多视频专用工具，为视频 开发提供了方便这是传统微处理器不能达到的。该方案开发周期短，丌发自由度 大，并且体积小，容易升级和维护，更适用于嵌入式视频编码系统的实现。 c w 5 5 2 1 是c h i p w r i g h t s 公司一款高性能数字信号处理器。它是s i m d ( 单指 令多数据流) 设计，其中的并行处理器可以同时对不同的数据进行同样的操作。 c w 5 5 2 1 是专门针对视频音频处理的d s p 芯片，在对视音频数据进行宏块处理时， c w 5 5 2 1 的并行机制就充分的体现出来，它可以在一个指令周期中处理多个数据， 从而大大提高了数据处理速度。c w 5 5 2 l 其强大的处理能力和相对较低的芯片成 本使其成为大规模开发生产h 2 6 4 视频编码器的理想平台。 1 3 本文内容安排 本文的研究工作主要分为两部分：h 2 6 4 帧内预测算法研究和d s p 代码优化。 本文共分六章，安排如下： 第一章绪论部分主要介绍了视频编码技术的发展，本课题研究的背景意义。 第二章分析了h 2 6 4 编码器的结构和几个主要的关键技术，包括帧内编码、 帧间编码、变换和量化、熵编码、s l s p 帧技术。 第三章深入分析了帧内编码算法，并提出了一套新的帧内模式选择算法流 程，该算法根据空域相邻块间的相关性，以及通过改进的k i r s c h 算子检测亮度 信号的边缘方向，对多种预测模式进行有效的筛选，从而减少不必要的运算量。 同时对耗时较多的运动估计快速算法做了深入分析。 第四章介绍了c w 5 5 2 1 硬件结构和开发平台，对集成开发环境和开 发工具做了介绍，特别讨论了d s p 并行处理机制相关的内容。 第五章在介绍了基于c w 5 5 2 1 对h 2 6 4 编码器进行的结构、存储、代码、汇 编上的优化方法，并分析了h 2 6 4 编码流程，最后通过实验结果证明优化后的编 码器编码效率有了明显提高。 第六章是本文的总结与展望。 4 北京邮电大学硕士学位论文 第二章h 2 6 4 关键技术分析 2 1h 2 6 4 的体系结构 h 2 6 4 之前的视频编码标准都是以高压缩比为主要目标，以满足视频压缩和 存储的基本功能。但是随着i p 网和无线网的发展，多媒体技术j 下在被广泛应用 在不同的领域中，并且对于网络传输的效果和质量也提出了更高的要求。在这样 的现实面前，过去的编码标准就暴露出了网络亲和性不足的弱点。 h 2 6 4 的主要目标在传统编码标准的基础上提出了更高的要求，就是在提高 压缩比的基础上增强其网络适应性。h 2 6 4 的体系结构的设计充分体现了这一目 标，它把h 2 6 4 分为两个层【l0 1 ：视频编码层( v c l ，v i d e oc o d i n gl a y e r ) 和网 络抽象层( n a l ，n e t w o r ka b s t r a c t i o nl a y e r ) 。视频编码层规定了视频编码算 法，负责在独立于网络的情况下高效的表示视频内容。网络抽象层负责将v c l 产生的比特字符串适配到各种各样的网络和多元环境中，以网络要求的方式对数 据进行打包传送。 h 2 6 4 将体系结构按功能明确的分为相对独立的两部分，使其无论在视频存 储还是多媒体通信中都显示出了强大的优势。 2 2h 2 6 4 的框架 在h 2 6 4 标准中定义了三种框架i n ，每种框架迟滞一系列的特定的编码功 能。编码器和解码器都必须遵守这些规定。 基本框架( b a s e l i n ep r o f i l e ) ：支持基于i 片和p 片的帧内编码、帧间编 码，支持基于上下文的自适应的变长编码进行熵编码( c a v l c ) 。主要应用于可视 电话、会议电话、远程教学、无线通信等实时视频通信。 主框架( m a i np r o f i l e ) ：支持交错视频，支持基于b 片的帧间编码和采用加 权预测的帧内编码，支持利用基于上下文的自适应算数编码( v a b a c ) 。主要应用 于视频存储和电视广播。 扩展框架( e x t e n d e dp r o f il e ) ：不支持交错视频和c a b a c ，但支持s i 帧和 s p 真，使得码流之间能够更有效的切换，并提高了误码性能。它主要应用于流 媒体中。 5 北京邮电大学硕士学位论文 2 3i - i 2 6 4 的编解码器结构 h 2 6 4 没有明确的定义编码器的实现形式，而是定义了编码后的比特流格式 和解码方式。不同的编码器和解码器在此框架下可以有较大的灵活性。h 2 6 4 的 编码器和解码器结构如图2 1 和2 2 所示： 图2 1h 2 6 4 编码器 在编码器中，。e 代表待编码的输入帧或场，该图像被分成多个1 6 x 1 6 的宏 块，每个宏块要按帧内或帧间的方法进行处理。如果是帧内预测，编码器会根据 当前图像中已经编码的片作为参考并做运动补偿( m c ) ，解码重构模块后得出当 前块的预测值p 。如果采用帧间模式，编码器会在当前帧之前或之后的已编码重 构的帧中选择一个或多个作为参考帧t ，参考帧经过运动估计( m e ) 和运动 补偿( m c ) 后得到预测值p 。预测值p 和当前宏块相减得到残差块以。产生的 残差块协会依次进行变换、量化、熵编码处理得到最终的输出码流。同时，为 了能够提供预测用的参考图像，编码器也应具备重构图像的功能。x 可以经过反 量化、反变换后与预测值p 相加得到未经滤波的识，将识进一步做滤波处理 就得到了参考图像。 图2 2h 2 6 4 解码器 6 北京邮电大学硕士学位论文 由图2 1 可知，由编码器的n a l 输出一个压缩后的h 2 6 4 压缩比特流。在 图2 2 中，经过熵解码得到量化后的一组变换系数，再经反量化，反变换，得到 残差伊。利用从该比特流中解码出的头信息和参考帧一- ，解码器就产生一个 预测块p ，它和编码器中的原始p 是相同的。当该解码器产生的预测块p 与残差 d 。相加后就产生“一，再经过滤波后，最后得到重构的一，这个一就是最后的 解码输出图像了。 2 4 帧内编码 帧内预测编码的基本原理是利用已解码重构的邻近块像素来实现对当前编 码块的预测，对预测块和实际块的残余差值进行变换，量化，熵编码，以消除空 域冗余【i2 1 ，既利用图像的空间相关性来压缩空间域中的冗余信息。在h 2 6 4 中， 为了提高编码效率，在做帧内编码的过程中，采用了多种帧内预测模式，这样能 够根据不同运动特性更好地消除图像信息的空间按冗余【1 3 l 。亮度块的预测分为 三种：4 x 4 模块预测，1 6 x 1 6 模块预测，帧内编码模式( i) 。 亮度块有_ f c m 4 x 4 多达9 种的可选预测模式，而且由于采用较小的预测宏块，因此适用于细节复杂 的图像。1 6 x 1 6 亮度块采用的预测宏块较大，只有四种预测模式，适合于图像中 平坦变化小的区域。i _ p c m 不同于一般的编码块，在该模式下编码器不再对图像 进行预测、变换、量化、熵编码，而是直接传输图像的像素值。这种模式在某些 场合要比预测编码有着更好的效果，比如图像内容不规则或者量化参数非常低的 时候。在编码过程中编码器具体采用以上的那种模式，是根据拉格朗日码流失真 模型来决定的。 帧内4 x 4 预测方法的基本思路是从不同的方向计算各个像素之间的亮度差 值，其中具有最小预测误差的方向为最佳的预测方向 1 4 l 。图2 3 表示了已编码 像素与待预测像素间的空间关系，图2 4 是该模式提供的9 种预测方向。 abcdefgh 图2 3 已编码像素a - q 与待预测像素a - p 的位置关系 7 北京邮电大学硕士学位论文 心彦 形孓 图2 4 帧内4 x 4 预测的8 个方向 图中9 种预测模式描述如下： 模式o ：垂直预测模式，根据a 、b 、c 、d 像素垂直推出相应像素值； 模式1 ：水平预测模式，根据i 、j 、k 、l 像素水平推出相应像素值： 模式2 ：d c 预测模式，由a 、b 、c 、d 、i 、j 、k 、l 的平均值推出所有像素值； 模式3 ：下左对角线预测模式，由叼方向从右上方到左下方内插得出相应像素 值； afo 模式4 ：下右对角线模式预测，由叼方向从左上方到右下方内插得出相应像素 值； 模式5 ：右垂直预测模式，由2 6 0 方向内插得出相应像素值； 模式6 ：下水平预测模式，由2 0 6 方向内插得出相应像素值； 模式7 ：左垂直预测模式，由2 0 0 方向内插得出相应像素值； 模式8 ：上水平预测模式，由2 0 0 方向内插得出相应像素值； 1 6 x 1 6 亮度预测模式原理跟4 x 4 亮度预测模式是相同的，而1 6 x 1 6 模式是针 对图像较平坦的情况，因此没必要像4 x 4 预测一样规定过于细致的预测方向，它 只提供了4 种预测方向，分别为垂直预测( 模式0 ) 、水平预测( 模式1 ) 、d c 预 测( 模式2 ) 、平面预测( 模式3 ) 。 8 x 8 色度预测模式类似与1 6 x 1 6 亮度预测模式，只是模式编码略有不同，其 中d c 为模式0 、水平为模式l 、垂直为模式2 、平面为模式3 。 2 5 帧间编码 帧间预测编码是利用视频信号的时域相关性，利用已编码的参考帧和基于运 动估计、运动补偿的预测模式将时域冗余信息去除。h 2 6 4 的帧间预测与以往标 准主要的不同点是：多种块尺寸模式、多参考帧、1 8 像素精度。以下将对其一 一介绍。 8 北京邮电大学硕士学位论文 帧间编码的运动估计和运动补偿是基于块做处理的，如果块选取的过大，运 动补偿残差在多细节区域中的能量会非常高，从而影响图像质量；如果块选取的 过小，就需要更多的比特表征运动矢量和分割选择，降低了编码效率。因此宏块 的大小和形状选择对于视频编码的效率和视频图像的质量有着至关重要的影响。 以往的视频编码标准中提供可选择的分块方式数量有限，最多的m p e g 一4 也只有 四种。而h 2 6 4 提供了多大7 种的分块方式 1 5 1 ：1 6 x 1 6 、1 6 x 8 、8 x 1 6 、8 x 8 、8 x 4 、 4 x 8 、4 x 4 。这7 种分块模式分别适用于不同图像，大块适用于平坦区域，小块适 用于细节复杂区域。这些块尺寸模型是基于1 6 x 1 6 的宏块一层层分出来的，然后 再以8 x 8 的子宏块块进行细分，可以被形象的表示成树形结构，如图2 5 所示。 目田田 4 x 84 x 4 目田田 图2 5 宏块及子宏块分割 以往的视频标准在运动估计中都是以时域上刚编好的上一帧作为参考帧，而 h 2 6 4 提供了多参考帧的运动估计机制。所谓多参考帧就是在编码器的缓存中存 储着多个已经编好的帧，编码器可以从中选择一个或多个作为参考帧，这样在图 像变化激烈的情况下，会比使用上一帧作为参考帧有更好的图像显示效果。多参 考帧机制有效的提高了运动估计的效率并且增强了丢包的鲁棒性和差错适应能 力。h 2 6 4 中的b 片编码支持选用当前图像之前或之后的一个或两个已编好的块 作为参考图像，两个参考图像可以是两个前向的、两个后向的、一个前向一个后 向的。同时b 帧图像还支持五种预测类型：直接、前向、后向、双向、帧内预测。 多参考真带来的编码效率和图像质量的提高是显而易见的，但同时对存储空间和 计算能力也有了更高的要求。 运动估计【1 6 】是利用视频图像的时域相关性计算运动向量( m v ) ，运动向量是 描述物体运动方向和大小的矢量，运动向量的精度越高，运动估计残差图像的精 度也就越高。h 2 6 4 采用了亮度四分之一像素精度的m v ，比h 2 6 3 提高了一倍。 由于分数位置的像素值在实际参考图像中是不存在，而为了表示这些位置的像素 值，h 2 6 4 采用了一种根据邻近像素值内插分数像素的方法。该方法遵循从低精 9 北京邮电大学硕士学位论文 度到高精度的顺序，利用以存在的像素经过滤波或取均值获得内插值。对于半像 素精度位来说，采用的是六阶的f i r 滤波器i 7 j ，滤波器的权重为 ( 1 3 2 ，一5 3 2 ，5 8 ，5 8 ，- 5 3 2 ，1 3 2 ) 。如图2 6 ，紧挨的两个整数像素点的半像 素点会先通过水平方向或垂直方向的卷积得到，如 b = r o u n d ( e - 5 f + 2 0 g + 2 0 h 一5i + j ) 3 2 h = r o u n d ( a - 5 c + 2 0 g + 2 0 m - 5 r + t ) 3 2 口口圆口口 口口圆口口 国国髑目目 口口皿口口 口口圃口口 图2 6 亮度半像素位置内插 如果垂直或水平方向上的整数像素点所有值都计算出来，这样剩下的半像素 点就可以通过上述滤波器得出。半像素点都计算出来以后，就可以对四分之一像 素点做处理，四分之一像素点的内插原则是这样的：如果该点在两整像素点或半 像素点之间，则它的数值就是相邻两个像素值的均值；否则它的数值是对角线相 邻的两个像素点的均值，如图2 7 。 如a = r o u n d ( g + b ) 2 ，d = r o u n d ( g + h ) 2 ，e = r o u n d ( h + b ) 2 团 曰 团 图2 7 亮度1 4 内插 l gbhl 帮鬻彭嬲 潦。蛾 漱崩 i h 】 m l 扩。”。 荔i，尹 ， im摹 ni h 2 6 4 色度块的运动矢量精度是亮度块的两倍，也就是八分之一像素精度。它同 样是通过整数像素线性内插得到的其中， a 2 r o u n d ( 8 一) ( 8 一哆) a + t ( 8 - 嘭) b + ( 8 以) 嘭c + d y d ) 6 4 ，如图2 8 。 1 0 霁 北京邮电大学硕士学位论文 ab 嘭 dra l a r d ， cd 图2 8 色度1 8 像素内插 2 6 变换和量化 变换和量化i i s l 是通过去除视频图像中的相关性及减小图像编码的动态范 围，对视频信号进行压缩的过程。由于图像在频域中的能量大部分集中在低频部 分，相对于时域来说能够节省一部分码率，因此变换是指从时域到频域的变换。 传统视频编码标准采用d c t 变换，该变换方法存在两个缺点：一是d c t 变换中存 在无理数，使得最后结果需经过四舍五入获得，而当编码器和解码器采用不同的 算法对其处理时，就会出现输出和输入的不一致，即所谓的误匹配，从而降低了 图像质量：另一方面，d c t 运算包含多次乘法运算，一定程度上降低了编码效率。 h 2 6 4 在d c t 变换基础上提出了整数d c t 变换，它的j 下反变换矩阵分别为： h = = ll 2l i一1 1 _ 2 11 一l - 2 一ll 2一l h = 1l 2 1一l 一1 l l一1 2 该方法的提出解决了传统d c t 变换的两大缺点，整数d c t 变换的所有运算 都是整数运算，从而避免了四舍五入引起的误匹配效应，同时由于新算子中都是2 的整数次幂的形式，因此只用移位操作就可以代替乘法操作，大大提高了运算速 率。 h 2 6 4 中宏块大小为1 6 x 1 6 ，对其中每个4 x 4 大小的块进行上述4 x 4 的d c t 变换后，得到1 6 个4 x 4 的变换矩阵。为了进一步提高压缩效率，h 2 6 4 还允许 把亮度块每个4 x 4 的变换矩阵中的直流分量( 位于矩阵左上角的元素) 单独去 除组成新的4 x 4 矩阵，对此矩阵进行4 x 4 的h a d a m a r d 变换。相应的，色度 块每个4 x 4 块的变换矩阵的直流分量则单独组成2 x 2 的矩阵，对此矩阵也进行 2 x 2 的h a d a m a r d 变换，以充分提高压缩效率。 2坦圯o 1 一 l l t i l 北京邮电大学硕士学位论文 量化在不降低视觉效果的前提下减少图像编码长度的过程。量化器原理为： f q = r o u n d ( 壶) 式( 2 - 1 ) 其中，y 为输入样本点，q p 为量化步长，f q 为量化输出值，r o u n d ( ) 为取与输 入值最接近的整数运算。h 2 6 4 共规定了5 2 个量化步长值。步长越大，编码长 度就越小，但损失的图像细节较多；步长越小，图像编码的精度高，但编码长度 就增大。 2 7 熵编码 h 2 6 4 的熵编码有两种类型【1 9 】：一是采用基于指数型g o l o m b 码的统一变长编 码( u v l c ) 来对除了变换系数之外的所有语法流元素进行编码。扫描系数得到的 数据采用更灵活的基于上下文的自适应变长编码( c a v l c ) ，这是h 2 6 4 默认的编 码方式。另一种编码是基于上下文的自适应二进制算术编码( c a b a c ) ，这种熵编 码l 卜, c a v l c 复杂度大得多，但压缩效率要好一些，因而作为h 2 6 4 的m a i np r o f i l e 中的一个可选项。h 2 6 4 的熵编码元素中，对图像序列、帧、s l i c e 级的语法元 素采用定长或变长的二进制编码，而在s l i c e 级以下层中( 如宏块级m b ) 的语法元 素则采用变长编码以c a v l c 或c a b a c 。以下重点介绍以下c a v l c 和c a b a c 熵编码。 2 7 1c a v l c 编码 c a v l c 中与编码信息相关的参数有如下3 部分i ： 1 ) n u m - t r a i l ：表示+ l 或一1 序列中l 的个数t l s 及4 x 4 块中非。系数的个数只 有t l s 参数的符号需要被解码： 2 ) 除了t l s 信息以外的所有其他非0 系数的幅度： 3 ) 行程信息。 c a v c l 对一个变换系数矩阵进行编码的过程如下： 1 ) 对非零系数的个数及连续出现的十l 和1 序列的个数进行编码： 2 ) 对t l s 的符号进行编码： 3 ) 对其它的非零系数的符号及大d , o e v e l s 进行编码： 4 ) 对穿插在非0 系数问，且为最后一个非0 系数之前的0 的个数( t o t a lz e r o s ) 进行编码。 2 7 2c a b a c 熵编码 基于上下文的自适应二进制算术编码c a b a c 的基本编码可分为三步1 2 。l ： 1 ) 二进制化：由于采用的算术编码器是二进制的，因此所有待编码符号如果 1 2 北京邮电大学硕七学位论文 不是二进制的，则都必须通过这个二进制化过程映射成二进制符号串( b i n s ) 才能被后续的算术编码器编码。 2 ) 上下文建模：对于已经过预测、变换和量化，充分利用了其中时域和频域 相关性的残差信号以及相关的编码信息来说，符号问冗余的消除是进一步提 高压缩效率的关键。基于上下文建模的实质是为编码符号提供准确的条件概 率估计，根据宏块类型、运动矢量、参考帧数、预测模式等不同的编码元素 预先定义的概率模型。对于当前待编码符号，首先根据符号的类型以及左边 和上面邻块中相应符号给当前待编码符号选定相应的上下文模型、而这个模 型可以为当前待编码符号提供相对更加准确的概率估计。 3 ) 自适应算术编码：算术编码的本质就是将编码信息表示为某个概率区间中 的一个小数间隔。初始的概率区间是 0 ，1 ，随着编码符号的增加，每个符 号出现的条件概率也不断变化，因此概率区间不断缩小，而其自适应性表现 在每编码一个符号后，根据该符号位的信息更新相应的上下文模型。这样虽 然上下文模型是事先给定的，但在对不同内容编码上下文模型是不断动态调 整的。 2 8s p si 帧技术 传统的视频编码标准主要包括三种帧类型【2 2 】：i 帧、p 帧和b 帧。h 2 6 4 a v c 为了顺应视频流的自适应性和抗无码性能的要求，又定义了两种新的帧类型：s i 帧和s p 帧。 s p 帧编码的基本原理同p 帧类似，仍是基于帧间预测的运动补偿预测编码， 两者之间的差异在于s p 帧能够参照不同参考帧重构出相同的图像帧。充分利用 这一特性，s p 帧可以取代i 帧，广泛应用于流间切换( b i t s t r e a ms w i t c h i n g ) 、 拼接( s p l i c i n g ) 、随机接入( r a n d o ma c c e s s ) 、快进快退( f a s tf o r w a r d ，f a s t b a c k w a r d ) 以及错误恢复( e r r o rr e c o v e r y ) 等应用中，同时大大降低了码率开 销。与s p 帧相对应，s i 帧则是基于帧内预测额度编码技术，其重构图像的方法 与s p 完全相同。 2 8 1 流间切换 视频在网络特别是无线网络上进行传输时网络状态是很不稳定的，如果视频 码流不能较好的适应网络状况的变化，将造成接收端视频画面播放不流畅或者停 滞的现象。这种情况可以通过码流切换【2 3 】的方式解决，即编码器以不同的码流 对统一视频源进行编码，解码器总是尝试对接收到的最高码流的码流进行解码， 如果因为网络状况恶化，则要求解码器能顺利方便地切换到低码流的码流，从而 1 3 北京邮电大学硕士学位论文 保证视频播放的流畅性。h 2 6 4 采用了特殊的s p s 1 分片技术，不但能使视频码 流之间进行方