（信息与通信工程专业论文）低复杂度视频压缩编码的研究.pdf

，南京邮电大学 硕士学位论文摘要 学科、专业：工科、信息与通信工程 研究方向：无线通信与信号处理技术 作者：张文隽 指导老师：吴蒙教授博导 题目：低复杂度视频压缩编码的研究 英文题目：r e s e a r c ho nl o wc o m p l e x i t yv i d e oc o d i n g 主题词：h 2 6 4 a v c视频编码低复杂度 帧内预测帧间预测 模式选择 k e y w o r d s ：h 2 6 4 a v c v i d e oc o d i n gl o wc o m p l e x i t y i n t r ap r e d i c t i o n i n t e rp r e d i c t i o nm o d ed e c i s i o n 南京邮电大学硕士研究生学位论文 摘要 摘要 h 2 6 4 a v c 作为i t u - tv c e g 和i s o i e cm p e g 联合制定的最新国际视频编解码标 准，以突出的编码效率和网络友好性受到人们的广泛关注。一方面，在基于块的混合视频 编码框架上集中了近些年来视频编解码领域内的最新技术特点，在同等图像质量条件下压 缩率较以往标准明显提高，在实际应用中具有强大的竞争力。另一方面，由于新技术引入 了巨大的算法复杂度，与以往视频编解码标准相比，h 2 6 4 a v c 的计算复杂度高出几倍甚 至十几倍。庞大的计算复杂度制约了h 2 6 4 a v c 在实际中的应用和推广。因此，在保证 编码效率的前提下尽可能降低编码的计算复杂度成了人们研究的热点。 本文针对编码部分复杂度较高的两个部分，即帧内预测和帧间预测模式选择的相关快 速算法进行了研究，并分别针对这两部分的快速算法进行了有效的改进，提出了复杂度更 低的模式选择算法：a f i m d a 和a l c f i m d a 。通过在j m 参考模型上的仿真实验证明， 本文提出的算法与改进之前的快速算法相比，在没有明显的降质情况下，本文所提出的算 法计算量明显减少，编码速度进一步提高。 将上述算法集成在x 2 6 4 编码器上，并成功应用于嵌入式开发系统。通过对比发现， 本文讨论的编码器对视频序列进行编解码后输出的图像与原始图像相比，图像质量没有明 显降质。由此证明本文所提出的算法大大降低了编码器的复杂度，符合嵌入式开发系统的 要求，对于h 2 6 4 a v c 视频编码标准的研究和发展具有十分重要的理论意义和应用价值。 关键词：h 2 6 4 a v c ；视频编码；低复杂度；帧内预测；帧间预测；模式选择 塑塞塑皇奎兰堡主里壅生兰垡堡茎a b s t r a c t a bs t r a c t h 2 6 4 a v ci st h en e w e s tv i d e 。c o d i n gs t a n d a r do ft h e i t u - tv c e ga n dt h ei s o i e c m p e g t h em a i ng o a i so fh 2 6 4 a v ca r et oe n h a n c ec o m p r e s s i o n p e r f o r m a n c ea n dp r o v l d ea t c n e t w o r k f r i e n d l y ， v i d e or e p r e s e n t a t i o n f o rc o n v e r s a t i o n a l ”( v i d e o e l e p h o n y ) a n d c n o n c o n v e r s a t i o n a l ，( s t o r a g e ，b r o a d c a s t ，o rs t r e a m i n g ) a p p l i c a t i o n s h 2 6 4 a v c p r e s e n sa n u m b e ro fa d v a n c e si ns t a n d a r dv i d e oc o d i n gt e c h n o l o g y , i nt e r m so f b o t hc o d l n ge t e n c y e n h a n c e m e n ta n df l e x i b i l i t yf o r e f f e c t i v eu s eo v e rab r o a dv a r i e t y o fn e t w o r kt y p e sa n d a p p l i c a t i o nd o m a i n s h 2 6 4 a v ca d o p t sm a n ya d v a n c e df e a t u r e s a n da c h i e v e sab e t t e rp e r f o r m a n c et h a nt h e p r e v i o u sv i d e oc o d i n gs t a n d a r d s ，b u ti t i n c r e a s e st h ec o m p l e x i t yo ft h ec o d e ca tt h es a m e t l m e t h eh i 幽c o m p l e x i t yh a sa m a z i n g l yi m p a c t - t e d o na p p l i c a t i o no f r e a lt i m ea n dc o d e c i m p l e m e n t a t i o no n m o b i l ed e v i c e h o wt oo p t i m i z eh 2 6 4c o d e c i sav e r yi m p o r r t a n tr e s e a 。c n i no r d e rt or e d u c et h ec o m p u t a t i o n a lc o m p l e x i t y ，m a n ya l g o r i t h m sh a v e b e e nd e v e i o p e d t h i st h e s i sm a i n l ya d d r e s s e st h o s ea b o u tm o d ed e c i s i o n so fp r e d i c i t i o n a f i m d a ( a d v 孤c e d f 嬲ti n t r am o d ed e c i s i o na l g o r i t h m ) a n da l c f i m d a ( a d v a n c e d l o wc o m p l e x i t yf a s ti n t e rm o d e d e c i s i o na l g o r i t h m ) h a v eb e e np r o p o s e dt oo p t i m i z et h ep r e v i o u s f a s ta l g o r i t h m sf o ri n t r aa n d i n t e rd r e d i c i t i o n e x p e r i m e n t s s h o wt h a tt h ea l g o r i t h m sp r o p o s e d c a nr e d u c ee n c o d e r c o m p l e x i t ye 髓c t i v e l yw i t h o u ti n c r e a s i n gr a t e d i s t o r a t i o np e r f o r m a n c e d e g r a d a t t o n t h ea l g o r i m m sa b o v ea r ei m p l e m e n t e dt h r o u g hx 2 6 4e n c o d e ra n d s u c c e s s f u l l yu s e dm e m b e d d e ds y s t e m t h e s er e s u l t sp r o v et h a tt h ea l g o r i t h m sp r o p o s e d i nt h i st h e s i sg r e a t l y e d u c e t h ee n c o d e rc o m p l e x i t ya n di n c r e a s et h ec o d i n gs p e e d t oa c h i e v et h er e q u i r e m e n to fe m b e d d e d s v s t e m ，w h i c hi sf u l lo ft h e o r e t i c a ls i g n i f i c a n c ea n da p p l i c a t i o nv a l u e f o rh 2 6 4 a v cv i d e o c o d i n gs t a n d a r d k e yw o r d s ：h 2 6 4 a v c ；v i d e oc o d i n g ；1 。wc 。m p l e x i t y ；i n t r ap r e d i c t i 。n ；i n t e r p r e d i c t i 。n ； m o d ed e c i s i o n i i 南京邮电大学硕士研究生学位论文 目录 目录 摘要i a b s t r a c t i i 目录。i i i 第一章绪论1 1 1 视频压缩编码的研究背景和意义1 1 1 1 视频压缩编码的基本原理1 1 1 2 压缩编码标准的发展2 1 1 2 1m p e g x 系列标准3 1 1 2 2h 2 6 x 系列标准4 1 1 3h 2 6 4 a v c 编码器的研究目的与意义4 1 2h 2 6 4 a v c 的研究现状5 1 3 本文的研究内容和章节安排6 第二章h 2 6 4 a v c 视频编码标准8 2 1h 2 6 4 a v c 视频编码标准的关键技术8 2 1 1 体系架构8 2 1 2 编码框架8 2 1 3 关键技术9 2 1 3 1 帧内预测9 2 1 3 2 帧间预测1 0 2 1 3 3 整数变换与量化1 2 2 1 3 4 熵编码1 2 2 1 3 5 去块效应滤波1 3 2 2h 2 6 4 a v c 与其它视频压缩标准的比较1 3 2 3 编码器复杂度的分析1 4 2 。4 本章小结15 第三章帧内预测模式选择算法1 6 3 1h 2 6 4 a 、，c 帧内预测模式选择16 3 2 低复杂度的模式选择算法_ f i m d a 算法1 7 3 2 1 预测尺寸的选择s 4 0 r 1 6 1 8 1 1 1 南京邮电大学硕士研究生学位论文 目录 3 2 2 快速h t r a 4 仁s k i pi n t r a 4 x 4 1 9 3 2 3f i m d a 算法流程2 0 3 3 改进的f i m d a a f i m d a 算法2 l 3 3 1 基于1 6 x 1 6 的亮度i n t r a4 x 4 预测算法l 4 b l l 6 2 2 3 3 2 基于1 6 x1 6 的色度i n t r a 8 x 8 预测算法c 8 b l l 6 2 3 3 3 3a f i m d a 算法流程2 4 3 4 实验与结果2 5 3 5 本章小结3 0 第四章帧间预测模式选择算法3 l 4 1h 2 6 4 a v c 帧间预测模式选择3 1 4 2 快速帧间预测模式选择算法3 2 4 2 1 帧间预测模式的分布特性一3 2 4 2 2 基于时间和空间相关性的快速帧间模式预测f i m d b t & s c 3 3 4 2 3 基于纹理特征的快速帧间预测模式选择叫i m d b t c 3 5 4 3 改进的低复杂度快速帧间模式选择算法a l c f i m d a 3 8 4 3 1 算法的思想与流程3 8 4 3 2 算法的改进一3 9 4 4 实验与结果4 0 4 5 本章小结4 5 第五章h 2 6 4 a v c 低复杂度视频压缩编码算法的应用4 6 5 1 编码器算法的整合4 6 5 2 编码器的硬件实现4 8 5 2 1 嵌入式系统的组成与特点4 8 5 2 2 嵌入式开发环境4 8 5 2 3 嵌入式系统的设计4 9 5 2 4 代码移植4 9 5 2 4 1f f m p e g 编码流程4 9 5 2 4 2f f m p e g 在嵌入式系统中的移植5 0 5 2 4 3 编码模块的移植“5 1 5 3 测试与结果5 1 5 4 本章小结5 6 i v 塑塞塑皇奎兰堡主婴壅生兰篁兰苎一三 第六章总结与展望川 致谢5 9 参考文献o u 作者攻读硕士学位期间发表的论文一 v 南京邮电大学硕士研究生学位论文 第一章绪论 第一章绪论 近些年来，随着网络和多媒体技术的不断发展，越来越多的数字视频业层出不穷，其 覆盖领域涉及通信、多媒体、广播电视等各个角落，其应用范围渗透到从高端到低端的各 类视频通信应用，如网络流媒体、数字电视广播、数字存储媒体、视频会议、可视电话等 竺【l 】 甘。 在这个网络与多媒体盛行的时代，视频数据不仅仅保存于c d 、d v d 等存储介质中， 更是频繁地在通信网络上传输，视频数据量的大小成为网络与多媒体技术中至关重要的问 题。为了有效地利用各种网络资源、节约带宽，各类数字视频压缩技术应运而生。 1 1 视频压缩编码的研究背景和意义 1 1 1 视频压缩编码的基本原理 从信息论的角度来看，数据压缩的本质就是去除数据之间的冗余信息而不影响数据重 建或还原的内容。实际中大多数类型的数据都带有统计冗余并且能够有效地进行无损压缩 编码，在解码端得到的无损的解压数据。但是对于图像和视频来说，无损压缩并不能够带 来理想的压缩率。当前最好的无损压缩标准也只能提供3 - - 4 倍的压缩率。相反，有损压 缩却能带来比较理想的压缩率。在有损压缩系统中，解压后的数据与原始输入数据近似， 即以一定程度的视觉质量来获取较高的压缩率【2 1 。 视频编码的目的是实现对视频流的压缩，其核心思想是去相关。通过减少视频序列间 的相关性，降低视频内容中的冗余，从而实现对视频信号的压缩。视频压缩不仅要去除视 频空间域的冗余和统计上冗余，更重要的是减少时域上的冗余。具体地讲，主要包括如下 一些方法 l 、空间冗余度的压缩：空间冗余是指在同一帧画面中，相邻的像素间存在的相关性，特 别是当这些相邻像素位于同一个视频对象中时，相关性极强，例如在图像的背景区域。 图像的空间相关性表示相邻像素点取值变化的快慢，这意味着图像信号的能量主要集 中在低频附近，高频信号的能量随频率的增加而迅速衰减。通过频域变换，可将原图 像信号用直流分量及少数低频交流分量的系数来表示，这就是变换编码中的离散余弦 变换( d c t ：d i s c r e t ec o s i n et r a n s f o r m ) 的方法。d c t 是j p e g 和m p e g 压缩编码的 基础，可对图像的空间冗余度进行有效的压缩。 2 、时间冗余度的压缩：通常对视频序列而言，除非发生场景切换，否则相继帧在时间上 l 南京邮电大学硕士研究生学位论文 第一苹绪论 都是连续的。前后两帧往往包含与当前帧相同的背景和对象，只是由于镜头的转动或 对象的移动使得空间位置发生变化，因此视频序列在时域存在极强的相关性。己知当 前帧中一个像素点的值后，不传送这个像素点本身的值而是传送与其前一帧对应像素 点的差值，也能有效地压缩码率，这就是差分脉冲编码调制( d p c m ：d i f f e r e n t i a lp l u s c o d em o d u l a t i o n ) 。在实际的压缩编码中，d p c m 主要用于各图像子块在d c t 变换后 直流系数的传送。相对于交流系数而言，d c t 直流系数的值很大，而相继各帧对应子 块的d c t 系数的值一般比较接近，在图像未发生跳变的情况下，其差值同直流系数本 身的值相比是很小的。 3 、统计冗余度的压缩：通常对于给定的一组数据；如果某些值出现的概率大，而另外一 些值出现的概率小，则这种统计上的不均匀性就构成了统计冗余度，可以对之进行压 缩。具体方法是对出现概率大的值用短码组来表示，对出现概率小的值用长码组来表 示，它们最终都用于表示这一组数据总的码位，这就是熵编码的思想。 4 、结构冗余和知识冗余的压缩：图像的某些区域存在非常强的纹理结构，图像的像素值 有明显的分布模式，形成结构冗余。或者图像中包含的信息与某些先验知识有关，例 如人的五官位置对于人脸而一言就是一种先验知识，这种冗余就构成知识冗余。 5 、视觉冗余的压缩：由于人眼视觉的非均匀性，使得人眼视觉对某些空间频率感觉迟钝。 因此视频中不同频率成分的内容对于人眼系统而言其重要性是不同的，即存在频域冗 余。例如人眼视觉系统对亮度信号变化的敏感性高于色度信号变化。因此可以对色度 分量进行降采样，同时保持主观视觉质量不变。y u v 4 ：2 ：0 色差格式就是对色度分量在 水平和竖直两个方向进行2 ：l 的降采样。另一方面对信号频域的各个分量可以采取不 同的量化因子，将人眼视觉不敏感的分量去除，而不会引起主观质量的下降。 正是因为图像数据中存在上述这些冗余，人们可以通过去除冗余数据实现图像数据的 压缩编码。 1 1 2 压缩编码标准的发展 随着数字视频编解码技术的发展，为了保证不同厂家视频编解码产品之间的互操作 性，国际组织在视频编解码标准化问题上开展了大量的工作。其中贡献最突出、影响力最 大的主要有两大系列：i t u t 制定的h 2 6 x 系列标准和i s o i e c 制定的m p e g 系列标 准。其中，i t u 。t 针对视频通信领域的一些应用如可视电话、视频会议等，分别制定了 h 2 6 l 、h 2 6 2 、h 2 6 3 、h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + ：i s o i e c 主要针对视频存储领域如 v c d d v d 等相继制定了m p e g 1 、m p e g 2 、m p e g 4 。尽管应用领域不同，但基本上都 2 一一 南京邮电大学硕士研究生学位论文 第一章绪论 采用了基于块的混合视频编码技术。两大国际标准组织在发展各自的视频压缩标准的同时 也注重合作，联合推出的m p e g 2 h 2 6 2 是目前应用得最广泛的国际视频压缩标准。在 h 2 6 4 的制订过程中，i s o i e cs ni t u t 再次联手推出了h 2 6 4 a v c t 5 1 ，并将其作为m p e g 4 的第l o 部分。图1 1 描述了视频压缩标准的发展历程。 ：? j l j ”：， ， 封 f ，1 h 2 6 3h 2 6 3 + ： t 曩：瑟蓉国矿 ) j ；一。：，j ：? ? t t ：，：， 毫；i 圣：茹；二乏蠢京 ，”，- ： ol 干o t 、二? ： 。s t a n d a d s 砖 薹? 荔磁 圈：墨k 1 9 8 41 9 8 61 9 8 81 9 9 01 9 9 21 9 9 41 9 9 61 9 9 82 0 0 02 0 0 2 图1 1 1 1 2 1m p e g x 系列标准 m p e g x 系列标准主要包括m p e g 1 、m p e g 2 和m p e g 4 ( p a r t 2 ) 。m p e g l 标准 制定的目标码率是1 2 m b p s ，编解码的图像大小为c i f ( 3 5 2 2 8 8 ) ，主要是针对v c d 视 频制作、存储和播放所制定的。在预测和变换方面，m p e g 1 采用的是帧间预测和二维 d c t 变换。量化后的d c t 系数进行变长编码，同时变换系数的d c 分量采用预测差分编 码。在图像预测类型方面，m p e g 1 支持帧内预测、前向帧间预测、双向帧间预测和直接 预测【4 1 。 m p e g 2 是目前在应用上最为广泛和成功的标准，它主要针对数字视频广播d v b 、 高清晰度电视h d t v 和数字视频光盘d v d 等应用而制定的，其视频编码部分在本质上就 是h 2 6 2 。m p e g 2 标准制定了不同的档次( p r o f i l e ) 和级别( l e v e l ) ，档次和级别的组 合可以定义一个编解码器所支持的具体特性【4 1 。这样不仅有利于同一标准下不同产品之间 的相互操作而且有助于m p e g 2 的推广和应用。 m p e g 4 标准能够同时支持低码率的流媒体和高码率的广播级应用。与其它标准相 比，m p e g 4 最大的不同是在编码时引入了视频对象v o ( v i d e oo b j e c t ) 的概念，这种基 于对象的编码方法可以进一步提高视频通信的交互能力和编码效率【4 1 。同时，m p e g 4 还 采用了诸如形状编码和自适应技术来支持任意形状视频对象的编码。 3 南京邮电大学硕士研究生学位论文第一章绪论 1 1 2 2h 2 6 x 系列标准 该系列标准中，h 2 6 1 是最早出现的视频编码标准。它是c c i t t 针对可视电话、视 频会议和窄带i s d n 等要求，结合实时编解码和低延时应用推出的一个视频编码标准。它 的输出码率为p 6 4 k b p s ，其中p 为0 3 l 的整数。当p 6 时，只能传输清晰度不太高的 视频图像，主要应用于可视电话：当p 6 时，可传输清晰度较高的图像，主要应用于视 频会议。h 2 6 1 定义了一个完整的视频编码算法，采用了帧内图像编码、帧间误差预测、 运动补偿、d c t 、变长编码等技术，建立了基于块的混合编码框架，为后来的视频压缩标 准奠定了基础【4 j 。 i s o i e c 和i t u t 联合推出m p e g 一2 之后，又推出了h 2 6 3 视频编码标准【4 】。h 2 6 3 是针对低码率视频通信推出的视频编码标准，目的是支持码率低于6 4 k b p s 的应用。在 h 2 6 1 的基础上，进行了一些重要的改进，如采用了半像素精度的运动估计，增加了非限 制运动向量，提出了基于语法的算术编码、先进预测模式及p 、b 帧编码等多个高级选项， 从而进一步降低了编码码率并提高了编码图像质量。h 2 6 3 + 和h 2 6 3 + + 进一步扩充了 编码选项，提高了编码效率，扩大了应用范围。除了能支持更多的图像格式外，还增强了 抗误码的差错掩盖功能。 h 2 6 4 a v c ，是i t u t 和i s o i e c 合作成立的联合视频组t ( j o i n tv i d e ot e a m ) 共 同制定的最新国际视频编码标准。融入了近些年来在基于块的混合视频编码技术方面的最 新成果，在相同的编码图像质量下，该标准相对于以往的标准可节省5 0 以上的码率。 关于编码标准的一些具体内容将在本论文第二章详细介绍。 1 1 3h 2 6 4 a v c 编码器的研究目的与意义 在i t u t 和i s o i e c 两大国际组织的积极努力和合作下，h 2 6 4 a v c 吸纳了近几年 来视频编码方面的先进技术，并将它们很好地结合起来，以较高的编码效率和网络友好性 成为了新一代国际视频编码标准【2 1 。与同类的其他视频编码标准相比，由于其技术方面的 先进性、研究方面的开放性以及应用方面的国际性引起了业界与学术界的强烈关注和积极 参与。但卓越的编码效率是以较高的计算复杂度为代价的，新引进的多种编码技术如多模 式的空间域帧内预测、多种块划分模式的帧间预测、多参考帧运动搜索和运动补偿、内容 自适应的熵编码以及去块效应环路滤波等，虽然对编码效率的提高做出了很大的贡献，但 引入的计算复杂度却相当高。在标准正式推出后，一些研究对h 2 6 4 a v c 的编码效率和 计算复杂度进行了评估。评估实验结果表明与以往的视频编码标准相比，在提高的编码效 率的同时，编码器的计算复杂度增加了4 5 倍，解码器的计算复杂度增加了2 倍【6 j ，既不 4 南京邮电大学硕士研究生学位论文 第一覃绪论 利于实时视频处理，也不便于在无线终端中使用，h 2 6 4 a v c 在实际的应用和推广中因此 受到了制约。为了从根本上解决这一问题，长期以来人们都在关注如何在保证编码质量和 编码效率的基础上，尽可能地降低编码器的复杂度，减少编码器的功率消耗，大量的算法 思想应运而生。 1 2h 2 6 4 a v c 的研究现状 针对算法复杂度高的问题，人们展开了海量研究：在实现方面基于各种平台进行了大 量的优化，在算法方面也提出了许多改进的快速算法。近几年，对h 2 6 4 a v c 各项编码 技术的研究和改进一直是自其推出之后的热点问题。在标准推出的初期，人们在这方面的 研究主要是以介绍性、综述性和验证性的工作为主。之后出现了许多相关算法改进方面的 文献资料。不同于以往的视频编码标准，在h 2 6 4 a v c 中帧内预测编码不仅出现在i 帧 中，在p 帧中编码器也会对宏块进行帧内编码并与帧间编码的结果进行比较，将编码开 销最小的模式作为宏块的最佳编码模式。在帧内预测方面，比较典型的算法有：f p a n 等 人提出了利用边缘方向柱状图来简化帧内预测模式选择的算法【7 1 。该方法首先利用边缘检 测算子( s o b e l 算子) 生成边缘图，获得边缘矢量：然后将具有相似的边缘方向的像素幅 度相加，得到对应的边缘方向柱状图。对于i n t r a 4 4 亮度预测，将具有最大幅度的三个 模式以及d c 模式作为帧内预测的候选模式。对于i n t r a l 6 1 6 亮度预测，将具有最大 幅度的模式以及d c 模式作为候选模式。对于i n t r a 8x8 色度预测，同样将具有最大幅 度的l 或2 个模式以及d c 预测模式作为候选模式。该方法在编码速度上有较大提高， 但是码率增加较多，对传输速度要求比较高。 b o j u nm e n g 等人提出了一种利用s a d 代价函数进行快速帧内预测模式选择的算法【8 】。该算法将4 4 块的1 6 个像素分成4 组，渐进式计算s a d ，并根据提前中止阈值在条件满足时结束计算。该算法即使在最坏 的情况下也能节省约2 5 的计算量。c h a o c h u n gc h e n g 等人利用相邻预测方向率失真 代价高度相关的特点，针对i n t r a 4 4 预测，提出了一种新的三步快速算法【9 】。该算法首 先检测模式0 、模式l 和模式2 ，从中找到率失真代价较小的模式作为候选模式a ：比 较模式o 和模式1 的率失真代价，然后检查较小的代价对应的模式相邻方向的两种编码 模式( 模式5 和模式7 或者模式6 和模式8 ) ，确定较小的代价对应的模式作为候选模 式b ；确定模式b 相邻方向的模式作为候选模式c ，最终在三种候选模式中选择最佳 i n t r a 4 x 4 预测模式。同全搜索算法相比，该方法只检测6 种预测模式，从而提高了编码 速度。r j i l l a n i 提出以机器学习的思想作为基础进行帧内预测，即事先通过w e k a 等 数据挖掘的工具对待编码的视频序列进行分析，得到宏块均值、方差以及相邻宏块差值等 壹室塑皇奎兰堕主型窒竺兰垡垒茎 至二雯丝笙 一系列特征的阈值，并引入选择算法【1 0 】。在实际编码的过程中先计算待编宏块的特征值， 再根据相应阈值进行判断归类。该方法可以有效降低算法的计算量提高编码速度，但数据 挖掘的部分会引入误差，导致最终编码质量下降。在h 2 6 4 a v c 的帧间预测过程中除了 支持多达七种块划分模式和多参考帧运动搜索，p 帧中还支持所有的帧内预测模式。在帧 间宏块划分模式方面，k e l i m 等人在文献中根据视频序列中物体运动的一致性，提出了 基于平滑区域检测的快速宏块划分模式选择算法【l 。a c y u 等人提出了利用宏块的d c t 系数统计宏块能量从而根据宏块的纹理复杂度进行模式选择划分的快速算法【l2 1 。在快速 运动搜索算法方面，h y e y e o n 等人结合的率失真优化算法提出了增强的带状预测搜索算 法( e p z s ) 1 1 3 】。c h o i 等人结合多种宏块划分类型将钻石快速搜索算法融入了h 2 6 4 a v c 编码器【1 4 】。z h iz h o u 等人利用的宏块划分特点提出了归并( m e r g e ) 和拆分( s p l i t ) 的快速运动 搜索算法【1 5 】。在多参考帧选择方面，y u w e n h u a n g 等人以宏块在前一参考帧中的预测结 果判断是否有必要参考后续的参考帧，提出了用于减少不必要参考帧计算的快速算法【l 6 1 。 本文以降低h 2 6 4 a v c 算法的复杂度为出发点，将改进算法的立足点放在模式选择 的部分，针对帧内预测模式选择和帧间预测模式选择分别对原有的算法提出了改进，并通 过仿真实验证明，算法改进后的可用性。 1 3 本文的研究内容和章节安排 h 2 6 4 a v c 作为i t u tv c e g 和i s o i e cm p e g 联合制定的最新国际视频编解码标 准，以突出的编码效率和网络友好性受到人们的广泛关注。在基于块的混合视频编码框架 上集中了近些年来视频编解码领域内的最新技术特点，包括多种模式帧内预测、树状帧间 预测、l 4 像素运动估计、整数变换量化，多参考帧运动补偿，自适应去块效应滤波以及 基于内容的嫡编码等。然而新技术在带来卓越编码性能的同时也引入了庞大的复杂度，对 实时系统以及编码器的功耗都是巨大的考验。如何在保证编码质量与编码效率的前提下尽 可能降低编码的计算复杂度成了人们关注的焦点。 基于实际应用的需求，本文在h 。2 6 4 a v c 视频压缩编码标准的基础上，分析了编码 器中各个模块的算法复杂度，针对编码过程中的关键部分帧内和帧间预测部分的模式 选择进行研究和优化，分别提出了低复杂度的快速算法，从而有效降低编码器的复杂度， 并成功应用于嵌入式的应用开发环境。 本文章节安排如下： 第一章：介绍视频压缩编码的研究背景，包括视频压缩的基本原理和压缩标准的发展 历程；提出本文的研究目标并简述相关研究的现状：引出本文的研究内容和章节安排。 6 南京邮电大学硕士研究生学位论文第一章绪论 第二章：介绍h 2 6 4 a v c 视频压缩编码标准的关键技术，并与其它标准在技术特征以 及编码性能两方面进行比较，重点分析不同于以往标准的技术特征和创新方法，探讨这些 特性与方法对h 2 6 4 编码效率和运算复杂度的影响。基于以上分析锁定优化对象。 第三章：介绍了基于不同准则的帧内预测模式选择的思想，阐述了相关算法的研究背 景，重点介绍了f i m d a 算法。鉴于f i m d a 突出的编码性能，为进一步降低该算法的复 杂度，在f i m d a 的基础上考虑预测方向的相似性，提出了优化后的a f i m d a 算法。通 过在j m 官方软件上实现该算法并进行仿真实验，结果证明能够有效降低帧内模式预测的 复杂度。 第四章：在研究快速帧间预测模式选择算法的基础上，比较不同快速算法的原理以及 特点。结合基于时间和空间相关性的快速帧间模式预测算法f i m d b t & s c 和基于纹理特 征的快速帧间预测模式选择算法f i m d b t c 的算法优势并对阂值以及相关计算表达式进 行优化，提出改进后的快速帧间预测模式选择a l c f i m d a 算法。通过在j m 官方软件上 实现该算法并进行仿真实验，结果证明能够有效能够有效降低帧间模式预测的复杂度。 第五章：整合本文前两章提出的模式选择的改进算法以及优化后的运动估计算法，构 成完整的编码方案用于a r m l l 的嵌入式开发系统，实现视频采集、传输以及编解码的功 能。通过f f m p e g 平台- t - x 2 6 4 源码，完成本文提出的基于h 2 6 4 的低复杂度视频处理系 统。 第六章：总结了本文的研究工作并提出了今后进一步深入研究的方向。 7 一 南京邮电大学硕士研究生学位论文 第二章h 2 6 4 a v c 视频编码标准 第二章h 2 6 4 a v c 视频编码标准 h 2 6 4 a v c 吸取了近年来相关研究的成果，引入了新的关键技术，形成其独有的技术 特点。制定h 2 6 4 a v c 的主要目标有以下两个： l 、得到高视频压缩比，提高编码效率。在相同图像质量的前提下，h 2 6 4 a v c 比h 2 6 3 编 码至少节省5 0 以上的码率。 2 、具有良好的网络亲和性，即适用于各种传输网络。 2 1h 2 6 4 a v c 视频编码标准的关键技术 2 1 1 体系架构 h 2 6 4 a v c 的编解码器可以分为两层，如图2 1 所示：视频编码层( v c l ，v i d e o c o d i n g l a y e r ) 负责高效的视频内容表示，提供具有高质量、高压缩比、健壮性、可分级 等特性的视频编码码流，这一部分是h 2 6 4 a v c 标准的核心部分：网络提取层( n a l ， n e t w o r ka b s t r a c t i o nl a y e r ) 负责以网络所要求的恰当的方式对数据进行打包和传送， h 2 6 4 a v c 可以面对不同的传输网络，灵活提供不同的封装方式，增强了网络的适用性【5 1 。 h 2 6 4 编码结构 v i d e oc o d i n g l a y e r v i d e oc o d i n gl a y e r e n c o d e rd e c o d e r 上 v c l - n a i 接q j r n e t w o r ka b s t r a c t i o nn e t w o r ka b s t r a c t i o n l a y e re n c o d e rl a y e rd e c o d e r n a le n c o d e r 接口n a ld e c o d e r 接口 丫t i h s z 。l 旧矍： 卜t 朋 i l t r a n s p o r tl a y e r 歹7 p 二 w i r e l e s s n e t w o r k sf i x e di n t e r n e t 图2 1h 2 6 4 编解码器的v c l 和n a l 的结构 2 1 2 编码框架 同以往的视频编码标准相同，h 2 6 4 a v c 依然采用基于块的混合编码框架，如图2 2 所裂5 1 。输入的帧或者场以宏块为单位被编码器处理。帧内预测用来消除视频序列中的空 间冗余信息，运动估计( m e ，m o t i o ne s t i m a t i o n ) 和运动补偿( m c ，m o t i o nc o m p r e s s i o n ) r 塑皇! ! ! ! ! 堕茎兰塑：! 堕壅圭兰垡笙文笙三童望：! 鱼! 型竺望塑塑塑堡堡 用来消除视频序列中的时间冗余信息；预测后的数据经过频域变换消除频域冗余。变换使 残差系数能量相对集中，通过量化，最后用熵编码进行二进制算术编码，最大限度的消除 量化后数据的符号冗余度。 f n 一厂y t r a n s f o n -j 。i x k ：= = = 陌忑彳 ( c u r r e nt ) v 7 c o d e r 叫。誓：麓。卜 。l jl + ，一一 f n 一1 c i o n 1 i _ ( r e f e r e n c e ) c o m p e f l s a ti o n飞 1o f 2w e v l o u 引y b s n c o m 坩f r a m e s 叫，篡。h 。，嬲。h f 。l n ，一 f n d e b l o c k n g uf n 二弋7 ” i n v e r s ei n v e r s e r e c o n s t r u c t e d 。 一 _ _ f i i t e r 一一一 t r a n s f o r mq u a n t 图2 2h 2 6 4 a v c 编码框架 2 1 3 关键技术 2 1 3 1 帧内预测 帧内预测是h 2 6 4 a v c 的重要特性之一，它可以利用当前块周围已经重建的像素值 对当前块进行预测，然后对预测块和实际块的残差进行变换、量化、熵编码，从而消除空 间冗余信息。对于亮度像素而言，帧内预测编码分为帧内4 4 预测( i n t r a 4 4 ) 和帧内 1 6 1 6 预测( i n t r a l 6 1 6 ) 两种。其中，i n t r a 4 4 有9 种可选的预测模式，详见图2 3 ， 独立预测每一个4 4 亮度子块，适合于带有大量细节的图像编码；i n t r a l 6 1 6 有4 种 可选的预测模式详见图2 4 ，预测整个1 6 1 6 亮度块，适合于平坦区域图像编码。对于 色度像素而言，编码尺寸为8 8 ，对应4 种可选的预测模式，类似于1 6 1 6 亮度块的 预测模式。 o 垂直 mbcdefgh i 3 k l 3 下左对角线 m a b c d e f g h i钐 】 k l l 水平 4 下右对角线 m abc id e f g h 鍪 9 2d c m a bcde f g h