（检测技术与自动化装置专业论文）基于h264avc关键技术的研究.pdf

摘要 摘要 h 2 6 4 a v c 是由国际电信联盟和国际标准化组织共同制定的新一代视频编码 标准，该标准支持从低带宽、高误码率的无线移动通信到高码率、低延迟的视频 广播在线流媒体等多种应用，因此，日益受到业界的关注。h 2 6 4 a v c 采用了一 系列先进的编码技术，在编码效率和网络自适应等诸多方面都超越了以往的视频 编码标准。研究和应用h 2 6 4 a v c 核心技术和思想方法，无论是对学术领域还是 对产业发展都是一项具有重要价值的工作。 本文首先深入研究了h 2 6 4 a v c 的编码策略和编码过程中的核心技术，并结 合实验验证了新标准的优势所在。随后针对h 2 6 4 a v c 编码过程中耗时最多的运 动估计模块进行深入的分析，根据h 2 6 4 a v c 运动估计的新特点，提出了一种基 于运动特性的自适应快速运动估计算法。新算法提出了一种新的起始点搜索方法， 给出了一种简单有效的运动类型判别准则，并根据不同的运动类型动态改变搜索 策略。实验表明，新算法的编码速度有了显著的提高。此外，h 2 6 4 a v c 中多种 编码模式的使用使得模式选择复杂度大大增加，针对这一问题，提出了一种基于 模式参考集的快速编码模式判决算法。该算法提出了模式参考集的概念，并给出 了一种基于模式参考集的模式选择方法，然后根据所选模式的特点给出了一种基 于模式选择的自适应搜索策略。实验表明，新算法可以简化模式选择过程。最后， 本文对视频通信系统中较常用的差错控制技术进行了归纳阐述，对h 2 6 4 a v c 中 所采用的典型差错控制技术进行了系统全面的分析，为研究h 2 6 4 a v c 的差错控 制算法提供了宝贵的资料，并为今后的工作打下良好的基础。 关键词：视频编码h 2 6 4 a v c 帧问预测运动估计差错控制 a b s t r a c t a b s t r a c t t h en e w e s tv i d e oc o d i n gs t a n d a r dh 2 6 4 a v ci sd e v e l o p e dc o l l a b o r a t i v e l yb yt h e n u - ta n di s o i e c t h es t a n d a r di sd e s i g n e dt og i v ean e wt e c h n i c a ls o l u t i o nf o ra b r o a dr a n g eo fa p p l i c a t i o n s ，s u c ha sv e r yl o wb i tr a t ec o n v e r s a t i o n a ls e r v i c e sa n d e n t e r t a i n m e n tq u a l i t yb r o a d c a s t ，i n t e r a c t i v ev i d e o - o u d e m a n ds e r v i c e se t c b ya d o p t i n g an u m b e ro fn e wc o d i n gt e c h n i q u e s , h 2 6 4 a v ch a sa c h i e v e das i g n i f i c a n t i m p r o v e m e n ti nc o m p r e s s i o np e r f o r m a n c ea n da n e t w o r k - f r i e n d l y ”v i d e or e p r e s e n m f i o n r e l a t i v et oe x i s t i n gs t a n d a r d s i nt h i sd i s s e r t a t i o n , t h en e wt e c h n i q u e si nh 2 6 4 a v ca r ef i r s t l yd i s c u s s e d , e x p e r i m e n t a lr e s u l t sp r o v et h ea d v a n t a g e o ft h en e ws t a n d a r dt h e n s e c o n d l y , w ed i s c u s st h em o s ti m p o r t a n tm o d u l ei nh 2 6 4 ，w c 一一m o t i o n e s t i m a t i o n b a s e do nt h en e wc h a r a c t e r so fm o t i o ne s t i m a t i o na b o u th 2 6 4 a v c , w e d e v e l o pan e wa l g o r i t h mc a l l e daf a s tm o t i o ne s t i m a t i o na l g o r i t h mb a s e do nc h a r a c t e r s o fm o t i o n , i nw h i c han o v e lm e t h o du s e dt od e t e r m i n et h ei n i t i a lm o t i o nv e c t o rs e a r c h p o s i t i o ni sp r o p o s e db a s e do i 3t h ec h a r a c t e r so fh 2 6 4 a v c t h ep r o p o s e da l g o r i t h mi s i m p r o v e db yi n c o r p o r a t i n gan e w m o t i o nd e t e r m i n a t i o nc r i t e r i aa n da na d a p t i v es e a r c h s t r a t e g y t h er e s u l t ss h o wt h a tt h en e wa l g o r i t h ma c h i e v e ss p e e d u pw i t hn e g l i g i b l e p s n rd r o p f u r t h e r m o r e ，v a r i a b l ec o d i n gm o d e sa r ee m p l o y e di nh 2 6 4 a v c ，w h i c h m a k e st h em o d es e l e c t i o nat i m e - c o n s u m i n gc o m p o n e n t i nt h i sd i s s e r t a t i o n , an e w a l g o r i t h mc a l l e daf a s tm o d ed e c i s i o na l g o r i t h mb a s e do nm o d er e f e r e n c ea g g r e g a t ei s p r o p o s e d w ef l r s td e v e l o pt h ec o n c e p to fm o d er e f e r e n c ea g g r e g a t e t h e nb a s e do nt h e m o d er e f e r e n c ea g g r e g a t e ，af a s tm o d ed e c i s i o na l g o r i t h mi sp m p o s e d t h i sm e t h o dc a n s i g n i f i c a n t l yr e d u c en u m b e ro fc a n d i d a t em o d e ，t h u ss i m p l i f y i n gt h ep r o c e d u r eo fm o d e d e c i s i o m f i n a l l y , t h ee r r o rc o n t r o lt e c h n o l o g i e st h a ta r er e l a t i v e l yo f t e na d o p t e di nv i d e o c o m m u n i c a t i o ns y s t e m sa r ee x p l a i n e di nd e t a i l t h ee r r o rc o n t r o lt o o l sw i t l lt h eo v e r a l l s y s t e ma n a l y s i si nt h eh 2 6 4 a v cs t a n d a r da r ed i s c u s s e dt h e n t h ew o r ki nt h i sr e s p e c t i sc a r r i e dt oo f f e rv a l u a b l em a t e r i a l sf o ru 髓t o rc o n t r o la l g o r i t h m s ，a n dl a yag o o d f o u n d a t i o nf u r t h e rf o rf u t u r ew o r k k e y w o r d ：v i d e oc o d i n g h 2 6 4 a v ci n t e rp r e d i c t i o nm o t i o ne s t i m a t i o n e r r o rc o n t r o l 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学分和优良的科学道德，本人声明所呈交的论文是我个人 在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加 以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的 研究成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而 使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做 了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名： 疆 j ：垒日期! ! ! i 垒181 旦 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研 究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有 权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或 部分内容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证， 毕业后结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大 学。( 保密的论文在解密后遵守此规定) 本人签名：器蝼 导师签名：日期2 1 1 z ! ：! 竺 第一章绪论 第一章绪论 1 1 引言 随着信息技术的发展和社会的进步，人们对于多媒体业务的需求不断增长， 多媒体不再局限于文本、语音和图片，视频图像将为用户提供功能更强大、更完 善的服务。由于数字视频在存储、编辑、传输等各个方面均明显优于模拟视频， 因此被广泛应用于视频会议、可视电话、视频点播( v o d ) ，电子商务、远程教 育等多个领域。 与语音、图片等媒体形式不同，数字视频数据量庞大，对存储器的存储容量、 通信信道的传输率以及计算机的处理速度等都提出了相当高的要求。解决这个问 题单纯用增加存储器容量和通信信道的带宽以及提高计算机的运算速度等方法是 不经济也是不现实的。因此，视频数据的高效压缩意义重大，是降低存储成本， 缓解网络带宽，突破存储空间和处理器主频限制的关键技术。 图像压缩编码从1 9 4 8 年电视信号数字化提出以来，已有五十多年的历史，不 仅在理论研究上取得了重大的进步，而且在实际应用中也获得了很大成果。近十 年来，图像编码技术日臻成熟，其标志就是多个关于图像编解码的国际标准的制 定，如用于视频存储和传输的m p e g 1 【1 j 、m p e g - 2 f “、m p e g - 4 3 j 标准，用于视 频会议和可视电话的h 2 6 1 t 4 、h 2 6 3 t ”、h 2 6 4 a v c t 6 j 等。这些视频压缩标准的 制定，在追求更高编码效率和简洁表达形式的同时也提供了非常好的视频质量。 但是，对于高效的视频通信，提高编码效率，降低原始码率只是其中的一个 方面，另一个同等重要的任务是要处理通信网络中的差错和损失。数据通信一般 不受严格的时延约束，因此能够采用重传机制确保无错传输。实时视频则不同， 它对时延敏感，因此不宜利用重传的方法；另外，视频编码中广泛采用预测编码 和变长编码，致使压缩的视频流更容易受到传输差错的损害。 因此，高效的视频编码技术以及可靠的差错控制技术在数字视频的研究中都 很重要，是非常重要的课题。近年来，许多人在这方面做了很多突出的贡献，研 究出许多使用的技术。 1 2 视频编码技术 1 2 1 视频编码技术简介 数据压缩可以分成两种类型：无损压缩和有损压缩。无损压缩是指利用压缩 后的数据进行重构，得到的数据与原来的数据完全相同；而有损压缩是指重构得 到的数据与原来的数据略有不同，但不会使人对原始资料的信息造成误解，却可 2 基于h 2 6 4 a v c 关键技术的研究 获得很高的压缩比【7 l 。 因为视频数据中包含的数据存在着很大的冗余，因此丢掉一些数据不至于对 图像所表达的意思产生误解，但却能够很大程度的提高压缩比，所以，视频数据 很适合采用有损压缩。 j 视频压缩编码的方法有许多种，这里仅介绍三种常用的压缩编码的方法： 1 熵编码 熵编码属于无损压缩。信息论中指出，信源中或多或少的含有自然冗余度， 这些冗余度既来自于信源本身的相关性，又来自于信源概率分布的不均匀性。而 熵编码就是寻求去除或降低相关性或改变概率分布不均匀性的手段和方法【”。 比较典型的熵编码方法有三种：一是利用相关特性的游程( r i c ) 编码方法。 二是利用概率分布特性的哈夫曼( h u f f m a n ) 编码方法。三是利用概率分布特性 的熵编码方法一算术编码( a r i t h m e t i c c o d i n g ) 阱【9 1 。 上述的几种熵编码方法已经广泛应用于数据压缩编码系统中，同时也广泛应 用于视频图像数据压缩系统中。它们被纳入国际标准如j p e g 、m p e g 、h 2 6 x 的 推荐算法，成为这些算法的重要组成部分。 2 预测编码 数字图像具有很好的连续性，像素之间有很强的相关性，当前像素的灰度或 颜色信号的数值，与相邻像素的数值相差无几，也就是说，可以通过对一个或多 个像素的观测，预测出它们相邻像素的大概取值，由此就引出了预测编码技术。 基本思路是：用先出现的像素值来估计后出现的像素值，将实际值与预测值求差， 只对这个差值信号进行编码、传送。 预测编码不仅可以用在单幅图像的压缩编码中，也可以用在多幅图像的视频 编码中，这其中的帧间运动补偿技术就是以它为基础的，目的是利用预测编码消 除图像帧问的相关性，降低图像信号的信息冗余度，提高压缩比【1 0 l 。 3 变换编码 上述两种编码方式都是直接对空域信号进行编码，而变换编码是先将空域图 像信号映射变换到另一个正交矢量空间( 变换域或频域) ，产生一批变换系数，然 后对这些变换系数，进行编码处理。 正交变换具有衡量守恒、熵保持、去相关性和能量集中等优势。正交变换域 描述的图像系数中会出现大量的零和近似零的系数，给压缩数据提供了可能。因 此变换编码无论对于单色和彩色图像，还是对于静止和活动图像都是一种高效的 编码方法。常用的正交变换有：离散余弦变换( d c t ) n 1 和小波变换【1 1 】。 原始视频信号的数据量是很庞大的，很大程度上受到现有网络资源和计算机 的限制，为了更好的利用这种多媒体形式，就需要对视频数据进行压缩。视频压 缩有很多种编码技术，针对不同的情况，在视频编码中一般都采用几种方法的混 第一章绪论3 合编码，以达到更好的编码效果。 1 2 2 数字视频编码标准 二十五年前，图像和视频编码成为一个广泛研究的课题。现在它的应用遍及 各行各业，已经从纯学术转变为高度的商业行为。不断增长的商业需求进一步推 动着标准的形成，各种国际视频编码标准的推出，使不同来源的图像和视频可以 在不同的硬件平台上处理，在不同存储设备上存储，不同通信网络上传输。目前 从事视频编码标准制定的国际组织主要有国际电信联盟r r u - t 的视频编码专家组 v c e g ( v i d e oc o d i n ge x p e r tg r o u p ) 和国际标准化组织i s o i e c 的运动图像专家 组m p e g ( m o t i o np i c t u r ee x p e r tg r o u p ) 。两个标准化组织基于不同的应用需求， 采用近似的压缩编码技术，分别制定了h 2 6 x 和m p e g - x 系列的视频编码标准。 其中r r u t 针对可视会议等应用分别制定了h 2 6 1 、h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + 、 h 2 6 l 、h 2 6 4 a v c ；i s o m c 相继制定了m p e g 1 、m p e g - 2 、m p e g 4 。以上国 际编码标准尽管应用领域不同，但是均采用了预测编码结合变换量化的混合编码 模式。下面对几种典型的国际视频编码标准作简要介绍。 一、m p e g x 系列标准 1 m p e g 1 m p e g - 1 用于运动图像，主要是针对存储媒体的视频编码标准，主要在光盘 内使用，如v c d 、视频游戏以及清晰度较低的图像传输系统。m p e g 1 标准是“用 于数字存储媒体高达约1 5 m b s 的活动图像和伴随音频的编码”，1 9 9 2 年n 月形 成国际标准。m p e g 1 标准采用了运动估计运动补偿、变换编码等技术，并规定 了编码位流的表示语法和具体解码方法。由于m p e g - 1 标准是针对数字存储的应 用而制定的，因此它的编解码器是不对称的，其编码端的复杂度通常要远远高于 解码端。 2 m p e g - 2 m p e g 一2 标准的全称为“活动图像及其伴音的通用编码”，用于运动图像，为 目前数字电视普遍使用的压缩方式，如数字有线电视、数字卫星广播、d v d 、高 清晰度电视等。 m p e g 2 不是m p e g 1 的简单升级，m p e g 2 在系统和传送方面做了更详细 的规定和进一步完善，还专门规定了多路节目的复用方式。为了满足对m p e g - 1 的兼容以及传输速率的多层次要求，m p e g 2 具有可分级性、灵活性和广泛的适 应性。在6 m b p s 时具有模拟复合电视的质量；在9m b p s 时具有模拟分量电视 的质量，支持多声道的音频编码。 m p e g 2 标准已经很完善，并得到了广泛的应用，是国际上公认的d v b 、d v d 和a t s c 的信源编码标准。现在也应用于数字电视广播系统的存储、非线性编辑 4基于h 2 6 4 a v c 关键技术的研究 和记录视频压缩编码。 3 m p b g 4 m p e g 专家组继成功定义了m p e g - 1 和m p e g 2 之后，于1 9 9 4 年开始制定 全新的m p e g 4 标准。m p e g 4 标准将众多的多媒体应用集成在一个完整的框架 内，旨在为多媒体通信及应用环境提供标准的算法及工具，用于实现视听数据的 有效编码及更为灵活的存取。 m p e g - 4 提供自然和合成的音频、视频以及图形的基于对象的编码工具，它 为多媒体数据压缩提供了一个更为广阔的平台，更注重于定义一种格式和框架， 而不是具体的算法，这样可以建立一个更自由的通信和研发环境，可以在系统中 加入许多新的算法，为使用计算机软件实现编码和解码提供更大的方便。它还可 以将各种各样的多媒体技术充分运用在编码中，除包括压缩本身的一些工具、算 法外，还包括图像分析和合成、计算机视觉、计算机图形学、虚拟现实和语音合 成技术。但是由于“基于对象的编码”尚有技术障碍，在技术专利保护问题上迟 迟难以找到有效的收费形式，因此该标准目前仍然没有得到普遍应用。 4 m p e g - 7 和m p e g 2 1 m p e g 7 0 2 1 标准称为“多媒体内容描述接口”( m u l t i m e d i a c o n t e n t d e s c r i p t i o n i n t e r f a c e ) ，目的是定制一套描述符标准，用来描述各种类型的多媒体信息以及它 们之间的关系，以便更快更有效地检索信息。这种标准化的描述可以加到任何类 型的媒体信息上，不管视频信息的表达形式或压缩形式如何，允许快速有效的查 询用户感兴趣的信息。 m p e g 2 1 1 1 3 1 是一个支持通过异构网络和设备使用户透明而广泛地使用多媒 体资源的标准，其目的是建立一个相互的多媒体框架，该框架能够使遍布全球的 各种网络和设备上的数字资源被透明和广泛的使用。 总的来说，m p e g 7 和m p e g - 2 1 其应用范围已经超出了传统的传输和存储范 畴，而是转向多媒体检索、交互式多媒体操作和内容管理等领域，已经不是一种 单纯意义上的视频编码算法。 二、h 2 6 x 系列标准 1 h 2 6 1 h 2 6 1 的全称是“v i d e oc o d e cf o ra u d i o v i s u a ls e r v i c e sa tp 6 4 k b i t s ”，主要应 用于i s d n 网上的视频会议系统，公布于1 9 9 0 年，是第一个采用现代编码算法 的通用视频编码标准，其后许多标准的形成都受到了h 2 6 1 的很大影响。h 2 6 1 又称为p * 6 4 k b i t s s 标准，是指它的应用主要针对6 4 k 的整数倍信道，p 取值在 1 3 0 之间。 在技术上，h 2 6 1 采用了基于块匹配的运动补偿方法，只支持整像素精度的 运动补偿和单向的单帧参考，即参考帧只能使用前一帧图像。h 2 6 1 使用8 8 第一章绪论 5 d c t 变换对原始图像或者预测残差进行变换。 h 2 6 1 只规定了解码的语法和程序，而对于编码中的许多关键问题没有做详 细的规定，例如码率控制以及如何进行运动估计等等。这样做既保证了不同生产 厂家的设备编码出来的码流完全兼容，同时也给各厂家发挥自己在关键技术上的 优势留下了很大的空间。此种做法在之后的视频编码标准中一直被沿用。 2 h 2 6 3 h 2 6 3 的全称是“v i d e oc o d i n gf o rl o wb i tr a t ec o m m u n i c a t i o n ”，目标应用 是低码率的视频电话，目标网络是p s t n 、i s d n 和无线网络。由于公用电话网 ( p s t n ) 和无线网络上的传输速率有限，且误码率较高，因此，i t u t 后来又 提出了h 2 6 3 的改进版本h 2 6 3 + 和h 2 6 3 + + ，以满足高压缩效率和强信道容错 能力的应用要求。改进版本新增加的特性以附录选项的形式加入到h 2 6 3 中。 h 2 6 3 系列标准中首次提出的许多概念，例如可变块大小的运动估计、初始 运动矢量预测、无限制运动估计、多参考帧运动补偿等都被其后的许多标准采纳。 3 h 2 6 ，a v c h 2 6 4 a v c 是r r i - 1 和i s o i e c 共同成立的联合视频组j v t ( j o i n tv i d e ot e a m ) 共同制定的新标准。h 2 6 4 ，f 钒，c 依然采用预测结合变换的混合编码方案，为了在 相同的编码框架下实现更高的视频压缩编码性能和更广泛的适用性，在每一个功 能模块中都引入了新的技术，使各功能模块的实现细节都产生了重要的改变。例 如1 4 、1 8 像素精度的运动估计，多块模式的帧间预测、多参考帧、帧内预测、 环路滤波器、自适应算术编码等技术的使用，使其性能超越了以往所有的视频编 码标准，具有光明的应用前景。 1 3 研究工作概要和本文组织结构 1 3 1 主要研究工作 h 2 6 4 a v c 是最新提出的新一代国际视频编码标准，它是视频压缩领域最新 的研究成果，代表着多媒体数据压缩编码的发展趋势。及时跟踪和了解h 2 6 4 a v c 的发展动态，掌握其核心技术，并结合实际应用在某些关键技术上有所创新和发 展，是一项很有价值的工作。本文对视频编码的原理和各项技术进行了深入的研 究，重点分析了新一代视频编码标准h 2 6 4 a v c 的帧间编码技术以及差错控制技 术。全文研究工作可以分为如下6 个阶段： 1 学习编码理论和通信系统原理，熟悉视频编码的基本思想和原理，了解视 频通信的发展动态，奠定研究工作的基础。 2 对现有视频图像编码标准h 2 6 x 系列、m p e g - x 系列等进行深入研究，对 6基于h 2 6 4 a v c 关键技术的研究 3 4 其基本思想、整体框架有了完整认识，熟悉各种标准的理论和应用范围， 分析所采用的关键技术。 深入学习h 2 6 4 a v c 标准，针对其验证模型j m ，深入剖析h 2 6 4 a v c 编 解码的原理和关键算法，并针对h 2 6 4 a v c 部分算法通过软件进行仿真。 学习运动估计的原理以及实现，并针对h 2 6 4 a v c 帧间预测算法中的技术 特点进行研究，在已有算法的基础上提出了两种新算法基于运动特性 的自适应快速运动估计算法( b m c s ) 和基于模式参考集的快速编码模式 判决算法( 凡w d ) ；使用v c + + 6 0 编写实验平台进行验证，得出结论。 针对h 2 6 4 a v c 中的差错控制算法进行研究，对h 2 6 4 f 艄，c 中所使用的 差错控制技术进行了归纳分析。 本文的主要贡献： 1 系统地研究了经典的视频编码方法，对视频编码国际标准的理论、发展和主 要技术进行了研究和分析。 2 深入研究了新一代视频编码标准h 2 6 4 a v c ，深入剖析了h 2 6 4 a v c 编解 码的原理及其关键技术，特别是对h 2 6 4 a v c 中运动估计算法，提出了它 的一般性规律。充分利用h 2 6 4 a v c 多种块尺寸模式的特点，提出了一种 新的起始点搜索方法，给出了一种简单有效的运动类型判别准则，然后详细 分析了运动矢量的分布特性，根据不同编码块的运动特征对运动类型进行判 定，并且根据不同的运动类型动态改变搜索策略，进而提出了一种新的运动 估计算法基于运动特性的自适应快速运动估计算法( b m c s ) 。实验表 明，新算法在相同的编码条件下，搜索速度分别比全搜索法和u m h e x a g o n s 算法提高了大约9 0 和3 8 ，而重建图像的p s n r 值与f s 算法相比损失 很小，比特率增加量也很小，获得了很好的编码质量。 3 h 2 6 4 a v c 中多种编码模式的使用使得模式选择复杂度大大增加。针对这 一问题，提出了一种新算法基于模式参考集的快速编码模式判决算法 ( r a m d ) 。r a m d 算法提出了模式参考集的概念，将所有可能的模式分为 若干个模式参考集，并给出了一种基于模式参考集的模式选择方法：首先从 四个候选参考集中确定一个模式参考集，然后只对所选参考集内的可能模式 进行检验，从而确定最优的编码模式。然后根据所选模式的特点给出了一种 基于模式选择的自适应搜索策略。实验表明，该方法可以大大减少候选参考 模式的数目，简化模式选择过程，在保证重构图像质量的情况下，编码速度 有了显著提高。 4 对视频通信系统中较常用的差错控制技术进行了归纳阐述，对h 2 6 4 a v c 中所采用的典型差错控制技术进行了系统全面的分析，为研究h 2 6 4 a v c 第一章绪论 7 的差错控制算法提供了宝贵的资料，为今后的工作打下良好的基础。 1 3 2 论文章节安捧 论文全文一共分为5 章：第一章为绪论，阐述视频编码技术的发展状况及发 展方向，研究背景、目的、意义及完成的主要工作。第二章介绍h 2 6 4 a v c 的编 码策略及技术特征，分析了h 2 6 4 a v c 中视频编码的各项关键技术：帧内预测， 帧间预测，整数变换及量化，去块滤波器，熵编码等，并通过实验与以往的视频 编码标准进行了性能对比。第三章首先介绍运动估计的基本原理，对基于 h 2 6 4 a v c 的经典运动估计算法进行分析。针对h 2 6 4 a v c 运动估计的新特点， 提出了两种新的算法，并通过实验与其它的算法进行性能比较，证明了它们的有 效性。第四章中剖析了差错控制技术的原理，分析了常用的差错控制技术，对基 于h 2 6 4 a v c 的典型抗误码技术进行了归纳阐述。第五章是对本文工作的总结和 未来工作的一些展望。 8 基于h 2 6 4 a v c 关键技术的研究 第二章h 2 6 4 a v c 视频压缩技术研究 2 1h 2 6 4 a v c 制定背景 由i s o i e c 提出的m p e g - 4 标准与以往提出的标准有很大的不同，它为多媒 体数据压缩提高了更广阔的平台，它定义了一种格式、种框架，而不是具体的 算法，它希望建立一种更自由的通信和开发环境。其编码系统是开放的，可随时 加入新的有效的算法模块。m p e g 4 标准是一个不断发展和更新的多媒体系统标 准，但就目前使用的m p e g 4 编码技术而言，它仍然没有真正实现基于对象的编 码和传输技术。 从编码方面看，m p e g 4 成熟应用的编码档次是简单档次( s i m p l ep r o f i l e ) ， 比如m i c r o s o f t 公司的w i n d o w sm e d i ap l a y e r 就是基于这种档次的媒体系统，这种 编码没有脱离传统的编码技术，因为基于对象编码的难点就是对象的提取，这项 关键技术在短时间内很难做到实用化。 从传输方面分析，目前流行的基于m p e g - 4 的流媒体技术，其本质上并没有 采用1 4 4 9 6 6 1 4 1 所提出的传输多媒体集成框架( d m i f ，d e l i v e r ym u l t i m e d i a i n t e g r a t i o nf r a m e w o r k ) ，而是根据i e t f 提出的传输建议嘲来实现的。基于d m i f 的传输技术仍然处于实验阶段，还不能成熟应用。 另一方面，i t u t v c e g 早在1 9 9 r 7 年就开始其h 2 6 4 a v c 的开发工作。2 0 0 1 年底，在见证了h 2 6 l 的优秀编码性能之后，i s o i e cm p e g 专家组加入r 1 1 j t v c e g ，这样r r u t 和i s o 门e c 共同成立了j v t ( j o i n tv i d e ot e a m ) 工作组，然 后开始标准的制定工作。_ n 呵的目标是建立一个全新的视频编码标准，同时提出 m p e g 4 的第1 0 部分( 1 4 4 9 6 1 0 ) 和h 2 6 4 a v c 建议这样的新标准。j v t 在2 0 0 3 年3 月正式颁布了这些标准。 2 2h 2 6 4 a v c 编解码策略 h 2 6 4 a v c 视频编码标准和以往的标准一样，仍然采用预测一变换相结合的 混合编码框架，具有良好的兼容性和可移植性。h 2 6 4 a v c 的编解码基本原理参 见图2 1 ，( a ) 为编码器框图，( b ) 为解码器框图。 第二章h 2 6 4 a v c 视频压缩技术研究9 c 1 至蔓广11 兰厂 k 要圆母一 一f ， + 乙r 1 广= = 1 ( a ) 编码器 ( b ) 解码器 图2 1i - l 2 6 4 a v c 编解码原理图 在编码器端，原始数据进入编码器后，当采用帧内编码时，首先选择相应的 帧内预测模式进行帧内预测；然后对实际值和预测值之间的差值进行变换、量化 和熵编码，同时编码后的码流经过反量化和反变换之后重构预测残差图像，再与 预测值相加得出重构帧，得出的结果经过去块滤波器平滑后送入帧存储器。采用 帧间编码时，输入图像块首先在参考帧中进行运动估计，得到运动矢量。运动估 计后的残差图像经整数变换、量化和熵编码后与运动矢量一起送入信道传输。同 时另一路码流以相同的方式重构经去块滤波后送入帧存储器作为下一帧编码的参 考图像。 在解码器端，当编码后的码流送入解码器时，首先根据语法元素进行判断。 如为帧内编码，则直接进行反量化、反变换加以重构；如果是帧间编码，所得到 的为重构的残差图像，此时需要根据帧存储器中的参考图像进行运动补偿后与残 差图像进行叠加，得出最终的当前帧。 2 3h 2 6 4 a v c 关键技术 h 2 6 4 a v c 对每一个功能模块都引入了新的技术，使各个功能模块的实现细 节都发生了重要的改变。引入了诸如变化的块尺寸、多参考帧、1 4 像素精度的 运动矢量、整数变换、基于内容的变长编码c a v l c ( c o n t e n t - a d a p t i v ev a r i a b l e 1 0 基于h 2 6 4 a v c 关键技术的研究 i 上n g t hc o d i n g ) 、帧内空域预测、环内去块滤波等一系列新的编码方法。这些新 方法的使用使得h 2 6 4 a v c 在保证视频图像质量的前提下，编码效率有了显著的 提高。下面就h 2 6 4 a v c 提高视频编码效率的技术进行分析。 2 3 1 分层设计 h 2 6 4 a v c 视频编码在概念上可以分为两层，分别为视频编码层v c l ( v i d e o c o d i n gl a y e r ) 和网络抽象层n a l ( n e t w o r ka b s t r a c t i o nl a y e r ) 1 1 6 1 d ”，图2 2 为相应的方框图。其中v c l 层主要负责高效率的视频数据压缩，采用了基于块的 混合编码方案，引入了许多新的编码方法。n a l 层负责根据传输网络的特点，以 恰当的方式对数据进行打包和分发，主要包括编码头信息、段结构信息和视频编 码层实际编码数据，以及逻辑信道信令、定时信息和序列结束信号网络传输标志。 在v c l 和n a l 两个层次之间定义了一个基于分组方式的接口，这样，高效压缩的 视频流就可以在各种有线或无线网络中进行视频传输。n a l 的产生不但使 h 2 6 4 a v c 对目前现存的各种不同网络有很强的友好性，而且使它对未来的网络 同样具有很强的适应性。 h 2 6 4 1 a v c 概念层 视频压缩编码层 视频压缩解码层 视频压缩网络存取层接口 t v l c n a l 网络抽象编5 马层 网络抽象解码层 jl 网络存取层编码接口网络存取层解码接口 n 2 6 4 对l 僻惝圳豁jl 豁i 黼层 n 瓠 有线网络 无线网络 图2 2h 2 6 4 a v c 标准的分层体系结构 2 3 2 帧内编码 帧内编码是传统混合编码框架的重要组成部分。如果对一帧图像进行编码时 没有利用任何其它帧图像的信息，对该图像的编码就称之为帧内编码。一般情况 第二章t i 2 6 4 a v c 视频压缩技术研究 下，视频序列的初始帧都采用帧内编码形式。同时，采用帧问编码时，对某些宏 块也可采用帧内编码的形式。 帧内编码主要是通过消除图像的空间冗余信息来实现对图像的压缩。传统的 帧内编码消除空间冗余信息的手段是采用d c t 变换技术对原始数据进行变换、并 对d c r 变换量化后的系数进行变长编码和熵编码。h 2 6 3 + 和m p e g 4 中，在编 码i 帧时采用了基于频域的帧内编码。h 2 6 4 a v c 中使用了精度更高的帧内编码 算法，该算法基于空间的像素值进行预测。对于除了边缘块以外每个4 x 4 块，其 中的像素都可以用若干个最接近的先前已编码的像素的不同加权和来预测。显然， 这种帧内预测不是在时间上，而是在空域上进行预测编码，可以去除相邻块之间 的空间冗余度，取得更为有效的i 帧压缩。 h 2 6 4 ，艄，c 对亮度分量和色度分量设定了不同的预测编码方案。亮度分量的 帧内预测包含两种预测模式：基于4 4 像素块的帧内预测模式( i n t r a 4 x 4 ) 和基 于1 6 x 1 6 像素块的帧内预测模式( i n t r a l 6 x1 6 ) ；对色度分量只有一种预测模式。 对每种预测模式设定了不同方向的预测选项以尽可能高的精度来预测不同纹理特 性的图像子块。 ( 1 ) 4 x 4 亮度预测模式 h 2 6 钔w c 支持小至4 x 4 块的预测，具有更高的预测精度。i n t r a 4 x 4 一共 有9 种预测模式，其中，m o d e 2 为d c 预测，其余8 种预测模式分别代表了8 种 不同的方向。块内同一方向上的像素点具有相同的预测值，以此来近似逼近不同 方向纹理特性的图像。 心易t 自。兮 0 qbcdefg m i爹零髻潮 j黔”墨 蓉 磋 x黎 ：毒 赣 趱 l熬 黥藏 图2 3i n t r a 4 x 4 预测模式图2 44 4 块各像素点定义 如图2 4 所示，4 x 4 亮度块的上方和左方像素a q 为已编码并重构的像素， 用作编解码器中的预测参考像素。a 叩为待预测像素，利用a 0 值和9 种模式 实现。其中m o d e 2 ( d c 预测) 根据a q 中已编码像素进行预测，而其余模式 只有在所需预测像素全部提供后才能使用。表2 1 给出了9 种模式的描述。 基于t z 2 6 4 a v c 关键技术的研究 表2 1i n t r a 4 x 4 预测模式描述 预测选项预测选项名称预测算法 m o d e 0 垂直预测通过当前预测块正上方的相邻系数进行预测 m o d e l水平预测通过当前预测块正左方的相邻系数进行预测 m o d e 2d c 预测 ( a + b + ( - + d + e + f + 0 + h ) 8 m o d e 3左对角预测 以4 5 角的方向预测当前块 m o d e 4 右对角预测以4 5 角的方向预测当前块 m o d e 5 垂直右对角预测以2 7 0 + a 的方向预测当前块 m o d e 6 水平右对角预测 。 以一a 的方向预测当前块 m o d e 7 垂直，左对角预测以2 7 0 。- a 的方向预测当前块 m o d e 8水平，左对角预测以a 的方向预测当前块 ( 2 ) 1 6 x1 6 亮度预测模式 如果视频图像区域内部较为平坦，包含的图像细节不多，此时可以对1 6 x1 6 的像素块直接进行帧内预测编码，而无需进一步进行分块，从而可以减少帧内预 测的计算量。i n t r a l 6 x1 6 一共有四种预测模式，分别为：垂直预测、水平预测、 d c 预测和平面预测( p l a n ep r e d i c t i o n ) ，如图2 5 ，其描述见表2 2 。 m o d i e 0 ( 垂直)m o d e l ( 水平)m o d e 2 ( d c ) 图2 5i n t r a l 6 x1 6 预测模式 表2 2i n t r a l 6 x1 6 预测模式描述 模式描述 m o d e 0 ( 垂直)由上边像素推出相应像素值 m o d e l ( 水平)由左边像素推出相应像素值 m o d e 3 ( d c ) 由上边和左边像素平均推出相应像素值 m o d e 4 ( 平面) 利用线形“p l a n e ”函数及左、上像素推出相应像素值，适 用于亮度变化平缓区域 ( 3 ) 8 x 8 色度块预测模式 人眼系统的视觉特性决定了人眼对于色度信号不如亮度信号敏感，在编码色 度分量时一般采用较为粗糙的采样和量化方式，因此色度分量的帧内预测模式是 以8 x 8 块为单位进行的。每个帧内编码宏块的8 8 色度成分由已编码左上方色 度像素的预测而得，两种色度成分常用同一种预测模式。4 种预测模式类似于 i n t r a l 6 1 6 得4 种预测模式，只是模式编号不同。其中d c 为m o d e 0 、水平为m o d e l 、 垂直为m o d e 2 、平面为m o d e 3 。 第二章i t 2 6 4 a v c 视频压缩技术研究 2 3 3 整数变换与量化 在h 2 6 4 a v c 以前的视频编码标准，采用的都是对图像信息进行d c r 变换， 把经过运动补偿或帧内预测得到的残差从空域转换到频域，减少空间冗余，以提 高传输效率。但是d c r 变换中大量使用了浮点数的乘法和加法运算，使编解码器 的运算速度受到限制。在h 2 6 4 a v c 中采用了基于d c t 的整数变换，编码器和 解码器使用精度相同的变换和反变换，不会出现d c t 变换中的“反变换误差”。 变换块的单位是4 x 4 ，而不是以往常用的8 x 8 或者1 6 x1 6 ，这是由于变换块的 尺寸缩小，运动物体的划分更加精确，不但变换的计算量比较小，而且在运动物 体边缘处衔接误