（通信与信息系统专业论文）h264差错掩盖算法的研究及解码器的dsp实现.pdf

浙江工业大学硕士学位论文 h 2 6 4 差错掩盖算法的研究及解码器的d s p 实现 摘要 h 2 6 4 是目前最新的视频压缩编码标准，它以其较好的压缩性能和网络适应性在视频通 信领域得到了广泛应用。在视频传输过程中，信道本身的差错会导致码流数据的丢失，同 时由于编码技术采用了帧间、帧内预测以及可变长编码方式，解码错误会在空域或时域上 扩散，严重降低主观视觉效果，因此差错掩盖技术显得尤为重要。本文在h 2 6 4 基础上重点 研究了解码端的差错掩盖技术。 h 2 6 4 编码的计算复杂度较高，故一般很难满足某些实时性的应用。本文基于 u c l i n u x 操作系统将h 2 6 4 解码器移植到b l a c k f i n 5 3 3 目标板上，提高了解码速度，满足实 时性需求。 本文主要的工作和成果如下： 1 深入研究了h 2 6 4 标准参考模型j m 8 6 中的差错掩盖算法。对j m 中的空域和时 域差错掩盖方案分别做了详细分析，并提出了一种改进的时域差错掩盖算法，该 算法利用了h 2 6 4 多参考帧的新特性，提高了预测运动矢量的准确性，同时对边 界匹配算法做了改进，采用相邻块之间的运动一致性来恢复丢失的运动矢量。 2 在掌握了b l a c k f i i l 5 3 3 芯片和u c “n u x 的相关知识的基础上，熟悉它的开发环境 s u a ld s h 斗4 5 ，将u c l i n u x 操作系统移植到b l a c k f i n 5 3 3 目标板上，在板子上 实现了h 2 6 4 解码器，最后对解码性能做了测试。 关键字：h 2 6 4 ，差错掩盖，b l a c k f i n 5 3 3 ，解码器，u c l i n u x ，d s p 实现 浙江工业大学硕士学位论文 一一_ r e s e a r c ho fe r r o rc o n c e a l m e n t a l g o r i t h m a n dd s pi m p l e m e n t a t i o no fd e c o d e r b a s do n h 2 6 4 a b s t r a c t h 2 6 4i st h el a t e s tv i d e o c o d i n gs l a n d a r d i t h a sb e e n 、v i d e l y a p p l i e di nt h ev i d e o c o m m u n i c a t i o n sw i t hi t s g o o dc o m p r e s s i o np e r f o n n a n c ea n dn e t w o r ka d a p t a b i l i 哆i n 啊d c 0 仃a n s n l i s s i o np r o c e s s ，町0 r so ft l l ec h a i l l l e lc 锄l e a dt ot h el o s so fd a t as 仃e a r i l s i m u l t a n e o u s l y b c c a u o fa d o p t i n gv 州a b l el e n 舀hc o d i n g ，i n 廿a p r e d i c t i o na n di n t e 叩r e d i c t i o nn e w t e c h n i q u e s ， r e 跚l t i n gi nt h es p r e a do ft h ed e c o d i n ge r r o r s t h e r e f o r c ，锄rc o n 仃o la n de r r o rr e c o v e r yi n 们d e o 仃a n 泐i s s i 伽i sv e r yi m p o n a n t t h i sp a p e rf o c u s e s0 nt h ee 盯0 rc o n c e a l m 朗tt e c h n i q u e so f h 2 6 4i nt h ed e c o d e r b e c a u s et h ec o m p u t a t i o n a lc o m p l e 蚶t ) ，o fh 2 6 4i sh i g h ，i ti sv e r yd i 伍c u l tt 0m e e tc e r t a j n r e a l - t i m ea p p l i c a t i o 舾b a s e d0 nt h eu c l i n u x0 p e r a t i n g s y s t e m ，t 1 1 i sp a p e r 旬陋n s p l a n th 2 6 4 d e c o d e rt ob l a c k f i n 5 3 3t a 唱e tb o a r d ，i m p r 0 v i n gt h ed e c o d i n gs p e e da n d m e e t i n gr ln e e d s i nt h i sp a p e r ，t h ew 耐k 柚da c h i e v e m t s 盯ea sf o l l o w s ： 1 r e s e a r c h i n gt h ee r r o rc c l m 铋ta 1 9 0 r i t h mo ft h es t a n d a r dr e 五e r 饥c em o d e l j m 8 6f b r h 2 6 4 a n a l y z i n gt h es p a t i a la n dt e m p o r a le r r o rc o n c e a l m e n ts c h e m e so fj mi nd e t a i l a n dp r o p o s i n g 锄i m p r 0 v e dt e m p o r a le 1 1 r o rc o n c e a l m 朋ta l g o r i t h m ，w h i c hu s t l l e m u l t i p l er e f e r e n c ef r a m e so fh 2 6 4n e wf h t u r e st oi m p r o v et l l e a c c u r a c yo ft i l e p r e d i c t i o nm o t i o nv e c t o r m e a n w h il e ，t h eb o u n d a r ym a t c h i n ga 1 9 0 r i t h mh a sb e i m p r o v e db yt h ec o n s i s t e n c yo fm o v e m e n to fb e t w na d j a c e n tb l o c k st 0r e c o v c rt h e 1 0 s tm o t i o nv e c t o r 2 0 nt h eb a s i so f g r a s p i n gt h er e l e v a n tk n o w l e d g eo fb l a c k f i n 5 3 3a n du c l i n u x ，b e i n g i i 浙江工业大学硕士学位论文 伍删l i a r 州t hi t sd e v e l o p m e n te n 俯。咖e n tv i s u a ld s p + “5 ，t h i s p a p e r 仃a n s p l a n t s u c l i n u xt ob l a c k 行n 5 3 3t a r g e tb o a r d ，r e a l i z i n gh 2 6 4d e c o d e ra n d t e s t i n gt h e d e c o d i n gp e r f 0 m a n c ea tl a s t k e yw b r d s ：h 2 6 4 ，e 仃0 rc o n c e a l m e n t ，b l a c k f i n 5 3 3 ，u c l i n u x ，d e c o d e r ，d s pi m p l e m e n t a t i o n 浙江工业大学硕士学位论文 第1 章绪论 1 1 论文选题背景和意义 随着数字通信技术和各种网络技术的不断发展，视频通信得到了广泛的应 用。而受视频信息量大和网络传输带宽的限制，在传输前我们必须对视频信 息进行压缩处理。因此，人们一直在努力制定一个合理高效的视频压缩标 准。如今，在视频编码标准方面，主要包括两大系列，一是i s o 制定的 m p e g x 系列，一是i t u 制定的h 2 6 x 系列。而h 2 6 4 是国际标准化组织 ( i s o ) 和国际电信联盟( i t u ) 共同提出的新一代视频压缩编码标准，是 目前图像通信领域研究的热点问题之一。 h 2 6 4 最大的优势是具有很高的数据压缩比，在同等图像质量条件下，h 2 6 4 比上一代编码标准m p e g 2 平均节约6 4 的传输码流，而比m p e g _ 4 要平均节 约3 9 的传输码流，同时还拥有高质量流畅的图像和良好的网络适应性【1 1 。 基于这些优点，h 2 6 4 算法在视频通信中的应用极为广泛，例如视频监控、 数字电视广播、高清电视、在线视频的存储和点播、3 g 视频电话等等，其 中视频监控是其主要的应用方向之一。 在视频通信中，由于数据经过压缩编码后去掉了图像大量的时间和空 间相关性，并且压缩编码技术采用了变长编码，使得编码端输出的图像具 有比原始图像较少的冗余信息，从而导致压缩后的图像对信道误码十分敏 感，码流数据的任何一位丢失或错误都可能导致重建图像的失真，同时帧 间预测技术又使得错误的图像扩散影响到后续帧图像，形成扩散效应【2 1 。与 此同时，由于信道噪声的影响，码流在传输过程中可能被修改或丢失。这 种误码在不同程度上影响了解码端的视频恢复。因此，差错控制及错误恢 复技术在视频传输中显得尤为重要。 近年来，随着高速数字处理器技术的迅速发展，实现图像的嵌入式处 理也逐渐成为可能。d s p 作为数字信号处理的基本硬件工具，在这一领域 浙江工业大学硕士学位论文 发挥着越来越重要的工具。而利用高性能的d s p 来实现h 2 6 4 实时编解码 器是一种快速有效的方法，有助于h 2 6 4 编码标准的推广和应用。 b l a c k f i n 5 3 3 是a d i 公司推出的一款高性能的数字信号处理器，具有6 0 0 m 的主频。本文选择其作为硬件平台，对h 2 6 4 解码器进行了移植。 1 2 国内外研究现状 1 2 1视频压缩技术发展状况 视频图像数据之间存在着大量的冗余信息，包括空间冗余、时间冗余、 结构冗余、统计冗余等等，而压缩技术就是将数据中的这些冗余信息去掉， 以降低视频数据的存储和带宽需求。目前，使用较多的两种视频压缩标准 是i s o 制定的m p e g x 系列和i t u 制定的h 2 6 x 系列。如图1 1 所示是视 频压缩标准的发展历程【3 】： 图1 1视频压缩标准的发展历程 m p e g 1 是m p e g 组织制定的第一个视音频有损压缩标准，于l9 9 2 年正式 被批准成为国际标准。它是为c d 光碟介质定制的的视音频压缩格式，采用了块 方式的运动补偿、离散余弦变换( d c t ) 、量化等技术，传输速率为1 5 m b i t s ， 每秒播放3 0 帧，视频压缩率为2 6 ：l ，且m p e g 1 编解码器能单独分别使用 i 帧、p 帧、b 帧。m p e g 1 主要应用于多媒体视频存储，也被用于数字电话网 络上的视频传输。与m - j p e g 技术相比较，虽然m p e g 1 在编码速率、压缩比 2 浙江工业大学硕士学位论文 和处理速度上均有明显的提高，但是也存在着许多不足，如图像清晰度不高，不 适合网络传输，使用灵活性差等【4 1 。 m p e g - 2 于1 9 9 4 年推出，以实现视音频服务与应用互操作的可能性，主要 针对标准数字电视和高清晰度电视( h d t v ) 的需要，编码码率为3 1 0 m 彬s 间， 与m p e g 1 兼容。m p e g 2 将编码图像分为i 帧，p 帧和b 帧三大类，利用图 像中的时间和空间相关性进行数据的压缩。m p e g 2 除了用作d v d 的指定标准 外，同时还应用于广播电视领域，主要包括视音频资料的保存和电视节目 的非线性编辑系统及其网络两个方面的应用。 e g 4 于1 9 9 8 年l1 月公布，是针对一定比特率下的视音频编码，更加注重 多媒体的交互性和灵活性。与m p e g 1 和m p e g 2 相比，m p e g - 4 最大的不同 点是采用了基于对象的编码理念【5 】，而且m p e g - 4 对传输速率的要求也较低， 大约为4 8 0 0 0 0 b i t s ，在网络传输中还可以对m p e g 4 的码流速率进行设 定，清晰度也可在一定的范围内变化，故系统使用时的适应性和灵活性得 到了很大提高。m p e g _ 4 标准主要应用于因特网视音频广播，无线通信，电视 电话等。 h 2 6 l 是1 9 9 0 年由i t u t 制定的第一个实用的数字视频编码标准，其 设计的目的是能够在带宽为6 4 k b p s 的倍数的综合业务数字网( i s d nf o r i n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k ) 上传输质量可接受的视频信号。h 2 6 l 使 用了混合编码框架，颜色空间采用的是y c b c r 模式，并使用4 ：2 ：0 色度抽样， 每个宏块包括1 6 1 6 的亮度抽样值和两个相应的8 x 8 的色度抽样值【4 l 。码率 范围为4 0 k b p s 到2 m b p s ，能够对c i f 和q c i f 分辨率的视频进行编码。 h 2 6 3 是国际电联i t u t 的一个标准草案，是为低码流通信而设计的。 但实际上这个标准可用在很宽的码流范围，而非只用于低码流应用，它在 许多应用中认为被用于取代h 2 6 l 。h 2 6 3 的运动补偿使用半象素精度，采用 无限制的运动向量以及基于语法的算术编码。 h 2 6 3 + 是1 9 9 8 年由i u t t 推出的h 2 6 3 建议的第2 版，进一步提高了 压缩编码性能。相比于h 2 6 3 ，h 2 6 3 + 支持5 种视频源格式，允许更大范围 的图像输入格式，自己定义图像的尺寸，从而拓宽了编码标准的应用范围。为 适应网络传输，h 2 6 3 + 增加了时间分级、信噪比和空间分级，同时片结构模式、 3 浙江工业大学硕士学位论文 参考帧选择模式又增强了视频传输的抗差错性能。另外，h 2 6 3 + 在h 2 6 3 中 的运动矢量模式的基础上，增加了l2 个新的可选模式，不仅提高了编码性 能，而且提高了应用的灵活性。 a v s 是由我国牵头制定的、技术先进的第二代信源编码标准，是开放 式的标准，易于推广，编码效率比m p e g 2 高2 3 倍，但与a v c 相当。a v s 是一套较完整标准体系，它包含了对系统、音视频、媒体版权的管理，为 数字音视频产业提供了强大的支撑。a v s 产业化的主要产品形态包括芯片、 软件、整机，其最大的应用价值是能够为标清的数字电视传输系统直接提 供高清业务，同时利用当前的光盘技术制造出新一代高清晰度激光视盘机， 从而为我国数字音视频产业的迅速发展提供机会。 h 2 6 4 a v c 于2 0 0 3 年3 月正式发布，既是l t u t 的h 2 6 4 ，又是i s o i e c 的m p e g - 4 的第1 0 部分。它是一个面向未来i p 和无线环境下的新数字视频 压缩编码标准，具有较强的抗误码性以及网络适应性。h 2 6 4 的应用涵盖了 大部分的视频服务，如远程监控、数字电视、视频会议、视频点播等等。h 2 6 4 即继承了以往压缩技术的精华又采用了许多新技术，如分层设计，多帧参 考、高精度、多模式运动估计，改进的帧内预测等，这些都显著提高了预 测精度，从而获得比其他标准好得多的压缩性能。虽然h 2 6 4 编码性能得 到了提高，但是计算复杂度确大幅增加，据统计，h 2 6 4 解码的计算复杂度 大约相当于h 2 6 3 的2 倍【6 1 。 与之前的标准相比，h 2 6 4 具有最高的编码效率，其主要优势有【7 】： 1 低码流：在同等图像质量的条件下，h 2 6 4 的压缩比是m p e g 2 的 2 倍以上，是m p e g 4 的1 5 2 倍； 2 容错能力强：h 2 6 4 标准中使用了很多错误恢复工具，如参数集和 片的使用、f m o 、冗余片等关键技术： 3 高质量的图像：h 2 6 4 可在很宽的码率范围内提供高质量的视频服 务； 4 网络适应性强：h 2 6 4 采用了分层技术，将视频编码层和网络提取 层分离，对n a l u n i t s 进行封装，而且指定了参数集，这些技术的 使用提高了h 2 6 4 的网络适应性。 4 浙江工业大学硕士学位论文 1 2 2 差错掩盖技术概述 目前，视频通信中的差错掩盖机制可粗略的分为前向差错掩盖、后向差 错掩盖以及交互式差错掩盖。按照冗余技术的特性来分，后向差错掩盖技 术可分为时域差错掩盖、空域差错掩盖和频率差错掩盖。 由于后向差错掩盖技术即解码端的差错掩盖只针对解码过程，没有改变 视频码流结构，也没有增加传输的开销，因此应用较为广泛。国内外的许 多学者对其进行了研究，并提出了多种差错掩盖算法。 在现有的差错掩盖算法中，空域差错掩盖主要包括加权像素平均值算法和方 向插值算法。而时域差错掩盖关键是对运动矢量的估计，再根据恢复的运动矢量 对错误块进行补偿替代。现有的运动矢量恢复方法较基本的有：零运动矢量【8 1 ， 即简单的将参考帧中错误块的对应位置块内容填入错误块，此方法对于静止图像 序列有较好的恢复效果；邻域宏块运动矢量的均值【9 】；邻域宏块运动矢量的中值 ；基于边界匹配的算法( b o u n d a 巧m a t c h i n g - b a s e da 1 9 0 r i t h mb m a ) 。 1 2 3h 2 6 4 解码器实现的d s p 平台的选择 近年来，d s p 技术发展迅速，而且由于d s p 芯片能够实时的对大量数据进 行数字处理，故在声音和图像处理领域应用十分广泛和理想。基于这个优点本课 题选择了d s p 平台这种方式来实现h 2 6 4 解码器。但是d s p 芯片的种类繁多， 我们需要对这些芯片进行比较和分析，从而为h 2 6 4 解码器选择一款合适的芯 片。目前，用作图像处理的d s p 芯片主要包括以下两种：t i 的t m s 3 2 0 系列和 a d i 的b l a c k f i n 系列。 t l 是全球领先的d s p 芯片生产商，其t m s 3 2 0 系列产品具有哈佛结构，流 水线操作，专用的硬件乘法器，特殊的指令系统，快速的指令周期等特点。 基于这些特点，该系列芯片运算速度非常快，因此适合于实时多媒体应用。 a d i 也是全球主要的d s p 芯片提供商之一，在市场上占有较大份额。 而b l a c k 矗n 系列d s p 是a d i 和i n t e l 联合开发的一款高性能的产品，它采用双 m a c 内核和3 2 位的r i s c 型指令集，而且还具有专用的视频指令，同时能进行 动态的电源管理。于是这种高性能低功耗的d s p 广泛的应用于嵌入式音频视频 浙江工业大学硕士学位论文 领域。其中的两款b l a c k f i n 5 6 l 和b l a c k f i n 5 3 3 是目前视频处理领域较为流行的芯 片。b l a c k f i n 5 6 l 采用对称双核处理器，相比于b l a c k 6 n 5 3 3 速度要快，但是价格 太高。所以我们选择了处理能力强，价格不高的b l a c k 6 n 5 3 3 芯片作为本课题的 硬件平台。 1 3 本文的研究内容以及组织结构 本文对h 2 6 4 压缩标准的基本原理和关键技术作了详细介绍，同时对标准参 考模型j m 8 6 中的差错掩盖算法进行了深入的研究，并提出了一种改进的时域差 错掩盖算法。同时学习了b 1 a c k f i n 5 3 3 的相关知识，并把在通用p c 平台下开发的 h 2 6 4 标准参考模型j m 8 6 成功移植到a d i 的b l a c k f i n 5 3 3 评估开发套件上。 本论文的内容结构安排如下： 第l 章绪论。简单介绍了论文的选题背景和意义 第2 章h 2 6 4 压缩标准及其关键技术。介绍了h 2 6 4 编解码器的基本原理， h 2 6 4 的关键技术，包括帧内预测、帧间预测、整数变换与量化、熵编码，最后 还介绍了h 2 6 4 中的抗误码技术 第3 章h 2 6 4 差错掩盖技术的研究。对标准参考模型j m 8 6 中的差错掩盖算法 进行了分析，并提出了一种改进的时域差错掩盖算法 第4 章b l a c k f i n 5 3 3d s p 开发平台。介绍了b l a c k f i n 系列d s p 的主要特点和 b l a c k f i n 5 3 3 芯片的内部结构、主要外部设备、指令特点以及软件开发环境v i 舳a i d s p _ 阡4 5 的特性 第5 章h 2 6 4 解码器的d s p 实现。简单介绍了u c l i n u x 操作系统的知识以及开 发环境的建立过程，并在基于u c l i i l u x 的b l a c k 矗n 5 3 3 上实现了h 2 6 4 解码器。 第6 章对本论文的工作作了总结，并对未来的研究做了展望 6 浙江工业大学硕士学位论文 第2 章h 2 6 4 压缩标准及其关键技术概述 2 1 视频压缩编码的基本原理 由于原始的视频图像中存在着大量的冗余信息，因此在视频图像传输的过程 中，数据量会很大，不仅传输的速度较慢，还会占用大量网络带宽。为了解决这 些问题，视频压缩技术飞速发展。 视频压缩的核心是去除各种相关性，通过减少和去除冗余视频数据的方式， 用较少的比特来表示视频内容，从而达到压缩视频的目的。而目前的压缩技术 主要包括帧内图像数据压缩技术、帧间图像数据压缩技术和熵编码压缩技 术。 视频图像的空域冗余信息一般采用帧内编码技术和熵编码技术。帧内 编码技术包含了变换编码和量化编码。变换编码并没有直接对空域图像信 号编码，而是将空域图像信号变换到另一个正交矢量空间，产生一批变换 系数，然后对这些变换系数进行编码处理，由于信号是在另外一个变换域 中描述，因此数据之间的相关性减少，且参数独立，量化编码后就能得到 较大的压缩比。熵编码是一种无损编码，它对变换、量化后得到的系数和 运动信息，再进一步的压缩。 视频图像的时域冗余信息主要使用帧间编码技术，它包括运动估计和 运动补偿两大部分。运动估计是指得到运动矢量的过程，其中运动矢量即 为参考帧中同当前块最相似的匹配块与当前块之间的相对位移；运动补偿是指 利用运动矢量找到参考帧中的等大小的块来预测当前块。 2 2h 2 6 4 视频编解码器原理 h 2 6 4 编码器采用的是变换和预测的混合编码方法。 7 浙江工业大学硕士学位论文 编码过程中，视频数据进入编码器以后，如果采用帧内预测编码，则 先选择合适的帧内预测方式进行帧内预测，然后将当前块c 和预测块p 相 减后的残差值见进行变换、量化，则会产生变换系数x ，x 再经重排序和 熵编码后输出，同时码流x 经重建通路得到预测残差块口，再与预测值p 相加 得出重建块蛾，蛾经去块滤波器平滑后送入帧存储器。 若采用帧间编码模式，首先在参考帧中c 一。对输入的当前帧c 进行运动估 计，得到运动矢量后便进行运动补偿。将补偿后的预测值尸与当前块e 的残差 值通过整数d c t 变换、量化和熵编码后，再同解码所需的一些信息组成压缩码流 经网络提取层n a l 进行传输。同时量化变化系数x 以相同的方式重建并经滤波 后送入帧存储器用作参考图像。 h 2 6 4 编码框架图如图2 1 所示： 图2 1 编码器框架图 解码器接收从编码器的n a l 输出的压缩比特流后，经熵解码和重排序后产生 一组量化系数x ，再经反量化反变换，得出残差a 。使用从比特流中提取的头 信息，解码器产生一个预测块p ，然后预测块尸加上差值分块成得到重建宏块 峨，再经过一个滤波器减少块失真效应后，就得到重建帧c 。解码器框架图如 图2 2 所示： 浙江工业大学硕士学位论文 图2 2 解码器框架图 2 3h 2 6 4 标准的关键技术 2 3 1 帧内预测 在帧内预测模式中，预测块p 是基于已编码重建块和当前块形成的，之后将 当前块减去预测块的差值进行编码。在h 2 6 4 中，对于亮度分量，块的大小有4 4 和1 6 x 1 6 两种，其中4 4 块有9 种预测模式，1 6 1 6 块有4 种预测模式：对于色度分 量，8 8 色度块共有4 种预测模式。编码器通常选择使预测块p 与当前块之间差异 最小的预测模式。 通常，4 4 亮度预测模式适合于纹理比较丰富的区域，它的基本思路是从不 同的方向计算、比较块中各个像素之间的亮度差值。通常选择使预测块p 与当前 块之间的残差s a d 最小的作为最佳预测方向。如图2 3 所示，4 4 亮度块中的a p 为待预测的像素点，而a q 为当前亮度块相邻块中已编码的像素点，待预测像 素值由a q 值和9 种预测模式( 如图2 _ 4 ) 来实现。其中模式2 为d c 预测，不包 括在预测方向中。 qab cde fgh i a b c d j ef gh k i j k i lmno p j 易。 除， l i ， 1 s 图2 34 4 亮度预测模式的8 种预测方向 9 浙江工业大学硕士学位论文 o ( 垂商)l ( 水平) qabcde i f l g l h l l j k l - 1 1 3 ( 对角线向左下) qabcde if i g i h i i i i f杉 j。 k。 l i l f 6 ( 水平向下) qabcdefgh i l j l k l l 、- l qabcde | f i g i h i i ， j 一 一 k l 一 l 4 ( 对角线向右下) qabcde ifg ih i 1 j 、 k 。 。 l。 。i。1 - 7 ( 垂寅向左) qabcde ifg ih i l | 。| j | k |。l| lyyy， 图2 44 4 亮度预测模式 qabcdefgh ia bcd j ef 0 h ki j ki lmn o p 5 ( 垂直向右) qabcde ifgh i llft j 1|i、 k ；l l、 、 、 8 ( 水平向下) qabcde i f l g i h ，r， i j j 刀 k ， l 下面将对前面几种预测方式进行描述【1 2 l ： 1 ) 模式2 ：d c 预测 如果所有的参考样点均在图像内，则： d c = ( a 十b 十c + d + i + j + k 斗l + 4 ) 8 如果a 、b 、c 、d 在图像外，而i 、j 、k 、l 在图像中，则： d c = ( i + j + k + l + 2 ) 4 如果i 、j 、k 、l 在图像外，而a 、b 、c 、d 在图像中，则： d c = ( a + b + c + d + 2 ) 4 如果所有的参考样点均在图像外，则： d c = 1 2 8 2 ) 模式0 ：垂直预测 如果a 、b 、c 、d 存在，则： a 、e 、i 、m 由a 预测得出； b 、f 、j 、n 由b 预测得出； c 、j 、k 、o 由c 预测得出； d 、h 、l 、p 由d 预测得出。 3 ) 模式l ：水平预测 l o 浙江工业大学硕士学位论文 如果i 、j 、k 、l 存在，则： a 、b 、c 、d 由i 预测得出； e 、f 、j 、h 由j 预测得出； i 、j 、k 、l 由k 预测得出； m 、n 、o 、p 由l 预测得出。 4 ) 模式3 ：左下对角预测 如果a 、b 、c 、d 、e 、f 、g 、h 存在，则： a = ( a + 2 b + c + 2 ) 4 f b = ( b + 2 c + d + 2 ) 4 i = 仁c = ( c + 2 d + e + 2 ) 4 m j = g = d = ( d + 2 e + f + 2 ) 4 赤h = ( e + 2 f + g + 2 ) 4 萨l = ( f + 2 g + h + 2 ) 4 p = ( g + 3 h + 2 ) 4 ) 上面对前四种预测方式做了简单描述，其它方式可以依此类推，由于篇幅有 限这里不再作介绍。 1 6 1 6 亮度预测模式适合于较为平坦的区域，有垂直预测、水平预测、直流 预测和平面预测4 种方式【1 3 】，如图2 5 所示。 图2 51 6 1 6 亮度预测模式 对于色度信号的预测，同样是根据相邻像素块的相关性来预测，而且u v 两 种色度分量采用的预测模式相同。8 8 色度分量的4 种预测模式与帧内1 6 1 6 亮度 像素块的预测模式相类似。其中d c 预测为模式0 、水平预测为模式l 、垂直预测 为模式2 、平面预测为模式3 。 浙江工业大学硕士学位论文 2 3 2 帧间预测 h 2 6 4 帧间预测采用的是基于块的运动补偿的预测模式。与以往标准的不同 之处在于：h 2 6 4 支持不同的块尺寸以及支持亚像素运动矢量的使用和多参考帧 的使用。 1 可变块尺寸的运动补偿 h 2 6 4 标准支持7 种不同尺寸和形状的宏块及子宏块分割，分别为：1 6 1 6 、 1 6 8 、8 1 6 、8 8 、8 4 、4 8 、4 4 ，如图2 6 所示。每个分割和子宏块都有一 个独立的运动补偿，每个运动矢量必须被编码，再传输。同时分割模式信息需要 进行编码并放在压缩比特流中。因为有7 种不同运动估计块，每种方式下块的大 小和形状都不相同，这就使编码器可以根据图像的内容选择最好的预测模式。与 仅使用1 6 1 6 块进行预测相比，使用不同大小和形状的块可以使码率节省1 5 以 卜。 8 8 口 口目田口 口目田口 图2 6 宏块及子宏块分割 2 亚像素运动矢量 在h 2 6 4 标准中，亮度分量采用l 4 像素精度的运动估计，而色度分量采用 l 8 像素精度的运动估计。在要求相同精度的情况下，h 2 6 4 使用l 4 或者l 8 像素精度的运动估计后的残差要比h 2 6 3 采用半像素精度运动估计后的残 差来得小。这样在相同精度下，h 2 6 4 在帧间编码中所需的码率更小。由于 在图像中只存在整像素点，亚像素点并不存在，故需要通过插值运算来计算亚像 素点值。亮度像素内插方法如图2 7 所示。 1 2 浙江工业大学硕士学位论文 口口囚圃回口口 口口圈圃回口口 日 圃 口 口 圃 口 g日 h c h def g hj i k h n d ar m n 口 圃 口 团 圆 圈 口口团圆圈口口 口口口圃回口口 图2 7 亮度的l 4 像素精度的内插示意图 在参考图像的亮度分量中产生插值点f 1 4 l ，首先生成参考图像亮度成分的半像 素点。两个整数位置之间的半像素点( 图2 7 中的b 、h 、m 、s 等) 通过对相应整 数点进行6 抽头滤波得出，权重为( 1 3 2 、5 3 2 、5 8 、5 8 、5 3 2 、l 3 2 ) 。半像 素点计算如下： 6 = ，d 枷d ( e 一5 f + 2 0 g + 2 0 一5 ，+ j ) 3 2 ( 2 1 ) 类似地，h 由a 、c 、g 、m 、r 、t 进行滤波得到。如果邻近( 水平和垂直方 向) 的整像素点都已经被计算出来，剩余的半像素点便可以通过对6 个水平或垂 直方向的半像素点进行滤波得到。例如，j 是通过对c c 、d d 、h 、m 、e e 和雠行滤 波得出。 半像素点计算出来之后，l 4 像素点就可以由邻近像素线性内插得到的，如： 口= ( g + 6 ) 2 ( 2 2 ) p = ( 6 + 五) 2 ( 2 3 ) 相应的，色度像素需要l 8 像素精度的运动矢量，同样通过整像素线性内插 得到，如图2 8 所示。其中，像素a 的插值为： 口= ，d ”耐( 【( 8 一t ) ( 8 一哆) 彳+ 破( 8 一嘭) b + ( 8 一t ) 以c + t d 】6 4 ) ( 2 _ 4 ) 1 3 浙江工业大学硕士学位论文 2 3 3 整数变换与量化 钭+科 p ： q 8 击 a jl 8d y 蚓 r 巾 图2 8 色度内插示意图 所谓变换编码是指将时域中的图像信号变换成频域中的信号，此时就会产生 相关性较小的变换系数，然后对其进行压缩编码。同时域信号相比，由于频域信 号的能量大部分集中在低频区，故码率有很大的下降。在h 2 6 4 中，对图像和预 测残差采用了4 4 整数离散余弦变换( d c t ) 技术，避免了以往标准中使用的变 换技术经常出现的失配问题。量化过程在不降低视觉效果的情况下减少图像编码 长度，根据图像动态范围的大小来确定量化步长，既保留了图像中重要的细节， 又减少了传输码流。 1 整数变换 一维n 点离散余弦变换可以表示为： 儿= q 篓 s 学 c 2 - s ， 其中毛是输入时域序列中的第n 项，儿是输出频域序列中的第k 项，系数q 如 q = 淳后= 。，乞i ? 一l c 2 6 ， 二维n n 图像块的d c t 可以理解为先对图像块的每行进行一维d c t ，然后 对经行变换的块的每列再应用一维d c t ，可表示为： 1 4 浙江工业大学硕士学位论文 二_ 二二_ ：二= 二= i 二二 = 篓篓q qc 。s 学 = c 册qc o s 竖学 fto，=ov2 ( 2 7 ) 匕行= q q 篓善c 。s 警c 。s 堕葛竽 c 2 剐匕行= q q c o s 丝学c o s 垡警( 2 8 ) ，= o ，= o 二v z v 鸣= qc 。s 警( 2 彳= 麈三昙三 c 2 ， 其中口= 三，6 = 压c 。s 争，c ：后c 。s 专，。 口= 圭，6 = 詈，c = 三 2v5 。 2 浙江工业大学硕士学位论文 其中g = 11 2 l ll l - 2 ll l _ 2 1l 2一l ，圆表示点 乘，即矩阵对应的元素相乘。 变换中将不用计算点乘，乃矩阵将被整合到量化过程中去。c ，蚂r 中只剩 下整数的加减法和移位运算，因此实际的d c t 输出为： 矽= c j c 7 ( 2 1 5 ) 2 量化 h 2 6 4 中采用的是标量量化技术，它将每个图像样点转化成较小的数值。标 量量化器的基本原理用公式可表示为： 翘= 以( 壹) ( 2 - 1 6 ) 其中j ，为图像样点编码，q 尸为量化参数，叼为y 的量化值。 但在h 2 6 4 中，量化基本公式变为【4 j ： z ：f ，一删( 考 协 其中巧是矩阵y 中的转换系数，z ：【f 是输出的量化系数，q 卸是量化步长。 量化步长共有5 2 种，每个宏块的量化步长由量化参数q p 决定。如果量化步长大， 量化值范围就小，压缩效率就高，但反量化值和原始值的近似就差；反之，若量 化步长小，反量化值就能更好的近似原始值，但压缩效率降低。 由于h 2 6 4 量化过程同时还要完成d c t 变换中“圆q ”乘法运算，它可以表示 为【4 】= 乙一删( 台 ( 2 - 1 8 ) 其中为矩阵w 的转换系数，阿为矩阵中的元素。 如图2 9 为编码器中变换编码及量化过程： 1 6 2 4 2 4， 6 2 6 2 翻6 翻6 2 2 2，2 口6 口6 口 口 2 4 2 4 ， 6 2 6 2 的铲的铲 2 2 2 2 口6 口6 口 凸，-t-【 = 0 浙江工业大学硕士学位论文 2 3 4 熵编码 输入4 4 的图像或残差块x 对x 块进行4 4 整数离散余弦变抉，得到w 块 黠粼预测模式的亮度块? 是 对w 中的直流分量进行h a d a m a r d 变换，得到y d 块 对y n 块进行比例缩放及量化 堙堕到 图2 9 变换编码及量化过程 w 块 比例 缩放 量化 熵编码是利用数据的统计信息进行压缩的无损编码。在视频编码中， 最后一步就是熵编码，它把一系列用来表示视频序列的元素符号转变为一 个适合传输或是存储的压缩码流。熵编码输入的码流中包括量化后系数，运 动失量，标记点，头信息以及一些附加信息。 在h 2 6 4 标准中有三种熵编码方案【1 6 】：一种是e x p 如o l o m bc o d e ( 哥布伦 指数编码) ：一种是c a v l a c ( 基于上下文的自适应变长编码) ；另一种是 c a b a c ( 基于上下文的自适应二进制算术编码) 。前两种属于变长编码，第 三种属于算术编码。如果是s l i c e 层预测残差，h 2 6 4 编码器则采用c a v l a c 或 者c a b a c ；如果不是预测残差，则采用e x p - g o l o m b 或c a b a c ，视编码器的设 置而定。 1 指数哥布伦编码( e x p g o l o m bc o d e ) e x p 旬o l o m b 编码是一种有规则的变长编码方式，它基于符号的概率统计进 行编码，用短码字来表示出现概率高的信息，用长码字来表示出现概率低的信息， 码长与被编码数成指数对应关系，从而使总体平均码字最短。 e x p g o l o m b 码字的逻辑结构为【1 7 】：【mz e r o s 】【l 】 i n f o 】，其中m 个零和中间的 “l ”称为前缀，玳f o 是m 位的信息后缀，因此，每个e x p - g o l o m b 码字的长度都为 1 7 浙江工业大学硕士学位论文 2 m + l 。m 和脚的值由要编码的值索引c o d e - n u m 得到。 m = l 0 9 2 ( ，2 + 1 ) ( 2 - 1 9 ) ( 2 2 0 ) 其中甩为码字序号，m 是码字前缀的比特数，册是码字对应的二进制信 息值。 2 基于上下文的自适应变长编码( c a v l a c ) c a v l a c 根据已往编码的数据，动态调整编码中使用的码表，找出与 当前编码数据统计特性最相符的一个码表来进行编码，因此取得了很高的压 缩比。 c a v l a c 主要用于亮度和色度残差信号的编码。经过变换量化后的残 差数据的非零系数主要集中在低频部分，高频部分的系数大多是零，量化 后的数据经过据齿扫描后，直流系数附近的非零系数值较大，而高频位置 上的非零系数值大部分是+ l 和1 ，并且相邻块的非零系数的数目是相关 的。于是，c a v l a c 充分利用这些特性对数据进行压缩，进一步减少了残 差数据的冗余信息。 c a v l a c 的编码流程图如下图2 1 0 所示： 对非零系数的个 数及拖尾系数的 个散进行编码 对每个拖尾系敛 的符号进行编码 对每个非零系数 前零的个数编码 图2 1 0c a v l a c 的编码流程图 对除了拖尾系数之 外的： 零系数的幅 值进行编码 对最后一个非零系 数前霉的数目编码 3 基于上下文的自适应二进制算术编码( c a b a c ) c a b a c 充分考虑和利用了视频流的统计特性和上下文信息，克服了 v l c 编码的缺点，并且能够自适应视频流的统计特性，提高了编码效率。 c a b a c 的编码流程主要包括以下三个步骤【1 8 】： 1 8 浙江工业大学硕士学位论文 二进制化：将一个非二进制的符号转化为二进制串。 上下文建模：利用相邻的编码符号的相关性，用已编码符号为待编码 符号选择 自适应二进制算术编码：将表示当前符号的二进制符号串逐位送入自适应 二进制编码器进行编码。 2 4h 2 6 4 中的抗误码技术 在视频通信中，由于传输错误不可避免，因此提高视频数据流的抗干扰和错 误恢复能力是很有必要的，同时这也是视频通信领域研究的热点。在h 2 6 l 、 h 2 6 3 、m p e g 2 编码标准中，使用片和宏块组的划分、帧内编码宏块、编码片 来限制错误的传播；在改进的h 2 6 3 + 、m p e g - 4 中，采用多帧参考和数据划分 来两种技术提高抗误码能力。而h 2 6 4 标准在以往标准的基础上又新增加了三 种抗误码技术：参数集合、灵活的宏块次序( f m o ) 和冗余片( r s ) 。 1 ) 帧内编码 h 2 6 4 虽然继承了之前标准中的帧内预测技术，但是较之以前标准又做 了很大改进。h 2 6 4 中的帧间编码宏块可以作为帧内预测编码宏块的参考宏 块，同时相比于非预测的帧内编码，采用预测的帧内编码有了更好的编码 效率，但减少了帧内编码的重同步性能，可以通过设置限制帧内预测标记 来恢复这一性能。 h 2 6 4 包