（通信与信息系统专业论文）h264视频解码器中错误掩藏技术的研究.pdf

武汉理工大学硕士学位论文 摘要 随着信息技术的发展和社会的进步 多媒体应用越来越广泛 人们希望无 论何时何地都能够方便 快捷 灵活的通过话音 数据 图像以及视频等多种 媒体进行通信 在多媒体通信中 由于图像能给人更多的信息量 因此图像 视 频的传输受到了人们更广泛的关注 然而在视频通信过程中 由于信道本身的 差错及延时等特性 传输中错误的产生不可避免 此外 为了减小传输的数据 量而采用的视频压缩技术使得视频传输对错误非常的敏感 因此有必要采用有 效的措施提高视频传输的抗误码能力 h 2 6 4 作为新一代视频压缩编码标准 通过运动估计 运动补偿 m p m c 消除 视频时间冗余 对差值图像进行离散余弦变换 d c t 消除空间冗余 对量化后的 系数进行可变长编码 v l c 消除统计冗余 获得了极高的压缩效率 压缩后的码 流对错误更加敏感 虽然通过引入多种错误恢复工具 如灵活宏块排序f m o 参数集 数据分割 冗余片等 增强了视频流的鲁棒性 但是传输过程中的错 误仍会发生 特别是在应用越来越广泛的无线通信领域 本文在对h 2 6 4 标准进 行详细介绍后 重点研究了在解码器端实现的视频后处理错误掩藏技术 本文 主要完成的工作如下 详细分析了h 2 6 4 的参考软件j m 中对i 帧和p 帧的错误掩藏算法 并在此 基础上分别提出了改进的错误掩藏算法 对算法的理论基础及实现原理进行了 详细的介绍 在h 2 6 4 的参考软件j m 8 6 上用c 语言实现提出的算法 并用标准 测试序列验证了本文提出的算法具有一定的优越性 关键字 h 2 6 4 错误掩藏 纹理预测 残差分析 武汉理工大学硕士学位论文 a b s t r a c t w l t l lt h ed e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g ya n dt h ea d v a n c e m e n t t h e m u l t i m e d i aa p p l i c a t i o ni sg e t t i n gm o r ea n dm o r ew i d e s p r e a d i ti sh o p e dt h a tw ec a t l c o m m u n i c a t ec o n v e n i e n t l y f a s ta n df l e x i b l yt h r o u g hm e d i as u c ha s v o i c e d a t a i m a g e sa n dv i d e o e t c i nm u l t i m e d i ac o m m u n i c a t i o n s t 1 1 ev i d e ot r a n s m i s s i o nh a s r e c e i v e dm o r ew i d e s p r e a da t t e n t i o ns i n c ei m a g e sc a nb r i n gm o r ei n f o r m a t i o n h o w e v e r i ti si m p o s s i b l et oa v o i dt r a n s m i s s i o ne r r o ra si n t e r r u p t i o na n dd e l a ya l w a y s h a p p e ni nc h a n n e l f u r t h e r m o r e t h eu s eo fv i d e oc o m p r e s s i o nt e c h n o l o g yi no r d e rt o r e d u c et h et r a n s m i s s i o no fd a t em a k e si tm o r es e n s i t i v et ov i d e ot r a n s m i s s i o no f e r r o r i ti s n e c e s s a r yt oa d o p te r e c t i v em e a s u r e st oe n h a n c et h er o b u s to fv i d e o t r a n s m i s s i o n h 2 6 4v i d e oe n c o d i n gs t a n d a r dm a k e su s eo fm o t i o ne s t i m a t i o n m o t i o n c o m p e n s a t i o nt oe l i m i n a t et i m er e d u n d a n c yo fv i d e o d i s c r e t ec o s i n et r a n s f o r m a t i o n t ot h em a r g i ni m a g et oe l i m i n a t es p a t i a lr e d u n d a n c ya n dv a r i a b l el e n g t he n c o d i n gt o e n c o d eq u a n t i f i c a t i o nc o e 伍c i e n tt oe l i m i n a t i o ns t a t i s f i c a lr e d u n d a n c y a n do b t a i n v e r yc o m p r e s s i o ne f f i c i e n c y t h ec o m p r e s s e db i t s t r e a mi sm o r es e n s i t i v et ot h e m i s t a k e a l t h o u g ht h ea p p l i c a t i o no fav a r i e t yo fe r r o rr e c o v e r yt o o l s s u c ha sf l e x i b l e m a c r o b l o c ko r d e r p a r a m e t e rs e t s d a t ap a r t i t i o n a n dr e d u n d a n c ys l i c e e t c e n h a n c e s t h er o b u s t n e s so fv i d e os t r e a m t h et r a n s m i s s i o ne r r o rw i l lo c c u r e s p e c i a l l yi nt h e w i r e l e s sc o m m u n i c a t i o n sf i e l dw h e r et h ea p p l i c a t i o ni sm o r ea n dm o r ee x t e n s i v e a f t e rad e t a i l e di n t r o d u c t i o no fv i d e oc o d i n gs t a n d a r dh 2 6 4 t h i s p a p e rm a i n l y f o c u s e so nt h er e a l i z a t i o no fp o s t p r o c e s s i n gt e c h n i q u e sa se r r o rc o n c e a l m e n ti nt h e d e c o d e r v i d e o t h em a j o rw o r k sf i n i s h e di sa sf o l l o w s b a s eo n ad e t a i l e da n a l y s i so fe r r o rc o n c e a l m e n ta l g o r i t h mu s e db y 蹦 r e f e r e n c es o f t w a r eo fh 2 6 4 i nif r a m e sa n dpf r a m e s a na l g o r i t h ma i m e da t i m p r o v i n gt h ep e r c e p t u a lq u a l i t yo fr e c o n s t r u c t e dv i d e oi sd e s i g n e da n dt h i sp a p e rh a s g i v e nad e t a i l e di n t r o d u c t i o no fb o t ht h e o r e t i c a lb a s i sa n dp r i n c i p l e t h e nt h e a l g o r i t h mi si m p l e m e n t e do nr e f e r e n c es o f t w a r ej mv e r s i o n8 6a n dv e r i f i e db yu s i n g as t a n d a r dt e s ts e q u e n c e a c c o r d i n gt ot h et e s t s t h es c h e m ep r o p o s e db yt h i sp a p e r c a no b t a i nb e a e rr e c o n s t r u c t e dv i d e oq u a l i t y k e y w o r d h 2 6 4 e r r o rc o n c e a l m e n t t e x t u r ep r e d i c t i o n r e s i d u a la n a l y s i s 独创性声明 本人声明 所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果 尽我所知 除了文中特别加以标注和致谢的地方外 论文中不包含其他人 已经发表或撰写过的研究成果 也不包含为获得武汉理工大学或其它教育机构的 学位或证书而使用过的材料 与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确的说明并表示了谢意 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留 使用学位论文的规定 即学校有权保 留 送交论文的复印件 允许论文被查阅和借阅 学校可以公布论文的全部或部 分内容 可以采用影印 缩印或其他复制手段保存论文 保密的论文在解密后应遵守此规定 签名 盘自垫 导师签名 邀日期 武汉理工大学硕士学位论文 1 1 研究背景 第1 章绪论 近年来 随着数字通信技术和各种网络技术的迅猛发展 人们对于传输内 容的要求早已从语音 数据到了图像视频 视频通信和多媒体通信成了当前国 内外研究的热点 与视频相关的应用也越来越广泛 如可视电视 v o d 视频 会议 i p 上的视频服务 数字图像监控 数字电视等 而这些都与视频的核心 内容 视频的压缩编码有密切的联系 如何设计出一个高效的视频编解码器 一直是近二十年来人们研究的重点 为此 人们做出了不懈的努力 自1 9 8 8 年 以来 国际电信联盟 i t u t 视频编码专家组 v c e g 和国际标准化组织 i s o 国际电工委员会 i e c 活动图像专家组 m p e g 分别制定出了h 2 6 x 1 2 和 m p e g x 3 5 两大系列视频编码标准 这一系列标准的不断推陈出新 推动着视频 技术的发展 同时也使得人们对视频通信提出了越来越高的要求 进入新世纪 如何具有更高的压缩比 更好的图象质量 以及更好的网络亲和力 人们对新 一代的视频标准提出了挑战 h 2 6 4 标准由此应运而生 h 2 6 4 a v c 是由联合视频小组 t 发布的最新 的视频编码标型引 它仍然采用的是基于块变换的混合视频编码框架 同时增加 了许多先进的编码技术 包括可变块大小运动估计与补偿 方向性帧内预测以 及基于上下文二进制算术编码等 这些技术能够使h 2 6 4 a v c 的编码性能大大 优于当前其他的视频编码标准 但与之前的编码标准一样 压缩后的码流其抵 抗差错的能力非常有限 传输中一旦出现比特错误 错误数据将会在时域和空 域上迅速蔓延和扩散 使视频质量急剧下降 因此 视频传输差错控制技术一 直是视频编码方向的重点研究内容 视频传输差错控制技术大致可以分为2 种 途径 一种是在传输层实现的差错控制和恢复技术 以前向纠错 f e c 技术和 自动重传 a r q 技术为代表 它们的目标是实现无差错的恢复 但是采用f e c 的编码效率在恶劣的通信环境中会大大降低 而a r q 等闭环差错控制技术虽然 比f e c 更有效 但它带来的额外时延是大多数视频应用中所无法接受的 即使 将多种f e c 技术与a r q 技术结合起来使用 也无法完全避免视频传输中差错的 武汉理工大学硕士学位论文 出现 另一类是在应用层实现的差错恢复技术 它是指编码器通过采用不同的 编码策略或改进视频码流的结构 使解码器更容易检测出错误 并利用图像中 的空间及时间相关性来恢复受损数据 降低信道误码对重建视频质量的影响 7 1 而其中在解码端实现的后处理差错隐藏技术由于不需要从编码器再获得额外的 信息 从而不会消耗额外的带宽资源及时延 因此格外受到人们的重视 1 2 国内外研究现状 现有的视频编码标准基本都采用了基于运动补偿 变换编码及熵编码的编 码框架 比如h 2 6 x 和m p g x 等标准 这些编码器通过运动估计 运动补偿 d c t 块量化以及变长编码v c l 来最大限度的降低视频信号中存在的空间和时 间冗余度 然而在压缩效率增加的同时 与原始未压缩信号相比它对错误的抗 干扰能力却非常脆弱 变长编码v c l 的采用使得一个比特的错误或丢失可能使 后面比特流变得无用 直到下一个同步码的出现 而帧间预测等使得错误会在 整个序列中传播 因此在视频应用中采用差错控制及错误恢复技术是非常有必 要的 错误掩藏是指如何恢复视频流在传输中出现的错误 在自然界中 通常图 像或视频主要包含的是低频成分 也就是说其相邻像素 在时域表现为相邻帧 的对应像素之间 在空域表现为位置相邻的像素之间 的过渡是平滑的 几乎 所有的错误掩藏方法都是基于图像 视频的这种特性 然后进行空间或时间域的 内插的 错误掩藏主要可以分为两类g 空域错误掩藏和时域错误掩藏 空域错误掩藏主要利用图像在空间的冗余度 比如平滑 纹理特征等 来 估计丢失的像素 较为典型的算法有 s 赴印 2 9 j 提出的双线性内插法 凸集熵的 投影法 p o c s s h 妇f i t 3 l 提出的基于自适应马尔可夫场的错误掩藏算法 或 在频域中以及时空域结合的掩藏算法 时域错误掩藏主要是利用帧间冗余信息 来对丢失块内容进行恢复 其中最重要的是对运动矢量的估计 再通过估计的 运动矢量在参考帧中找到当前块相似内容进行错误掩藏 因此 在进行时域错 误掩藏时 运动矢量的恢复是至关重要的 很多学者在研究错误掩藏时主要是 针对如何提高运动矢量估计的准确性 运动矢量的恢复方法主要有 l 零运动 矢量 即简单的将参考帧中丢失块相对应位置块内容填入丢失块 此方法对于 静止的图像序列有较好的恢复效果 2 使用前一帧对应块的运动矢量 3 使 用丢失块周围可用运动矢量的平均值 4 使用丢失块周围可用运动矢量的中值 2 武汉理工大学硕士学位论文 此外 利用上面4 种方法得到的运动矢量产生运动矢量候选集 然后采用边界匹 配算法 b m a 从候选集中选取最优运动矢量是一种较好的方法 上述时域错 误掩藏算法都是基于块运动矢量恢复 也有提出利用运动矢量场插值的算法 这种算法最大的区别是在恢复运动矢量时 丢失块的每一个像素都具有运动矢 量 因此算法的计算量会很大 总的说来 基于解码端的后处理错误掩藏技术由于不需要增加额外的带宽 且能较好的恢复错误图像 因此得到了较多的关注 8 1 0 1 3 主要工作及内容安排 本文的研究目标是通过比较和分析现有的一些错误掩藏算法 提出复杂度 较小且能达到较好视觉效果的错误掩藏算法 在j m 中实现并测试其效果 论文 主要包括如下三个方面 一 在熟悉和掌握h 2 6 4 标准及其新特征的基础上 对其抗误码技术进行深 入的研究 为方案的提出做好准备 工作的重点是认真研究j m 中对i 帧和p 帧所 采用的错误掩藏算法 二 i 帧和p 帧错误掩藏算法的设计及实现 这是论文工作的重点 根据i 帧和 p 帧的不同特点提出错误掩藏算法 并在j m 中对算法从理论到实现做详细的介绍 三 仿真测试 本文在模拟丢包信道上对改进方案进行测试 对解码后的 图像数据进行比较分析 实验证明 改进方案相对于原方案在p s n r 和视觉质量 上都有显著的提高 本文内容安排如下 第一章 介绍了课题研究的背景和选题意义 国内外的研究现状及本文研 究的主要内容 第二章 介绍h 2 6 4 编解码标准的关键技术及其抗误码技术 包括参数集 f m o 冗余r s 等 第三章 分析空域错误掩藏的常用算法 并在此基础上提出一种改进的基 于方向性插值的空域错误掩藏算法 第四章 分析时域错误掩藏的常用算法 在比较了常用的传统算法优缺点 后 提出了一种基于残差分析的帧间错误掩藏的改进算法 第五章 对本文进行了总结 并对进一步的研究工作进行了展望 武汉理工大学硕士学位论文 第2 章h 2 6 4 视频编解码标准及其错误恢复 2 1h 2 6 4 标准简介 自上世纪8 0 年代 随着多媒体通信技术的飞速发展 人们获取和处理信息 更为容易快捷 方式更为多样 信息也已经从简单的文字图片向更为复杂的音 视频多媒体信息转变 但信息量的爆炸性增长给通信造成巨大困难 采用多媒 体音视频信息的压缩技术成为解决此难题的关键 为了实现各种网络和多媒体 系统地互通互连 建立统一的多媒体压缩编码国际标准己成为工业界 个极为 迫切的需求 国际标准组织 i t u t 和国际电信联p 盛i i s o i e c 两大标准化组织由 于在组织背景 发展目标等方面的不同 使得两大组织的技术专家基于不同的 目的相对独立地进行标准制定工作 i s o i e c 的活动图像专家组 m p e g 1 j 定了 m p e g x 系列 主要应用于视频存储 视频广播和视频流方面 i t u t 的视频 编码专家组 v c e g 1 定了h 2 6 x 系列 主要应用于实时视频通信 如视频会议 视频电话等 视频标准 2 0 0 1 年 两大组织携手组建了联合视频组 d 于2 0 0 3 年推出了新的视频编码标准h 2 6 4 a v c 或i s om p e g 4v i s u a lp a r t1 0 其简单发展历程如下 1 9 9 8 年1 月 v c e g 征集视频编解码方案 1 9 9 8 年1 1 月 v c e g 形成第一份正式评价文献 1 9 9 9 年8 月 v c e g 完成第一个草案文档一h 2 6 l 和第一个测试模型 t m l 一1 2 0 0 1 年7 月 运动图像专家组 m p e g 认为h 2 6 l 较之m p e g 4 现有标准有 很大的优势 于是m p e g 与v c e g 组成联合视频小组 j v t 共同进行h 2 6 4 标准 的制定 其主要任务就是将h 2 6 l 所形成的视频压缩模型发展成为国际标准 2 0 0 2 年5 月 t 形成委员会草案c d c o m m i t t e ed r a f t 2 0 0 2 年7 月 t 形成最终委员会草案f c d f i n a lc o m m i t t e ed r a f t 2 0 0 2 年12 月 t 形成最终国际标准草案f d i s f i n a ld r a f ti n t e r n a t i o n a l s t a n d r a d 2 0 0 3 年3 月 h 2 6 4 标准正式颁布 4 武汉理工大学硕士学位论文 h 2 6 4 在压缩效率和网络适应性上取得了重大的突破 在压缩效率方面 相 同的视频质量情况下 h 2 6 4 比h 2 6 3 节约5 0 左右的比特率 即连接码率只有 h 2 6 3 的一般 画面质量却能很好的保证 在网络适应性方面 h 2 6 4 标准引入 了网络提取层 n a l n e t w o r ka d a p tl a y e 0 由网络提取层n a l 负责数据的封装 等 将h 2 6 4 比特流适配到各种各样的网络中 此外 h 2 6 4 拥有比h 2 6 3 更简洁的结构特征 h 2 6 3 标准中有1 0 0 多万种 可能的模式组合 如此大量的组合方式对会议的顺利进行会产生一些潜在的不 利影响 事实上 不同的生产厂商通常只选用一些最基本的模式用于它们各自 的系统中 因而无法实现最佳的会议效果与视频质量 甚至造成潜在的不利影 响 h 2 6 4 标准规定了三个档次 基本档次 主要档次和扩展档次 l l 基本档次 b a s e l i n e 是一个简单版本 主要用于可视电话 会议电视 无 线通信等实时视频通信 相关技术选项包括 一i 帧和p 帧 一环路滤波器 一帧编码 不支持场编码及帧场自适应编码 一采用z i g z a g 扫描 不支持交替扫描 一运动补偿采用1 4 像素精度 一树状运动补偿划分模式 最小4 x 4 像素块 一基于v l c 的熵编码模式 一任意片组排序 a r b i t r a r ys l i c eo r d e r a s o 一灵活宏块排序 f m o 一采样格式4 2 0 一冗余帧 主要档次 m a i np r o f i l e 采用了多项提高图像质量和增加压缩比的技术措 施 主要用于视频广播 如s d t v h d t v 和d v d 等 相关技术选项 一支持b 帧 一熵编码模式采用c a b a c 一自适应双向预测 加权预测 一其他所有b a s e l i n e 的选项 除a s o 和f m o 外 一支持场编码及帧场自适应编码 5 武汉理工大学硕士学位论文 扩展档次 e x t e n d e dp r o f i l e 应用于各种网络的视频流传输 相关技术选项 包括 一支持b 帧 一支持s p s i 帧 一可采用数据分割 一自适应双向预测 加权预测 一 一其他所有b a s e l i n e 的选项 一 一支持场编码 一支持宏块的帧场自适应编码 此外每个档次通过一些参数的设定 如采样率 图像尺寸 编码比特率及 内存要求等 可以分为不同的等级 将档次与等级相结合 h 2 6 4 的应用变得广 泛和灵活 2 2h 2 6 4 编解码器的特点和结构 2 2 1 编解码器的特点 h 2 6 4 对于一个编码器如何实现并不明确地规定 而是从视频比特流的句法 和该比特流的解码方法层面进行了规定 各个厂商的编码器和解码器在此框架 下应该具有通用性 这样在实现上具有较大的灵活性 并且有利于相互竞争 h 2 6 4 编码器和解码器的功能组成分别如图2 1 和图2 2 所示 i r 厂 兰r l户1 婴 i 一 一d p r 砸匾卜戳 丫1 1 n 酮 上夕 a r 一厂 图2 1 编码器的结构 6 武汉理工大学硕士学位论文 i 二厂 掣 l 厂 一 l 图2 2 解码器的结构 从图2 1 和图2 2 可见 h 2 6 4 和基于以前的标准 如h 2 6 1 h 2 6 3 m p e g 1 m p e g 4 中的编解码器功能块的组成并没有什么区别 主要的不同在于各功能 块的细节 由于视频的内容时刻在变化 有时大面积的平坦 有时空间细节很 多 这种内容的多变性就必须采用相应的自适应技术措施 由于信道在恶劣的 环境下也是多变的 例如互联网 有时畅通 有时不畅 有时阻塞 又如无线 网络 有时发生严重衰落 有时衰耗很小 这就要求采取相应的自适应方法来 对抗这种信道畸变带来的不良影响 这两方面的多变带来了自适应压缩技术的 复杂性 h 2 6 4 就是利用实现的复杂性获得压缩性能的明显改善 由于大规模集 成电路技术和工艺的迅猛进步 今天已完全具备了实现的可能性 2 2 2 编码器的结构 编码器采用的是变换和预测的混合编码方法 在图2 1 中 输入的帧或场e 以宏块为单位被编码器处理 首先 按帧内或帧间预测编码的方法进行处理 如果采用帧间预测编码 其预测值p r e d 图中的p 是由当前片中已编码 的参考图像经运动补偿 m c 后得到的 其中参考图像用r 表示 为了提高 预测精度 从而提高压缩比 实际的参考图像可在过去或未来 指显示次序上 已编码解码重建和滤波的帧中进行选择 预测值p r e d 和当前块相减后 产生一个残差块d 经过变换 量化后产生 一组量化后的变换系数x 再经过熵编码 与解码所需的一些其它信息 如预测 模式量化参数 运动矢量等 一起组成一个压缩后的码流 经n a l 网络自适 应层 供传输和存储用 为了提供进一步预测用的参考图像 编码器必须有重建图像的功能 因此 必须使残差图像经反量化 反变换后得到的d 与预测值p 相加 得到u f 未 经过滤波的帧 为了去除编码解码环路中产生的噪声 提高参考帧的图像质 7 武汉理工大学硕士学位论文 量 从而提高压缩图像性能 设置了一个环路滤波器 滤波后的输出只即为重 建图像 可用作参考图像 2 2 3 解码器的结构 在图2 2 中 编码器输出的码流经过熵解码后得到量化后的一组变换系数x 再经过反量化 反变换 得到残差见 利用从该比特流中解码出的头信息 解 码器就产生一个预测块p r e d 它和编码器中的原始p r e d 是相同的 当该解码 器产生的p r e d 与残差谚相加后 就产生蛾 再经过滤波后 最后就得到重 建的e 这个e 就是最后的解码输出的图像 2 3h 2 6 4 的新技术分析 h 2 6 4 之所以能取得显著的编码效果 是因为它相对于之前的几种编码标准 如m p e g 2 等 采用了一系列新的编码工具 具有很多新的特性 2 3 1 帧内预测 对于一帧图像 空间像素之间存在很强的相关性 消除空间冗余可以极大 地压缩数据 在以往的视频标准中 如h 2 6 3 m p e g 一4 等 帧内编码被引入 变换域 虽然在变换域对数据进行处理可以消除部分数据冗余 但是它仅仅是 从整体的角度进行了考虑 事实上块与块之间的数据具有很强的相关性 h 2 6 4 中引入了一种新的方法 就是帧内预测 它在对当前块或宏块进行编码时 先 利用相邻块或宏块的已编码并重建的数据进行预测 然后对预测所得的值与原 始数据的差值 即残差 进行变换编码 量化 1 2 1 这样可以从最大程度上消除 数据冗余 帧内预测对亮度信号和色度信号分别进行考虑 其中亮度信号又根据图像 的平坦程度不同可以在1 6 5 1 6 宏块或4 4 子块之间进行选择 对于4 4 子块 总共有9 种预测模式 不同的预测模式得到不同的预测效果 对于1 6 1 6 宏块 有4 种预测模式 对于色度信号信号 由于色度块的大小是8 8 而且人眼对 色度信号的敏感程度不如亮度信号 所以对8 8 的色度块不再细分 且也只提 供了4 种模式进行选择 1 4 x 4 亮度预测模式 8 武汉理工大学硕十学位论文 直 图2 3 所示 4 4 亮度块的上方和左方像素为已编码并重构的像素 用 作编码器中的预测参考像素 a p 为待预测像素 它们利用a q 的值和9 种模 式实现 其中模式2 d c 预测 根据a q 中已编码像素进行预测 图2 4 中的 箭头表明了每种模式的预测方向 这里面的模式0 1 3 4 5 6 7 8 与图 2 3 中的数字方向一j 对应 缓 a bcd efgh 图23 帧内4 4 亮度预测 f m 日icdefg ih 蕊 圈2 44 4 亮度块预测模式 皿 2 1 6 x1 6 亮度预测模式 如图2 5 所示 1 6 1 6 宏块由左边和上方的3 2 个像素的重构值进行预测 四种模式的描述见表2 1 武汉理工 学硕士学位论文 p 等 厂 l 兰 表2l4 种帧内预测模式 例25 1 6 6 预测模式 3 p l 袖e 模式描述 模式0 乖直 由上边像素推出相应的像素值 模式l 水平 由左边像素推出丰n 应的像素值 模式2 d c 由卜边和左边像素平均值推出相应的像素值 模式3 平面 利用线性 p l a n e 函数及左 上像素推出相应的像素值 3 8 x 8 色度块预测模式 色度宏块包含u 和v 两个色度分量宏块 两种色度宏块通常共用同种预 测模式 8 s 色度块共有4 种预测模式 相当于1 6 1 6 灰度块的4 种预测模式 即模式0 d c 模式1 水平 模式2 垂直 和模式3 平面 h2 6 4 的参 考软件j m 中对色度的预测与对灰度预测方式相同 只不过将其计算的步长缩短 一半 即灰度的4 4 相当于色度的2 2 灰度的1 6 x1 6 相当于色度的8 8 详情可参考文献l 2 3 2 帧间预测 在时域卜 相邻帧的图像之间存在着很大的相关性 与以往的标准类似 i i2 6 4 采用了帧问预测以去除时域冗余 但是与以往的标准相比 i i2 6 4 又采取 了很多新的技术以获得更好的压缩性能 特别是采用了可变大小的块分割模式 1 4 像素精度的运动估计和多参考帧预测 使得预测精度得到了极大的提高 1 树状运动补偿 h2 6 4 采用了一种叫做树状结构的运动补偿 它对宏块的分割不是采用种 单的方式i t 4t 6 1 而是自适应地决定宏块的分割方式 以期是佳地描述出一个 武汉理工大学硕士学位论文 宏块的运动细节 每个1 6 1 6 宏块可以按照4 种方式进行分割 1 个1 6 1 6 或2 个1 6 8 或2 个8 1 6 或4 个8 8 其中对于每个8 8 还可以进一 步以4 种方式进行分割 1 个8 8 或者2 个4 8 或者2 个8 4 或者4 个 4 x4 1 6 x 1 61 6 x 88 x 1 68 x 8 8 x 8 目田田 8 x 44 x 8 4 x 4 目田口 图2 6 宏块及子宏块分割 每个分割或子块都有一个独立的运动补偿 每个m v 运动矢量 都会被编 码 传输 分割的选择也会被编码压缩到比特流中 大尺寸的分割 分割类型 和m v 只需要传输少量的字节 但是这样的预测精度必然比较低 那么所要编 码的残差能量必然比较高 需要较多的字节 小尺寸的分割 运动估计精度比 较高 可以得到能量较低的残差 但是相反 它却要对每个子块都要传输一个 m v 并且分块类型也需要较多的字节 因此 划分方式的选择对编码器性能有 重大影响 大区域适合图像平缓区域 而小区域适合图像复杂 纹理较多的区 域 实验表吲1 7 采用7 种运动补偿模式与进采用1 6 1 6 块相比可以节约1 6 的 码率 2 1 4 像素精度的运动估计 由于自然图像的固有特性 即图像时间上的连续性 使得相邻两帧之间块 的运动矢量具有一定的连续性 因此运动位移失量是采用1 4 像素精度或者甚至 1 8 像素作为单位的将更为合理 相对于h 2 6 3 m p e g 2 等标准使用1 2 像素 单位的运动估计 h 2 6 4 支持更为精确的1 4 像素精度 色度块采用1 8 像素精 度 的运动矢量 1 8 1 9 1 1 4 像素精度相对与1 2 精度像素的编码效率有很明显的 提高 但1 8 像素精度相对与1 4 像素精度的编码效率除了在高码率情况外并没 有明显的提高 而且1 8 像素的内插公式更为复杂 因此在h 2 6 4 的制定过程中 武汉理工大学硕士学位论文 1 8 像素精度的运动矢量模型逐渐被取消 而只采用了1 4 像素精度的运动矢量 模型 h 2 6 4 中1 4 像素精度是通过像素内插得到的 首先以1 2 像素位置周围的 整像素为参考值 使用一个6 抽头内插滤波器计算的出1 2 像素位置的子采样值 然后对1 4 像素位置使用相邻的1 2 像素值和整像素为参考 采用双线性插值的 方法得到 一 内插像素生成方法如下图所示 囡囫 囹圈 团囡 囫豳 圆圈圆圈圈 囹囫圈豳豳 囹囫圜圈豳 图2 7 亮度半像素位置内插 6 抽头滤波器的权值为 1 3 2 5 3 2 5 8 5 8 一5 3 2 1 3 2 半像素点b 计算如 下 b r o u n d e 5 f 2 0 g 2 0 h 5 1 j 3 2 2 1 同理 其它的半像素点也由该式计算出 半像素点计算出后 1 4 像素点就 可通过线性内插得出 园田野 因国园 如图2 8 所示 图2 8 亮度1 4 像素内插 1 2 7 簪 壤 t 车 阮二口 cx e g ka h戮 i xz p r k力 0 j t1 j m j n 5 赫 武汉理工大学硕士学位论文 1 4 像素点a 可由下式计算出 a r o u n d g 6 2 2 2 3 多参考帧预测 在以往的视频编码标准中 对于帧间预测里只允许一个前向参考帧 2 0 h 2 6 4 引入了多参考帧预测技术口 允许编码器在已编码的图像中选取一幅或多幅作 为运动运动补偿的参考图像 这使得编码器可以在更多的参考图像中寻找最佳 匹配块 在一些特定的情况下 比如快速的周期运动 场景切换等 多参考帧 使用会有非常好的效果 多参考帧运动补偿的使用要求编码器和解码器各自的缓冲区中存储多幅参 考帧 并对参考帧进行管理和更新 因此 多参考帧运动补偿不仅会增加存储 要求 而且在多参考帧中选择最佳参考帧也会较大的增加计算量 2 3 3 变换与量化 1 整数d c t 变换 类似于以前的标准 h 2 6 4 同样对帧内或帧间预测后的残差数据进行变换编 码 但是以前的标准 如h 2 6 3 与m p e g 1 2 4 等都是使用基于8 x 8 的离散余弦 变换 d c t 作为基本的变换算法 h 2 6 4 采用了更小的4 4 块 且采用了整 数变换 减小了计算量 提高了精度 2 2 j 二维的4 x 4 图像块的d c t 变换可以理解为先对图像块的每行进行一维 d c t 然后对经过行变换的块的每列再进行一维d c t 可以表示为 巴g 丢3 丢3 蜀c o s 骘笋c o s 亿3 用矩阵表示为 y 删r 2 4 其中y 为变换结果矩阵 x 为变换前的图像块数据 a 中的系数为 铲c j c o s 骂产 弦5 但是对于实数的d c t 由于在解码端的浮点运算精度问题 会造成解码后 的数据的适配 进而引起漂移 h 2 6 4 对漂移是十分敏感的 为此 h 2 6 4 对4 武汉理工大学硕士学位论文 4 d c t 中的a 进行了改造 采用了整数d c t 技术 从而有效地减少了计算量 又不失图像的精度 式 2 4 可等效为 y c x c r o e 卜 a 2a b a bb 2 a 2a b a bb 2 a 2a b a bb 2 a 2a b a bb 2 2 6 其中 d c b 0 4 1 4 符号 o 表示 c x c r 结果中的每个元素乘 于矩阵e 中对应位置上的系数值的运算 经简化得到 y c i x c i r 圆巧 l1 21 1 1 1 2 11 1 2 11 2 1 211 l一1 2 1 12 21 1卜 2 7 运算 o 对每个矩阵元素只进行一次乘法 并且归纳到量化运算中 从 而上式只剩下了整数的加法 减法和移位运算 整数d c t 的运算结果与通常的 d c t 近似 但却避免了浮点运算 从而避免了适配问题 并且大大减小了计算 量 2 量化 h 2 6 4 采用的是分级量化 共支持5 2 级量化1 2 3 与以往标准不同的是 步 长是以1 2 5 的复合率递进的 而不是一个固定常数 它采用的量化参数每增加 6 量化步长就增加一倍 量化参数越小 代表越精细的量化 这样在码率和图 像质量之间得到了很好的折衷 另外 量化过程中还包含了整数变换中的 oe f 乘法运算 假设e 是矩 阵y 中的转换系数 z 是对其量化后的系数 是量化步长 那么量化可以 表示为 z o r o u d p f i j q 勘 1 4 j o q 1 i l 一 一 1 1 d o 一 一 x 1i lliiliiliiliij 1 o 卅 o o d o o 1 l 1 彳 动一2矿一4动一2铲一4矿动一2矿动一2曲一2矿一4曲一2矿一4矿如一2矿动一2 武汉理工大学硕士学位论文 其中p f 要取决于它所在4 4 图像块中的位置 如下表所示 2 3 4 熵编码 表2 1p f 取值情况 p f位置 口2 o 0 2 o o 2 或 2 2 b 2 4 1 1 1 3 3 1 或 3 3 a b 2其它 h 2 6 4 支持两种熵编码 基于上下文的自适应二进制算术编码 c a b a c c o n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g 和基于上下文的自适应可变长 编码 c a v l c c o n t e x t b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g 1 2 4 c a v l c 是对亮度和色度的残差信号进行编码 残差经过变化编码和量化后 非零系数主要集中在低频部分 而高频系数大部分为零 这样量化后的数据再 经过锯齿形 z i g z a g 扫描 d c 系数附近的非零系数值非常大 而高频部分的 非零值基本为 l 或 1 且相邻4 4 块非零系数的数目相关 利用这些特性 c a v l c 可充分减少数据中的冗余信息 2 5 c a b a c 编码引擎对每一个待编码的比特位的值 用m p s m o s tp r o b a b l e s y m b 0 1 表示最可能出现的状态 对应0 和1 中概率较大的那个字符 用l p s 1 e a s t p r o b a b l es y m b 0 1 表示较小概率的字符 这样只需要用一个变量只保存l p s 出 现的概率大小 对应的m p s 的出现概率可由l 一只来表示 每编码完一个比特 位后 都要进行概率状态更新 其中包括l p s 的概率大小值的更新 某个时候 可能还包括m p s 和l p s 的值 0 1 的互换 从而得到新的概率状态 实现上 下文自适应编码 在c a b a c 中 这种概率转移规则具体是这样实现的 一旦 新来的比特位是m p s 从而只的索引值相应增加1 这意味着减小 从而1 一只 增大 它的实际意义是下一次出现m p s 的概率增大 而出现l p s 的概率减小 如果新来的比特位是l p s 从而1 一只的索引值相应减少l 这意味着只增大 从而1 一只减小 它的实际意义是下一次出现m p s 的概率减小 而出现l p s 的 概率增大 当只的索引值相应减小到0 的时候 继续出现l p s 值将引起l p s 和 m p s 的互换 即原来的l p s 不再被看作是小概率字符 实际上 在c a b a c 中 武汉理工大学硕士学位论文 所有的概率转移都通过查表完成 在c a b a c 中 t r a n s i n x l p s 保存了对应各值 的转移概率值 当新的比特位到来后 根据该位是m p s 还是l p s 通过查找表 格就可知道更新后的概率值 c a v l c 的特点在于在编码一个块的系数过程中会根据编码系l e v e l 数压缩 比率等级 值进行适应性的码表切换 同时利用联合编码非零系数个数 最后部 分绝对值为1 的系数个数以及非零系数间零的个数等信息 这些编码方法比以前 单纯编码的方法效率要高 c a b a c 的特点则是以算术编码为核心 在编码过程 中会根据编码数据的统计信息进行适应性的模型切换 与传统的v l c 3 9 编码相 比 它能为部分编码信息进行小于1 比特的位分配 因此具有更高的编码效率 但其实现极为复杂 2 3 5 去方块滤波 h 2 6 4 中的整数d c t 编码都是基于4 4 块的 而在对编码后的系数量化的 过程中存在误差 因此重建后在4 4 块的边界部分会存在明显的痕迹 呈呈现 方块效应 h 2 6 4 在重建的过程中采用了去方块滤波器 以去除编码算法带来的 方块效应 2 6 在去方块滤波中 非常重要的是去区分图像中的真实边界和d c t 变换系数量化而造成的假边界 去方块滤波器的原理如图2 9 所示 由于d c t 的边界上也有可能是真实的 边界 因此滤波强度由一定的参数来控制 h 2 6 4 采用的是自适应样点级滤波器 假设两个相邻4 4 块中一条直线上的样点为p 3 p p p o q g l 9 2 g 块边界位于p 和吼之间 那么只有在下面三条式子全部满足时 样点才需 要进行滤波 图2 9 去方块滤波原理 1 6 武汉理工大学硕士学位论文 i p g a q p l p l p p q e q q f l q p 其中o p 是量化参数 门限f l q p 要小丁a i q e 因此当下两式之 包就意味着要进行滤波 f 2 9 1 f 210 1 2 一1 1 满足时 p 引 q p 2 一1 2 q 风l f t 则将相位9 量化为如图3 5 所示的4 个方向d i r i i 取值0 1 2 3 并令n u m i 加1 n u m i 表示方向d i r i 的个数 第四步 选取n u m i 中最大者作为插值方向 并利用周边可用宏块m b 对 e m b 进行插值 第五步 对恢复的e 船利用边界匹配算法 b m a 计算匹配误差e t 第六步 调用j m 中的双线性插值算法恢复e m b 并利用 b m a 计算边界匹 配误差e 舯如果艮 b 则用恢复的e m b 替换受损宏块 一 一 t 图3 5 量化梯度方向 14 fo 蒙 缀瀚缀缀 5 縻 e m b 黧7 缓黝燃 263 计算像 3 1 6 图3 6 梯度计算示图 3 2 3 实验结果及分析 试验在j m 8 6 参考软件下进行 测试过程中参数配置如表3 1 所示 2 7 武汉理工大学硕士学位论文 表3 2 配置参数 仿真平台 j m 8 6 编码档次 b a s e l i n e 量化参数 2 8 s l i c e m o d e散乱型 参考帧数 5 变换编码 c a v l c 帧率 3 0 编码帧数 3 0 i 帧周期 4 g o p 结构 i p p p 输出格式 i u p 试验使用标准测试图像序列 c a r p h o n e y u v