（电路与系统专业论文）基于h264解码端的误码掩盖技术研究.pdf

硕士学位论文 m a s t e r st h e s l s 摘要 通信技术近年来得到了迅速发展 视频通信的应用前景十分广阔 相关技术的 发展日新月异 视频信息数据量庞大 通常都需要经过压缩后传输 但是在传输信 道中 误码的产生和数据的丢失总是难以避免 压缩后的视频数据对码元错误非常 敏感 少量码元的错误就可能导致大批码元无法正确解码 而且误码会在空间和时 间轴上进行扩散 因此视频图像的差错控制就显得尤为重要 由于视频数据在空间 和时间上具有相关性 传输错误的视频数据可以利用其空间和时间上邻近的数据来 恢复 这就是误码掩盖技术 本文对视频通信系统中较常采用的各种差错控制与错误隐藏技术进行详细阐 述 对新一代视频编码标准h 2 6 4 a v c 所采用的各种差错控制与错误隐藏技术进行 系统全面的讨论 分析了各种技术的优劣 指明了不同运用环境中适用的误码掩盖 技术 在此基础上提出一种基于多参考帧的时域误码掩盖算法 该算法首先预测受 损宏块的运动矢量 然后遍历所有参考帧得到待选的误码掩盖宏块 最后用外边界 匹配算法找出替代受损宏块的宏块 本文还以j m 8 6 的测试模型软件为实验平台 对本文提出的基于多参考帧的外 边界匹配算法进行了实现 测试和分析 并将改进的算法与单一错误掩盖算法进行 了比较 研究表明 该算法能更精确地恢复错误宏块的运动矢量 从而获得比传统 的时域掩盖算法更好的视频质量 关键词 h 2 6 a v c 标准 错误隐藏 多参考帧 边界匹配 硕士学位论文 m a s t e r st h e s i s a b s t r a c t w i t ht h e 缸td e v e l o p m e n to ft l l et e l e c o m m u n i c a t i o nt e c l l i l o l o 百e s t h ev i d e o c o m m u n i c a t i o nh a sb e e nw i d e l ya p p l i e da n dt h er e l a t e dt e c h l l i q u e sh a v e b e e nd e v e l o p p e d q u i c k l y v i d e oc 痢e sah u g e 锄o u n to fi n f o m l a t i o na n di st h e r e f o r eo r e nc o i i l p r e s s e d b e f o r et r a n s m i s s i o n o i l l ei i l l l e r e n tp r o b l e mw i t ha l l yc o m m u m c a t i o ns y s t 锄i st h a t i n f o 硼a t i o nm a yb ea l t e r e do rl o s td u r i n gt r a n s m i s s i o nd u et oc h a i m e ln o i s e t h ee f r e c to f s u c hi i l f o 珊a t i o nl o s sc a nb ed e v a s t a t i n gf o rt h e 扛a 1 1 s p o r to fc o m p r e s s e dv i d e o b e c a u s e 锄yd 锄a g et 0 l ec o m p r e s s e db i t s t r e 锄m a yl e a dt oo b j e c t i o n a b l ev i s u a ld i s t o r t i o na t t h ed e c o d 既ni sw e l l h 伽mt h a ti m a g e so fn a t u r a ls c e n e sh a v ep r e d o m i n a l l t l yl o w 仔e q u e n c yc o m p o n e n t s i e m ec o l o rv a l u e so fs p a t i a la n dt e m p o r a l l ya d j a c e n tp i x e l sv a 巧 s m o o t h l y t h e s ef a c t sc a nb eu s e dt oc o n c e a l t h ea n i f a c t sc a u s e db yt r a n s m i s s i o ne r r o r s i i lt h i sp a p e r m ee r r o rc o n t r o la n dc o n c e a l m e n tt e c h n o l o 百e st h a ta r er e l a t i v e l yo r e n a d o p t e di nv i d e oc o n n u n i c a t i o ns y s t e m sa r ee x p l a i n e di nd e t a i l t h ee r r o rc o n 缸 o la n d c o n c e a l m e n tt e c l l l l 0 1 0 百e sw i t ht l l eo v e r a l ls y s t e ma n a l y s i si nt h eh 2 6 4 儿w cs t a n d a r d a r ed i s c u s s e d t h ea d v a n t a g e sa 1 1 dd i s a d v a n t a g e so ft h et e c h i l o l o 酉e sa r ep o i n t e do u t h o wt ou s et h et e c l l i l 0 1 0 百e si nd i f r e r e n ts i t u a t i o n sa r ep u tf o n a r d ab o u n d a r y m a t c h i n g t e m p o r a l e 玎0 rc o n c e a l m e n ta 1 9 0 r i m i lb a s e do nm u l t i p l e r e f e r e n c ei s p r e s e n t c d n e s t i m a t e st h em o t i o nv e c t o r so ft h el o s tb l o c k s t h e n f i n d st h el o s tb l o c kc a n d i d a t e si na l l r e f e r e n c e s t h er i 曲tb l o c k sc a nb ea c q u i r e db yt h eb o u n d a 叫一m a t c h i n ga l g o n t h mf i n a l l y i i lt h ee x p e r i m e n t m ea l g o r i t h mi nj m 8 6 t h et e s tm o d e lo fh 2 6 4v i d e oc o d i n g s t a n d a r d i si m p l e m e n t e d e x p 舒m e n t a lr e s u l t ss h o wt h a tt h ea l g o r i t l u nc a nr e s t o r et h e 1 0 s tm o t i o nv e c t o r so fe 仃o rb l o c k sm o r ea c c u r a t e l ys 0t h a tb e t t e rv i d e oq u a l i t yc a nb e o b t a i n e d k e y w o r d s h 2 6 4 舱l v cs t a j l d a r d e 玎0 rc o n c e a l m e n t m u l t i p l e r e f e r e i l c e 胁m e b o u l l d a r y 二m a t c l l i n g 硕士学位论文 m a s t e r st h e s i s 华中师范大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明 所呈交的学位论文 是本人在导师指导下 独立进行研究工作 所取得的研究成果 除文中已经标明引用的内容外 本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果 对本文的研究做出贡献的个人和集体 均已在 文中以明确方式标明 本声明的法律结果由本人承担 作者签名 僵盼日期 捌年夕月f 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留 使用学位论文的规定 即 学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版 允许论文被查阅和借 阅 本人授权华中师范大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索 可以采用影印 缩印或扫描等复制手段保存和汇编本学位论文 同时授权 中国科学技术信息研究所将本学位论文收录到 中国学位论文全文数据库 并通 过网络向社会公众提供信息服务 储虢趣 射扮鞔鬈湘1 日期 加矽年多月 日日期 矿争g 年么月厂日f 本人已经认真阅读 c a l i s 高校学位论文全文数据库发布章程 同意将本人的 学位论文提交 c a l i s 高校学位论文全文数据库 中全文发布 并可按 章程 中的 规定享受相关权益 匦童途塞握童卮溢卮 旦圭生 旦二生i 旦三生筮查 作者签名 鱼拯 日期 加彦年 月厂日 硕士学位论文 m a s t e r st h e s l s 第一章绪论 1 1 课题背景及选题意义 随着电子技术 通信技术和计算机技术的飞速发展 视频图像的传输已得到越 来越广泛的应用 如公用电话网上的可视电话 移动通信网上的视频通信 i n t e m e t 上的视频流传输等等 自八十年代国际标准化组织 i s o 和国际电信联盟 i t u 发布了全球第一个统一的图像和视频编码算法建议的近二十年来 多媒体通信在世 界范围内得以迅速发展 并不断推出新的视讯业务 这主要得益于视频图像压缩编 码算法和多种改进业务质量的数字处理技术以及各类相关的硬件技术的不断发展 在视频编码算法方面 主要包括两大系列标准 一是i s o i e c 制定的m p e g x 系列 主要应用于视频存储 视频广播与视频流方面 二是i t u t 制定的h 2 6 x 系列 主要应用于实时视频通信 如视频会议 视频电话等 从h 2 6 1 视频编码 建议 到h 2 6 2 3 m p e g l 2 4 等都有一个共同的不断追求的目标 即在尽可能低 的码率 或存储容量 下获得尽可能好的图像质量 随着市场对图像传输需求的增加 如何适应不同信道传输特性的问题也日益显现出来 i s 0 与1 1 u 两大国际标准化组 织看到了这方面的潜在效益 于是在2 0 0 1 年 u t 在9 8 年就己开始着手研究 由国际电信联盟 i t u 的视频编码专家组 v c e g 与国际标准化组织 i s o i e c 的活动图像专家组 m p e g 组成联合视频组 j v t 着手制定新一代视频图像编 码标准 于2 0 0 3 年联合开发了新标准的正式版本h 2 6 4 a v c h 2 6 4 a v c 是目前最新的国际视频压缩标准 在提高编码效率方面 通过1 4 像素精度运动估计 补偿 多种可选编码模式 更高效的熵编码技术等 使得在保持 相同的重建图像质量下 码率与之前的视频编码标准h 2 6 3 和m p e g 一4 相比节省了 约5 0 并具有更好的网络友好性 它面向从高质量到低比特率 从有线到无线的 各种应用 在追求更高的编码效率和简洁的表达形式的同时也提供了非常好的视频 质量 是当前最高效的视频压缩编码标准 在容错性能方面 h 2 6 4 引入了f m o n e x i b l em a c r o b l o c k r e d u n d a n c ys l i c e 等技术 以支持在丢包网络上的视频传输 h 2 6 4 的优异的压缩性能将在数字电视广播 视频实时通信 网络视频流媒体 传递以及多媒体短信等各个方面发挥重要作用 当视频压缩码流在具有较大噪声干 扰的窄带信道 无线信道 或是在分组丢失信道上传输时 容易发生误码 由于压 缩编码去掉了视频图像大量的时问和空间相关性 并且采用v l c 进行编码 使得 编码端输出的图像具有比原始图像较少的冗余信息 从而造成压缩后的图像对于信 硕士学位论文 m a s t e r st h e s i s 道误码十分敏感 易受到信道误码的影响 码流数据的任何一位的丢失或错误 有 可能导致数据不能同步 而基于运动补偿的预测编码技术会使得出现的差错迅速扩 散导致重建陶像严重受损 对任何通信系统 由于信道噪声的影响 信息在传输过 程中都可能被修改或丢失 这种因信息的丢失对压缩视频的传输的影响具有很大的 破坏性 因为 对压缩视频流 任何一点破坏 都可能在解码端导致令人讨厌的视 觉失真 因此 错误恢复机制对于码流在信道的传输是十分必要的 1 2 国内外研究现状 目前的视频压缩编码标准对信息的处理都采用了帧间预测和变长编码的方式 压缩后的视频对传输错误十分敏感 码流的任何一位的错误都可能导致大批码元无 法正确解码 同时错误的图像还会扩散影响后续数帧 另外 视频数据流在信道上 传输会不可避免的产生错误 尤其是无线信道 因此 视频错误掩盖机制的研究己 经成为目前多媒体通信领域的研究热点 根据错误掩盖机制在视频通信系统中所处 的位置 错误掩盖可以分为编码端的错误掩盖 解码端的错误掩盖和编解码端交互 的错误掩盖三类 对基于块的混合视频编码码流 当其出现差错时 一般反映为解 码帧中某些宏块受损 对于受损宏块有三种类型的信息需要估算和恢复 纹理信息 运动向量和编码模式 试图恢复以上三种信息的掩盖技术可分为空域 s p a t i a l 频 域 f r e q u e n c y 时域 t e m p o r a l 三种掩盖方法 以及将这三种方法结合得到的混合法 和自适应差错掩盖法 空域错误掩盖技术利用相邻的图像块存在较强的相关性 对图像的错误块可用 同一帧内相邻的正确图像数据内插以重构错误块的数据 达到掩盖的目的 视频空 域的冗余信息 用当前帧内丢失部分周围正确接收到的图像数据恢复受损图像 l 一般适用于不含运动矢量 m o t i o nv e c t o r 简称为m v 的帧内编码帧 i 帧 和运 动复杂的帧间编码帧 p 帧 主要包括加权像素值平均吲 w 萌曲t e dp i e lv a l u e a v e m 西n g 和方向插值 3 1 d i r c c t i o n a li n t e 叩o l a t i o n 等空域插值技术 h 2 6 4 视频码流 的帧内编码帧由于不存在运动矢量 因而只能使用空域错误掩盖 时域错误掩盖技术利用视频时域即相邻帧之间的冗余信息 用相邻帧内运动补 偿宏块的图像数据估计和恢复受损图像 4 一般的做法是先用邻域宏块的运动矢量 来估计受损块的运动矢量 然后用其运动补偿块来代替受损宏块 视频数据中 宏 块的数据包括运动矢量信息和纹理信息 错误掩盖时 根据丢失的数据是运动矢量 信息还是纹理信息 可以有不同的掩盖方法 只有运动矢量信息丢失时 可以根据 周围或者相邻帧宏块的运动矢量信息对丢失宏块的运动矢量进行估计 只有纹理信 2 硕士学位论文 m a s t e r st h e s l s 息丢失时 可以根据运动矢量找到上一帧对应位置的宏块进行替换 运动矢量信息 和纹理信息全部丢失时 则需要对它们分别恢复 频域错误掩盖技术只需要利用受损区域周围相关性最重要的频谱系数 如 d c 直流分量和其它低频系数 损坏块的每个频域系数用周围块中相对应的系数插值恢 复 频域掩盖策略就是在d c t 域做估值 与在空域插值估值相比 在d c t 域的运 算量更少 因为 毕竟在空域必须逐像素进行插值 而在d c t 域是根据前面正确 解码宏块的d c 系数 利用邻块d c t 系数插值加边界平滑约束条件的d c t 系数恢 复计算 这种方法损失了大量的a c 交流 系数 也就是高频分量 图像将变得 非常模糊 甚至出现块效应 此时 还可以采用部分重建a c 系数 尤其是频率较 低的a c 系数 可以获得更好的图像质量 但代价就是算法的复杂度和消耗的运算 时间 随着视频压缩技术的发展 国内外学者针对不同的视频压缩标准 采用多种手 段先后提出了一系列差错控制算法 最早期的差错控制手段主要在视频信号的空 域 时域 频域 时空域结合等方面进行 由于视频压缩多采用帧间编码 因此时 域掩盖得到更广泛的重视 其成功的关键是如何正确地估计出受损图像块的运动矢 量m v 这些差错控制技术主要是利用视频信号固有的相关性 其处理方法一般都 不太复杂 因此目前在差错控制领域应用最广泛 但是视频信号固有的相关性为基 础的技术存在很大局限性 其主要原因是根据传输差错发生程度及视频序列内容特 性的变化 其处理效果会有很大差异 1 3 本文的研究内容 第一章绪论 介绍课题研究背景 选题意义 国内外研究现状和本论文的主要研究工作 第二章视频编码新标准h 2 6 4 综述 分析了h 2 6 4 的制定过程和发展历程 以及h 2 6 4 所具有的帧内预测 帧 间预测 整数变换 采用多参考帧的运动补偿方式 环路滤波器等一些特 点 第三章视频图像的差错控制技术 研究了视频图像中前向差错控制技术 后向差错控制技术 交互式差错控 制技术 重点分析了后向差错控制技术中的时域误码掩盖技术 第四章基于多参考帧的外边界匹配算法 分析了j m 8 6 中的差错隐藏技术中的空域和时域误码掩盖方法 提出了一 3 种基于多参考帧的外边界匹配的时域误码掩盖方法 第五章测试与结果分析 用一些典型的视频序列如s i l e n t 序列 f o r e m a n 序列 c o a s t g i l a r d 序列做实 验 得出测试结果 并加以分析和比较 第六章总结与展望 对本文的工作的总结以及对未来的展望 4 硕士学位论文 m a s t e r st h e s i s 第二章视频编码新标准h 2 6 4 综述 视频图像压缩编码的国际标准有很多 在新一代视频图像压缩标准h 2 6 4 出现 之前 有静止图像压缩编码标准j p e g 视频会议压缩编码标准h 2 6 1 数字声像存 储压缩编码标准m p e g 一1 通用视频图像压缩编码标准m p e g 一2 低比特率视频会 议压缩编码标准h 2 6 3 以及 低比特率 音频与视频对象压缩编码标准m p e g 4 1 5 6 j 等等 本章重点介绍新一代视频图像压缩标准h 2 6 4 2 1h 2 6 4 的制定过程和发展历程 1 9 8 4 年c c r r t 第1 5 研究组发布了数字基群电视会议编码标准h 1 2 0 建议 1 9 8 8 年c c i t t 通过了 p 6 4 k b p s p 1 2 3 4 5 3 0 视像编码标准h 2 6 l 建议 被 称为视频压缩编码的一个里程碑 从此 i t u t i s o 等公布的基于波形的一系列 视频编码标准的编码方法都是基于h 2 6 1 中的混合编码方法 1 9 8 6 年 i s o 和c c i t t 成立了联合图像专家组 j p e g j o i n tp h o t o 聊h i ce x p e n s g r o u p 研究连续色调静止图像压缩算法国际标准 1 9 9 2 年7 月通过了口e g 标准 1 9 8 8 年i s o i e c 信息技术联合委员会成立了活动图像专家组 m p e g m o v i n g p i c t l l r ee x p e ng r o u p 19 9 1 年公布了m p e g 1 视频编码标准 码率为1 5 m b p s 主 要应用于家用v c d 的视频压缩 1 9 9 4 年1 1 月 公布了m p e g 2 标准 用于数字 视频广播 d v b 家用d v d 的视频压缩及高清晰度电视 h d t v 码率从4 m b p s 1 5 m b p s 直至1 0 0m b p s 分别用于不同档次和不同级别的视频压缩中 1 9 9 5 年 i t u t 推出h 2 6 3 标准 用于低于6 4k b p s 的低码率视频传输 如p s t n 信道中可视会议 多媒体通信等 7 1 1 9 9 8 年和2 0 0 0 年又分别公布了h 2 6 3 h 2 6 3 等标准 1 9 9 9 年1 2 月份 i s o i e c 通过了 视听对象的编码标准 m p e g 4 它除了 定义视频压缩编码标准外 还强调了多媒体通信的交互性和灵活性 2 0 0 3 年3 月 i t u t 和i s o m c 正式公布了h 2 6 4 视频压缩标准 不仅显著提 高了压缩比 而且具有良好的网络亲和性 加强了对m 网 移动网的误码和丢包的 处理 有人将h 2 6 4 称为新一代的视频编码标准 本论文也将重点介绍该标准 视频编码标准的简要发展历程可从下图2 一l 清楚地看出 硕士学位论文 m a s t e r st he s i s 1 9 l 粥6 l 朔8 1 9 9 01 9 蛇1 9 9 41 9 9 6l 够瞎2 0 2 22 4 图2 1 视频编码标准发展历程图 2 2h 2 6 4 的特点 h 2 6 4 的视频编码采用与m p e g 4 和h 2 6 3 类似的基于块的混合编码方法 通 过复杂的帧问预测来减少运动图像时域上的相关信息 通过对预测残差进行d c t 变换 减少运动图像空间上的相关信息 另外 还使用多种优于以往压缩算法的方 法来提高整体的压缩性能 8 9 1 h 2 6 4 标准可分为三个档次 1 基本档次 主要用于 视频会话 如会议电视 可视电话 远程医疗 远程教学等 选项包括 i 帧和p 帧 环路滤波器 帧编码 不支持场编码 采用z i g z a g 扫描 不支持交替扫描 a l t e m a t es c a l l 不支持宏块的帧 场自适应编码 运动补偿采用l 4 像素精度 树状运动补偿块划分模式 至4 4 大小 基于v l c 的熵编码模式 任意片组排序 a 曲i t r a d rs l i c eo r d e r a s o 灵活宏块排序 f m o 取样格式4 2 o 冗余帧 或冗余片组 2 扩展档次 主要用于网络的视频流 如视频点播 选项包括 6 硕士学位论文 m a s t e r st h e s l s 支持b 帧 支持s p s i 帧 可采用数据分割 自适应双向预测 加权预测 其它所有b a s e l i n e 的选项 支持场编码 支持宏块的帧 场自适应编码 3 主要档次 主要用于消费电子应用 如数字电视广播 数字视频存储等 选项包括 支持b 帧 熵编码模式采用c a b a c 自适应双向预测 加权预测 其他所有b a l s e l i n e 的选项 除a s o 和f m o 外 支持场编码 支持宏块的帧 场自适应编码 当b a s e l i n e 不采用f m o a s o 和冗余帧 片组 时 解码器能够解码b a s e l i n e 码流 h 2 6 4 编码器和解码器框图分别如图2 2 和图2 3 所示 图2 2h 2 6 4 编码器框图 7 硕士学位论文 m a s t e r st h e s i s 图2 3h 2 6 4 解码器框图 相比于以前的混合编码结构 h 2 6 1 m p e g 1 m p e g 2 m p e g 以h 2 6 3 h 2 6 u t h 2 6 4 增加的两个主要模块是帧内预测和环路滤波器 帧内预测对 h 2 6 4 的高压缩率作出了很大贡献 而环路滤波器又是它保持较高主观质量的重要 因素 另外 h 2 6 4 支持5 种类型的帧 最简单的一种是i 帧 它无须参照别的图 像进行编码 p 帧和b 帧则需要参照已编码的图像进行运动预测 另外 s p 帧和 s i 帧是为了在不同速率的比特流间进行有效切换而引入的 2 2 1 帧内预测 视频序列空间冗余的存在为帧内预测编码提供了可能性 在以前的视频编码标 准中 除m p e g 4 采用了2 种预测模式外 其余标准都没有采用帧内预测 而是直 接对帧内编码模式的宏块进行变换 量化和熵编码 由于相邻宏块间具有相关性 所以为了提高编码效率 减少传输的数据量 h 2 6 4 利用宏块间的空间相关性来进 行帧内预测编码 对于给定宏块 首先利用相邻的周围宏块对此目标宏块进行预测 然后对实际宏块和预测宏块对应像素做差值 并对差值变换编码 从而可以在一定 程度上减少数据量 有效降低传输码率 同时为了更有效的提高编码效率 对于亮度分量 h 2 6 4 对含有较多空域细节信息的区域采用4 4 预测模式 而 对较平坦的区域采用1 6 1 6 的预测模式 4 4 有9 种预测模式 如图2 4 所示 1 6 个子块组成了预测块p 当左边和上边的采样点a l 已经重建好后 它们就能作为 预测的参考子块 预测模式分别为垂直预测 水平预测 均值预测 左下对角预测 垂直向右预测 垂直向左预测 水平向上预测 水平向下预测等 1 0 l 与4 4 子块 预测相似 1 6 1 6 宏块的预测也是利用先前己编码并重建的宏块作为参考给出当前 宏块的预测值 1 6 1 6 宏块的预测模式共有四种 分别为垂直预测 水平预测 均 值预测和平面预测 如图2 5 所示 硕士学位论文 m a s t e r st h e s i s q abcde fgh i j k l a 像素点分布 图2 44 4 的帧内预测模式 o v e 币c a i 1 h o n z o n l a i 2 d c 一f 图2 5 帧内1 6 l6 预测模式 b 预测模式 色度的预测模式与1 6 1 6 宏块的预测模式类似 仅直流预测稍有不同 如图2 6 所示 在这种模式下一个色度块是分为四个4 4 的子块分别进行预测的 标为a b c d s 0 s 1 s 2 s 3 分别代表图中所示位置四个参考点的和 预测结果依赖于计 算所得的s 0 s 1 s 2 s 3 的值 图2 6 色度商流颅洲示意图 9 硕士学位论文 m a s t e r st h e s i s 2 2 2 帧间预测 帧间预测是采用已编码视频帧 场和基于块的运动补偿的预测模式 h 2 6 4 标准 与早期标准的主要不同之处在于 h 2 6 4 支持不同的块尺寸 从1 6 1 6 到4 4 及 支持精细子像素精度的运动矢量 亮度采用l 4 像素精度 1 树状结构的运动补偿 固定块大小的划分影响着估计的精度 块过大 整个块中所有像素作相同运动 的假设不容易被满足 造成估计误差 块过小 运动估计容易受干扰 块匹配算法 的基本前提 同时传输的运动矢量也比较多 会增加编码比特 同样 在运动搜 索中 过大的块减少搜索次数 但是会降低估计精度 过小的块能够提高估计的精 度 但是却增加了计算量 降低了估计速度 每个宏块 1 6 1 6 像素 的亮度分量 可以按图2 7 a 一 d 所示四种方式进行分割 1 个1 6 x 1 6 或2 个1 6 8 或2 个8 1 6 或4 个8 8 其运动补偿也相应有四种 而8 8 模式的每个子宏块还可以进一步以 图2 7 e 一 h 所示四种方式进行分割 1 个8 8 或2 个8 x 4 或2 个4 8 或4 个4 4 这些分块和子宏块大大增加了每个宏块内部的组合数 这种分割下的运动补偿则称 为树状结构运动补偿 d 8 x 8 e 8 x 8 f 8 x 4 曲4 x 8 h 4 x 4 图2 7 宏块和子宏块分割 每个分割或子宏块都有一个独立的运动矢量 每个运动矢量 m o t i o nv e c t o r 简称为m v 必须被编码和传输 分割的选择也需编码压缩到比特流 对大的分割 尺寸而言 m v 选择和分割类型只需少量的比特 但运动补偿残差在多细节区域中 的能量将非常高 小尺寸分割运动补偿残差能量低 但需要较多的比特表示运动矢 1 0 硕士学位论文 m a s t e r st h e s i s 量和模式选择信息 分割尺寸的选择影响了压缩性能 整体而言 大的分割尺寸适 合于平坦区域 而小的分割尺寸适合于多细节区域 宏块的色度成分 c r 和c b 则为相应亮度的一半 水平和垂直各一半 每个 色度块按照与亮度分量同样的分块方式进行划分 除非分块尺寸已经是亮度的水平 或者垂直分辨率的一半 8 1 6 的亮度块其相应的色度块尺寸为4 8 8 4 亮度块相 应的色度块尺寸为4 2 等等 色度块的m v 也是通过相应亮度块m v 的水平和垂 直分量分别减半获得 隧臻篱鞫蒸 邋懿冀蠢鎏錾霾薹匿黎耋 图2 8 显示的是一个没有进行运动补偿的残差帧 h 2 6 4 参考解码器为图像帧 的每个部分选择最好的分块尺寸 使信息传输量最小 并将选择的分割加到残差帧 上 在帧变化小的区域 残差显示灰色 选择1 6 1 6 分割 多运动区域 残差显 示黑色或白色 选择更有效的小的尺寸 2 运动矢量 帧间编码宏块的每个分块或者子分块都是对参考图像的某一相同尺寸区域进 行预测而得到的 两者之间的差异 运动矢量 对亮度采用四分之一像素精度 色 度采用八分之一像素精度 亚像素位置的亮度和色度像素并不存在于参考图像中 需利用邻近已编码点进行内插所得 如果运动矢量的垂直和水平分量为整数 参考 块相应像素就已经实际存在 如果其中一个或两个为分数 预测像素则要通过参考 帧中相应像素内插所得 1 2 14 1 内插像素生成方法如图2 9 所示 硕士学位论文 m a s t e r st h e s i s 图图圜圈图 圈口圜图圈 囤网圆圈图 囹圈圆圈囹 口口围图口 图2 9 亮度半像素位置内插 首先生成参考图像亮度半像素位置像素 半像素点 如b h m 通过对相应 整像素点进行6 抽头滤波得出 权重为 1 3 2 一5 3 2 5 8 5 8 5 3 2 1 3 2 半 像素点像素b 是从六个整数位置像素e f g h i 和j 得到的 其中r o u n d 表示 取整 6 o 蹦以d e 一5 2 0 g 2 0 日一5 3 2 2 一1 厂d 甩d x s 劬 x 半月d d 彳如 x o 5 2 2 类似地 h 由a c g m r t 滤波得出 如果邻近 垂直或水平方向 整像素点的所有像素都计算出 剩余的半像素点便可通过对六个垂直或水平方向的 半像素点滤波而得到 例如 j 由c c d d h m e e f r 滤波得出 这个六阶滤波 器相对比较复杂 但是可以产生更精确的匹配 从而产生很好的运动补偿性能 半像素点计算出来以后 四分之一像素点就可以通过线性内插得出 如图2 1 0 所示 四分之一像素点 如a c i k d f n q 由邻近像素内插而得 例如 口 d 扰刀d g 6 2 2 3 剩余四分之一像素点 如p r 由相邻的对角线位置的两个半像素位置的像素进行 线性插补得到 相应地 色度像素需要八分之一精度的m v 也同样通过整像素线 性内插得出 如图2 1 1 所示 1 2 硕士学位论文 m a s t e r st h e s i s 图2 1 0 亮度1 4 像素内插 慈 虹 嚣 zy e g k 刀 封 鬻盟 yy p k r 刀 i m 鹩 鬻 1 a 撼警 r j l 一i 麓 a y k r l a jl 8 一d x 弓一d y c 1r d 图2 1 1 色度l 8 像素内插 其中 a 像素点的值为 口 加 刀d 8 一吱 8 一d 彳 或 8 一d b 8 一吱 d c 破d d 6 4 2 4 例如 当d 2 j 3 时 口 加 甩d 3 0 彳 l o b 1 8 c 6 d 6 4 2 5 3 运动矢量预测 在编码时 每个分割的块的运动矢量需要相当数目的比特位 特别是当使用小 尺寸分割时 为了减少传输比特数 此分割块的运动矢量可利用邻近分割较强的相 关性 由邻近已分块编码分割的块的运动矢量预测而得 预测矢量m v p 的产生是 硕士学位论文 m a s t e r st h e s i s 基于先前计算的运动矢量和m v d 预测运动矢量与当前运动矢量的差异 的 m 被编码和传输 预测矢量则取决于运动补偿尺寸的大小和邻近运动矢量的有无 e 为当前宏块或宏块分割子宏块 a b c 分别为e 的左 上 右上方的三个相对 应块 如果e 的左边不止一个分割 取其中最上的一个为a 上方不止一个分割时 取最左边一个为b 所有分割有相同尺寸时的邻近分割选择如图2 一1 2 所示 不同尺 寸时邻近分割的选择如图2 1 3 所示 1 传输分块不含1 6 8 和8 1 6 时 m v p 为a b c 的m v 的中值 2 对于1 6 8 分割 上面部分m v p 由b 预测 下面部分m v p 由a 预测 3 对于8 1 6 分割 左面部分m v p 由a 预测 右面部分m v p 由c 预测 4 跳跃宏块 s k i p p e d m b 同 1 如果图2 1 2 所示的已传送块不存在时 如在当前条带外 m v p 的选择需重新 进行调整 在解码端 m v p 以相同的方式形成并加到运动矢量差值m v d 上 对于 跳跃宏块而言 由于不存在运动矢量差值m v d 其运动补偿宏块由m v p 直接生成 图2 1 2 当前和邻近分割 相同尺寸 b 片预测 一个编码图像通常划分成若干宏块组成 一个宏块由一个1 6 1 6 亮度像素和附 加的一个8 8c b 和一个8 8c r 彩色像素块组成 每个图象中 若干宏块被排列成 片的形式 i 片只包含i 宏块 p 片可包含p 和i 宏块 而b 片可包含b 和i 宏块 i 宏块利用从当前片中已解码的像素作为参考进行帧内预测 不能取其它片中的已 解码像素作为参考进行帧内预测 p 宏块利用前面已编码图象作为参考图象进行帧 内预测 b 宏块则利用双向的参考图象 当前和未来的己编码图象帧 进行帧内预 测 在b 条带 为更好编码效率的预测条带 中 帧间编码宏块的每个子块都是由 一个或两个参考图像预测而得到的 该参考图像在当前图像的前面或后面 参考图 像存储在编码器中 有3 种方式 一个前向和一个后向 类似于m p e g 视频标准中 1 4 硕士学位论文 m a s t e r st h e s l s 的b 图像的预测 两个前向 两个后向 b c 叙8 1 6 x 8 la8 x 4 f e 1 6 x 1 6 图2 1 3当前和邻近分割 不i 司尺寸 2 2 3 整数变换 对图像信号进行压缩 可以节省图像传输码率 一般方法为去除图像信号中的 相关性及减少图像编码的动态范围 我们通常利用变换编码及量化技术 在混合编 码框架中 利用正交变换来消除空间冗余以达到数据压缩的目的一直是一个重要的 手段 其中 d c t 变换在m p e g 1 m p e g 2 m p e g 4 h 2 6 l h 2 6 3 等标准中得 到了广泛的应用 文献 1 5 1 6 详细介绍了d c t 变换消除空间冗余的原理 传统标 准中的d c t 变换总是基于8 8 块的二维浮点运算的 这种运算通常被分解为两个 一维8 点的d c t 变换 为了进一步减少运算时间 人们提出了很多快速d c t 变换 的算法 目前比较流行的快速算法是快速蝶型算法 但仍然用到了浮点乘法运算 浮点乘法运算环节的引入不仅影响了运算速度 同时由于浮点运算的舍入问题造成 了误差 从而导致正变换和反变换的 失配 问题 因此 h 2 6 4 对图像或预测残差采用了4 4 整数离散余弦变换 避免了以前使 用8 8 离散余弦变换时 逆变换经常出现的失配问题 其变换思想仍然来源于d c t 变换 先对d c t 的变换矩阵作因式分解 提出缩放因子 再对变换核作必要的近 似 使得变换核仅为 1 2 的整数 最后再将缩放因子整合到量化与反量化中 这 样 其核心变换仅有移位运算和加法运算 另外 为进一步消除相邻块的相关性 降低传输比特率 该算法还对4 4 亮度块整数变换后的d c 系数进行了4 4 的哈达 码变换 对色度块变换后的d c 系数进行了2 2 的哈达码变换 17 1 这种变换在核心 变换中 去掉了乘法 只有加法和移位运算 同时 变换与反变换的缩放系数被综 合到了量化器中 将量化与反量化也转换成了实数乘法与移位运算 并对帧内宏块 硕士学位论文 m a s t e r st h e s l s 中集中了大量能量的d c 系数进行了二次变换 消除了帧内相邻块的相关性 这样 与先前标准采用基于浮点运算的8 8 d c t 变换相比 h 2 6 4 中的整数d c t 变换具有 以下优点 一是核心变换中避免了乘法运算 因此大大节省了运算时间 二是不存 在舍入误差 避免了编码端和解码端在正变换和反变换时出现 失配 的问题 三 是节省大量的编码比特数 2 2 4 多参考帧的运动补偿方式 m p e g 一2 中的前向预测只能使用一个已编码帧来预侧当前帧 h 2 6 4 标准扩展 了h 2 6 3 的增强参考帧选择技术 编码器可从多个参考帧中选择最佳匹配块 并且 允许使用不同参考帧的宏块的线性组合来预测当前帧 即在作运动补偿的预测时 可以有多于一幅的己编码图像作为参考图像 这在很多自然场景的周期变换以及镜 头在两个场景中交替转换等情况下可以提高编码效率 在这种模式下 对某一个块 进行运动估计时 编码器会从过去的一个或几个刚刚编码过的参考帧中选定一帧作 为参考帧 以获得更好的预测效果 例如对于鸟类飞翔的视频序列 由于翅膀的扇 动具有周期性 因而采用多参考帧的运动估计方式就有机会选择时间间隔为一个或 接近一个周期的帧作为参考帧 采用这个参考帧来进行运动估计的效果显然会比选 取时间上相邻但翅膀位置差别较大的帧作为参考帧的效果要好 这种方法大大提高了运动补偿的效率 在双向预测中也进行了同样的扩展 以 往标准最多允许使用两个参考帧 一个前向帧 i 帧或p 帧 和一个后向帧 i 帧或 p 帧 h 2 6 4 的双向预测也允许从多个参考帧中进行选择 多参考帧运动估计不但 能降低码率 同时也能提高视频数据的鲁棒性 在编解码有交互的系统中 解码器 向编码器发送错误帧信息时 编码器不再采用出错帧作为参考 从而有效地防止误 码扩散 2 2 5 环路滤波器 几乎所有的视频编码系统都有基于块的预测 补偿 变换 量化等操作 而量 化是不可恢复的有损压缩 所以不可避免的会有块效应存在 h 2 6 3 采用交叠运动 补偿方式 在一定程度上能去除块效应 但效果仍不理想 因为编码是基于块纹理 的 块效应会随着前一个重建帧而积累下去 非基于块的方式如重叠正交变换和小 波变换能较好的去除块效应 但改变了基本的编码方式 考虑到性能复杂度 兼容 性等 国际标准中主要采用基于块的编码方式 h 2 6 4 中应用了环路滤波器 在对 每个帧进行重建并存储之前应用于每个己解码完成的宏块 应用环路滤波器的优点是可以平滑图像中由于运动补偿 变换及量化产生的虚 1 6 硕士学位论文 m a s t e r st h e s i s 假边界 降低图像块效应 特别是在高压缩比时 提高主观视觉效果 而且滤波后 的帧用于后续帧的运动补偿预测 避免了虚假边界积累误差导致的图像质量进一步 降低 该系统是h 2 6 4 在码率较低时仍能保证较好主观质量的重要因素 h 2 6 4 的环路滤波操作可以在三个层面上自适应地进行 1 8 1 9 1 在分片层面 上 全局滤波的强度可以根据视频序列具体模式特征来调整 2 在块边缘层面上 滤波强度取决于两个相邻块的编码模式 3 在像素层面上 滤波器的强度取决于 当前的量化器 像素值在边界处的梯度等 2 2 6s ps i c e s ps 1 i c e 条带是特殊的编码条带 可以有效地在视频流之间交换码流 视频解 码器可以有效地随机存取码流 s ps l i c e 引入的主要目的是用于不同码流的切换 此外也可用于码流的随机访问 快进快退和错误恢复 不同码流是指在不同比特率 限制下对同一信源进行编码所产生的码流 设切换前传输码流中的最后一帧为a 1 切换后的目标码流第一帧为b 2 假设是p 帧 由于b 2 的参考帧不存在 所以直 接切换显然会导致很大的失真 而且这种失真会向后传递 编码器可以将a 1 作为 b 2 的参考帧 对b 2 进行帧间预测 预测误差就是s ps l i c e 然后通过传递s ps l i c e 完成码流的切换 2 3 小结 h 2 6 4 提供了压缩效率最佳的视频编码机制 目标在于满足实际的多媒体通信 应用的需要 现有编码工具的范围比m p e g 4 视频标准有更多的限制 但对编码参 数及策略仍然有很多选择 h 2 6 4 的编码效率比m p e g 4 提高了近5 0 另外 采 用了很多差错控制技术 使得该系统有更好的差错控制能力 同时因分层编码结构 的引入 使其具有更好的网络友好性 1 7 硕士学位论文 m a s t e r st h e s i s 第三章视频图像的差错控制技术 h l t e m e t 是分组交换网络 在网络发生拥塞时 路由设备或交换设备的缓冲区溢 出会引起丢包 视频在i l l t e m e t 上传输时 如果对丢包导致的差错不加控制和掩藏 则会严重影响接收端重建的视频信号的质量 出现马赛克 黑块 花屏 停顿等情 况 近年来 提出了许多应用于视频通信系统中的比较成熟的差错控制与错误恢复 技术 按照其中编解码器所扮演的角色 可将其分为三大类 一类是前向差错控制 技术 依靠在编码端加入冗余信息来增强编码比特流抗差错能力的方法 另一类是 后向错误隐藏技术 指根据图像和视频信号的特性来恢复损坏图像区域的方法 主 要通过空间和时间平滑技术 第三类是交互错误隐藏技术 在这类技术中 需要编 码器和解码器协调工作 尽可能使传输错误的影响更小 根据信道误差特性 系统配置和需求的不同 各种技术的性能也会有所差异 对于突发性错误的信道 前向差错控制技术不是好的选择 这是因为 当信道无差 错时 由差错复原编码带来的开销则是一种浪费 这样的开销当出现突发错误时也 不会有很大帮助 重传是合适的 由于它只是在需要时才会加入额外的开销 但是 对于实时应用 重传由于会带