（通信与信息系统专业论文）h264中sp帧抗误码应用研究.pdf

北京邮电大学硕士研究生学位论文摘要 h 2 6 4 中s p 帧抗误码应用研究 摘要 视频通信是当前多媒体通信的重要应用方向之一 由于信道本身 的差错及延时特性 传输中误码的产生是不可避免的 而高效压缩后 的视频数据对误码又非常敏感 因此有必要采用相应的措施提高视频 数据的抗误码能力 为了满足抗误码和编码效率的双项要求 h 2 6 4 中提出了一种新的帧型 s p 帧 s p 帧技术不仅可以达到抗误码的目的 而且其编码效率比i 帧要好 但是在一个视频序列中插入多少s p 帧才 比较合理呢 针对这一问题 本文提出了一种优化s p 帧抗误码的方 案 该方案给出了s p 帧插入比例与s p 帧量化系数及p 帧量化系数之间 的一种关系 该方案是基于一种率失真模型 在一定失真的情况下 求最小码率得出的 本文主要完成的工作有 对h 2 6 4 视频标准的新特性和抗误码工具进行了研究 包括帧内 预测 帧间预测 熵编码 f m o f l e x i b l em a c r o b l o c ko r d e r 参数 集 数据分割等 透彻的分析了s p 帧的编解码器 及s p 帧技术的主要应用 并通 过实验对比了s p 帧 p 帧 i 帧的编码效率 之后重点分析了s p 帧抗误 码应用 并做了s p 帧抗误码的相关实验 在研究国内外大量资料的基础上 通过采用一种率失真模型 在 一定失真情况下 求最小码率 得出了s p 帧插入比例与s p 帧量化系 数 p 帧量化系数之间关系的优化方案 在不同丢包信道上对优化方案和其他两种比较方案进行了对比 测试 整理测试结果并进行了分析 根据测试结果得出 码率一定时 大多数情况下 优化方案比其 他两种方案得到的p s n r 值要高 尤其在码率高时效果更加明显 关键词 视频编码抗误码h 2 6 4s p 帧率失真 r e s e a r c ho fe r r o r r e s i l i e n c e a p p l i c a t i o no fs pf r a m ei nh 2 6 4 a b s t r a c t v i d e oc o m m u n i c a t i o ni so n eo ft h em o s ti m p o r t a n ta p p l i c a t i o n si nm u l t i m e d i ac o m m u n i c a t i o n b u ti ti s i m p o s s i b l et oa v o i dt r a n s m i s s i o ne r r o ra si n t e r r u p t i o na n dd e l a ya l w a y sh a p p e ni nc h a n n e l s i n c e h i g h l yc o m p r e s s e dv i d e oj n f o 咖 a t i o ni sv e r ys e n s i t i v et o i n t e r f e r e n c e e r r o rr e s i l i e n c eb e c o m e ss i g n i f i c a n ti nv i d e ot r a n s m i s s i o n i no r d e rt om e e tt h ed u a ld e m a n d so fe r r o rr e s i l i e n ta n dc o d i n ge f f i c i e n c y an e wl r a m et y p e s pf r a m ei sp r o p o s e di nh 2 6 4 s pf r a m en o to n l yc a l la c h i e v et h ep u r p o s eo fe r r o rr e s i l i e n t a n di t sc o d i n ge f f i c i e n c yi sb e t t e r t h a nif r a m e h o w e v e r h o wm a n ys pf r a m e s h o u l db ei n s e r t e di nas e q u e n c e i nr e s p o n s et ot h i s q u e s t i o n i nt h i sp a p e r ao p t i m i z e de r r o r r e s i l i e n tp r o g r a mo f s pf r a m ei sp r o p o s e d t h ep r o g r a mg i v et h er e l a t i o n s h i po ft h er a t eo fs p 丘 a m e q po fs pf r a m ea n dq po fpf r a m e t h ep r o g r a mi sb a s e do nar a t e d i s t o r t i o nm o d e l u n d e rl i m i t e dd i s t o r t i o n s e e k i n gt h es m a l l e s tb i t r a t e t h em a j o rw o r k sf i n i s h e da r e m a k ea l li n d e p t hs t u d yo fn e wf e a t u r ea n dt h ee r r o rr e s i l i e n c et o o l si n h 2 6 4 s u c ha si n t r ap r e d i c t i o n i n t e r p r e d i c t i o n e n t r o p yc o d i n g f l e x i b l em a c r o b l o c ko r d e r f m o p a r a m e t e rs e t s d a t a p a r t i t i o n a n ds oo n t h ec o d e ca n dm a i na p p l i c a t i o no fs pf l a m ei s a n a l y s e d a n dt h r o u 曲t h e e x p e r i m e n t a l t h ec o d i n ge f f i c i e n c yo fs p f r a m e pf r a m ea n dif h m ei s c o m p a r e d t h e n t h ee r r o rr e s i l i e n c ea p p l i c a t i o no fs pf r a m ei s a n a l y s e d a n de r i o rr e s i l i e n c ee x p e r i m e n t a li sd o n e b a s e do nt h er e s e a r c ho fm a n yc o r r e l a t e dd o m e s t i ca n d f o r e i g nw o r k t h r o u g har a t e d i s t o r t i o nm o d e l u n d e rl i m i t e dd i s t o r t i o na n ds e e k i n gt h es m a l l e s t b i o r a t e ao p t i m i z e dp r o g r a mi sp r o p o s e d t h eo p t i m i z e dp r o g r a mg i v et h er e l a t i o n s h i po ft h er a t eo fs pf r a m e q po fs pf r a m ea n dq po fpf t a m e u n d e rd i f f e r e n tp a c k e tl o s sc h a n n e l s t h eo p t i m i z a t i o n p r o g r a ma n dt h eo t h e rt w op r o g r a m sw e r ec o m p a r e d t e s tr e s u l t i sa n a l y z e d 北京邮电大学硕士研究生学位论文 摘要 a c c o r d i n g t o t e s tr e s u l t s u n d e rc e r t a i nb i t r a t e i nm o s tc a s e s p s n ro ft h e o p t i m i z e dp r o g r a mi sh i g h e rt h a nt h eo t h e rt w oc a s e s e s p e c i a l l ya th i g hb i t r a t e t h e e f f e c t sb e c o m em o r eo b v i o u s k e yw o r d s v i d e oc o d i n g e r r o rr e s i l i e n c e h 2 6 4 s pf r a m e r a t e d i s t o r t i o n 独创性 或创新性 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果 尽我所知 除了文中特别加以标注和致谢中所罗列的内容以外 论文中不 包含其他人已经发表或撰写过的研究成果 也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料 与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意 申请学位论文与资料若有不实之处 本人承担一切相关责任 本人签名 弹赴 一 日期 埤 0 4 l 一 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定 即 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学 学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘 允许学位论文被查阅和借 阅 学校可以公布学位论文的全部或部分内容 可以允许采用影印 缩印或其它 复制手段保存 汇编学位论文 保密的学位论文在解密后遵守此规定 非保密论文 本人签名 导师签名 于保密范围 适用本授权书 日期 日期 北京邮电大学碰 研究生学位论文第一章绪论 第一章绪论 1 1 课题背景及选题意义 多媒体业务是下一代互联网以及3 g 移动通信系统新业务的一个关键点 目前多媒体通信技术 m u l t im e d i ac o m m u n i c a t i o n m m c 技术不再局限于枯燥 的文本信息和简单的语音对话 而是具有多种媒体功能和更加人性化的特色业 务 它除了可为用户提供融合了声音 文字 图像 视频等多媒体信息之外 还 支持诸如视频会议 可视电话 图像和视频检索等功能 由于对数据的低比特率 要求是移动通信的主要特征 因此视频编码的压缩效率就成为能否适应网络环境 的关键因素 另外 i p 网络和无线网络都存在一定的信道误码 这就要求视频码 流必须具有较强的鲁棒性 才能保证视频信号的传输质量 一般说来 原始视频序列帧内以及帧与帧之间均包含很大的统计冗余度和主 观冗余度 而视频编码的最终目标是 通过挖掘统计冗余度和主观冗余度 来降 低存储和传送视频信息所需的比特率 并采用熵编码技术 以最大限度的压缩码 率 以便能够在给定的信道上进行传输 在进行编码视频信息传输过程中 由于在传输信道尤其是无线信道中多径时 延与衰落效应以及多普勒频移的存在 信道条件十分恶劣 传输信道中产生的误 码可咀分类为 2 1 不可靠的有垄髦 无线信道在传输比特流中引入的随机误码 由于 网络阻塞 有线i p 网络中的 尽最大努力交付 b e s te f f o 传输而引入的数据 包丢失 在无线信道或移动无线网络中 由于多径传播而导致的突发误码 视频 编码时结合变换 量化 熵编码阻及具有运动补偿的帧问预测 尤其是h2 6 4 为 了提高压缩率采用了帧内预测 自适应算术编码等技术 这些技术的使用使得编 码后的视频信息前后具有很强的相关性 极易受到信道误码的影响 而且这种相 关性还会造成误码扩散 典型的误码扩散如图1 1 所示 围1 1 误码扩散示意图 图l 1 视频序列中第4 0 帧出现了丢包 其错误结果直接影响到后续帧 图 中4 1 和4 2 号帧均为帧间编码 由于图像运动缓慢 运动估值命中率高而造成的 北京邮电大学硕l 研究生学位论文 第一章绪论 编码信号前后依赖性很强 所以4 0 号帧中出现的误码几乎全部扩散到了4 1 和4 2 号帧 仅在轮船上部有微小的差别 因此为了保证解码器输出重构视频信息的 视觉质量 满足用户的要求 需要采取一定的误码控制技术来增加编码视频信息 的抗误码性能 1 2 视频编码标准进展 1 9 7 6 年 就职于美国视讯公司的美籍华人陈文雄博士提出了基于离散余弦 变换 d c t 实现数字视频编码的算法 奠定了视频编码技术的基础 而1 9 9 0 年i t u 一啦过的h2 6 1 标准则成为视频编码的经典之作 目前主要有两大国际组 织从事视频编码标准的制定工作 i t u t 的v c e g v i d e oc o d i n ge x p e r tg r o u p 制定了h 系列的标准 i s o i e c 的m p e g m o v i n gp i c t u r ee x p e r tg r o u p 制定了 m p e g 系列标准 1 2 1h 系列标准简介 h 2 6 1 采用帧间预测编码和帧内d c t 的混合编码方法 在帧问编码时采用 了基于1 6 x 1 6 的宏块和整像素精度的运动估计 而在帧内编码时采用了8 x 8 数据 块的d c l 踅算 通过利用帧问预测去除时 日j 上的冗余度 利用变换编码减少预测 余量信号空间上的冗余度 因此当时的h2 6 1 具有较高的压缩比 适用于p 6 4 k b p s 的视听业务 也叮以用于i s d n h 2 6 3 公布于1 9 9 6 年3 月 是h2 6 1 的发展 重点在于改善低码率下 小 于3 8 4 k b p s 的图像编码质量 在结构上仍沿用h2 6 1 的帧问预测编码和帧内d c t 的混合编码方法 为了适应极低码率传输的要求 h 2 6 3 在相对于h2 6 1 作了 一些改进1 3 1 h2 6 1 定义了o c i f 藕q c i f 两种罔像格式 而在h2 6 3 中有5 种标准的图像 格式 s u b q c i f q c i f c i f 4 c i f 和1 6 c i f 出于对图像质量 成本和对h2 6 1 的 兼容性等方面的考虑 h2 6 3 要求所有解码器能以o d f 和c l 瞒式工作 2 在h2 6 1 中 运动估计的精度为整像素间隔 运动矢量范围为 一1 6 1 5 而在h2 6 3 中采用半像素精度运动估计 取值范围为 一1 6 0 1 5 5 而且 运动矢量是以差分预测的方式编码传输 对于半像素精度采用双线性内插来得到 它的预测值 3 h 2 6 3 优化了可变陡编码表 v i c 同时 还提供了以r 选项 无限 制运动矢量模式 a n n x ed 高级预测模式 a n n x ef p b 帧模式 a n n e xg 基于句法的算术编码模式 s a c a n n x ee 此后还有后续版本h2 6 3 和h2 6 3 增加了一些新的特性 不一一列举 1 2 2m p e g 系列标准简介 m p e g 一1 制定于1 9 9 1 年 为工业级标准而设计 目标比特率大约为15 m b 北京邮电大学磺 研究生学位论文 第一章堵论 p s 典型的图像格式为c i f 不支持交织 帧率从2 4 f p s 到3 0 f p s 主要应用于多 媒体视频存储 m p e g 1 也被用于数字电话网络上的视频传输 如非对称数字用 户线路 a d s l 视频点播f v o d 以及教育网络等 m p e g 2 制定于1 9 9 4 年 设计目标是高级工业标准的图象质量以及更高 的传输率 考虑到视频信号隔行扫描的特点 m p e g 2 专门设置了 按帧编码 和 按场编码 两种模式 并相应地对运动补偿和d c i 方法进行了扩展 从而显 著提高了压缩编码的效率 考虑到标准的通用性 增大了重要的参数值 允许有 更大的画面格式 比特率和运动矢量长度 除此之外 m p e g 2 视频压缩编码还 进行了以下扩展 1 支持4 2 0 4 2 2 4 4 4 等几种取样格式 2 在空间分辨率 时间分辨率 信噪比方面的可分级性适合于不同用途 的解码图像要求 并可给出传输上不同等级的优先级 3 码流结构的可分级性 比如头部信息 运动矢量等部分可以给予较高 的优先级 而对于d c r 系数的高频分量部分则给予较低的优先级 4 输出码率可以是恒定的也可以是变化的 以适应同步和异步传输 m p e g 4 是一种多媒体应用技术规范 它包含了四个重要的部份 系统 视频 音频 电脑合成资料 目标就是要实现通过互联网实时传输视频信号 视 频部分的框架与m p e g 一2 类似 综上 几种标准都是基于混合编码结构的 其基本视频编码框架可以用图1 2 来表示 控制戢据 量化 变换 后的系戢 运动信息 图1 2 混合编码结构 h 2 6 j m p e o 1 m p e g 2 m p e g 4 h2 6 3 h2 6 l t j v t m p e g 7 与m p e g 2 1 m p e g 一7 是多媒体内容描述接口 用于信息表示 是 基于语义的表示 m p e g 一7 定义了 个描述符标准集 用于描述备种类型的多媒 北京邮电大学硕士研究生学位论文第一章绪论 体信息 与之相应的描述方案可以用于规范多媒体描述符的生成和不同描述符之 间的有机联系 m p e g 7 的目的在于提供一个标准化的核心集 以便描述多媒体 环境下的视频和音频内容 最终使视频和音频搜集像文本搜集一样简单方便 新 标准m p e g 一2 1 是一个支持通过异构网络和设备 使用户透明方便地使用多媒体 资源的标准 其目的是建立一个交互的多媒体对象 实现多种业务模型 包括对 版权和交易的自动管理 对内容使用者隐私的尊重等 1 2 3 视频编码新标准h 2 6 4 a v c h 2 6 4 标准由j v t j o i n tv i d e ot e a m 视频联合工作组 制定 它由i t u t 和i s o 两个国际标准化组织的有关视频编码的专家联合组成 j v t 的工作目标是 制定一个新的视频编码标准 以实现视频的高压缩比 高图像质量 良好的网络 适应性等目标 目前j v t 的工作已被i t u t 接纳 新的视频压缩编码标准称为h 2 6 4 标准 该标准也被i s o 接纳 称为a v c a d v a n c e dv i d e oc o d i n g 标准 是 m p e g 4 的第1 0 部分 h 2 6 4 标准使运动图像压缩技术上升到了一个更高的阶段 在较低带宽上提 供高质量的图像传输是h 2 6 4 的应用亮点 h 2 6 4 的推广应用对视频终端 网关 等系统的要求较高 将有力地推动视频会议软 硬件设备在各个方面的不断完善 1 3 视频抗误码概述 由于传输中误码的产生是不可避免的 而高效压缩后的视频数据在语义上具 有很大的相关性 对误码非常敏感 一旦有误码产生不仅影响当前数据的恢复还 会造成误码扩散 从而导致视频质量的急剧恶化 因此有必要采用相应的措施提 高视频数据的抗误码能力 例如 当在可变长码字中出现1 比特错误时 不仅解 码器不能对该码字正确解码 同时因为码字的可变长特性 在下一个再同步点到 来之前 解码器不能正确理解比特流中接下来的信息 因此 单个的位错误也将 导致丢失一连串的信息 由此 产生了许多差错控制方法 主要分为以下3 类1 6 j 1 在进行信源编码及信道编码时 采取措施使比特流具备一定的错误恢 复能力 2 在解码端进行错误检测并进行错误隐藏处理 e r r o rc o n c e a l m e n t 3 通过信源编码器和解码器之间的相互协作 编码器针对解码器所提供 的传输信道特性等信息 自适应地调节编码参数 以上是总体分类概括 视频编码中所采用的主要差错隐藏及复原技术可以细 分为以下几种 1 差错检测和定位 通过语法 语义检测出的差错位置 例如非法v l c 码字 运动矢量超过图像范围或恢复出的d c t 系数超出范围 但有时通过语法检 测出的差错位置并不是差错发生的准确位置 有可能是误码扩散的结果 4 北京邮电大学硕士研究生学位论文 第一章绪论 2 重同步 重新获得与编码器的同步 3 数据恢复 4 差错隐藏 5 前向非等重f e c 根据不同的帧编码类型使用相应的时域 空域误码掩 盖方法 6 前向纠错f e c 中的分组方法 对k 个分组包生成一个或多个校验包 一 帧共n 个包 只要接收到其中任意k 个即可正确恢复出原始帧 7 数据分割 d p 对运动矢量和变换系数等编码数据重新排列 采取 不同的保护措施 8 可逆变长编码 r v l c r e v e r s i b l ev a r i a b l el e n g t hc o d e 9 基于数据嵌入的抗误码 编码端 i 帧提取每个宏块的重要数据 能够表征当前宏块特征的数据 如 当前宏块是平滑的或包含较多边缘信息 其中边缘像素的判定采用s o b e l 算子计 算梯度 然后通过门限判决 嵌入到下一帧 p 帧每个宏块提取出两种类型的重 要数据 第一类 编码模式 参考帧 运动矢量 第二类 最优差错隐藏方式 解码端 若能够提取出损坏宏块的重要数据 则利用提取出的数据进行差错 隐藏 若不能提取出损坏宏块的重要数据 直接进行差错隐藏 其缺点是运算复 杂度和比特开销较大 在第一类差错控制技术中 信源编码要提供错误恢复能力必须具有再同步能 力 使用再同步标记是使比特流实现再同步的最简单的方法 其基本原理如下 在比特流里设置唯一的而且容易找到的一个入口点 一旦解码器失去同步 它能 快速地找到下一个同步点并从该点继续开始解码 可逆变长编码具备后向解码的特性 是一种有效的抗误码工具 h u f f m a n 编 码等常规的变长编码 v l c v a r i a b l el e n g t hc o d e 只能进行前向解码 当检 测到比特流中的错误时 解码器会跳到下一个再同步标记开始解码 两个同步标 记之间的其他数据则被丢弃 在解码端实现重同步后 为了使出现错误的同步点 和重新建立的同步点之间的数据不被全部丢弃 应使用数据恢复工具从这些受损 数据中尽可能恢复出正确的数据 r v l c 码字能够分别正向和反向解码 当发生 错误或码流被跳过时 从下一个重同步点开始进行反向解码 在两个重同步点之 间通过比较前向和后向解码后的数据可以精确的定位差错发生的位置 尽可能的 恢复那些将被丢弃的数据 使误码造成的影响尽可能小 这种方法在一定程度上 降低了编码效率 但却使差错复原能力得到提高 信道编码技术也能使码流具有一定的错误恢复能力 如线性码 循环玛 b c h 和r s 码 卷积码等信道纠错编码 b c h 码 b o s e c h a u d h u i h o c q u e n g h e m 5 北京邮电大学硕士研究生学位论文 第一章绪论 c o d e 是循环码的一种 它具有纠正多个随机错误的能力 采用信道编码技术同 样要增加一定量的冗余码字根据代数约束关系完成纠错 因此也是以牺牲编码效 率为代价的 1 4 主要工作及内容安排 本文的研究目标是基于率失真理论 通过采用一种率失真模型 分析s p 帧 在码流中的插入比例 从而得至f j s p 帧抗误码的优化方案 论文主要包括以下三 个方面的工作 第一 在进行大量调研的基础上 进一步掌握h 2 6 4 标准的新特性 对其的 抗误码技术进行了深入研究 抗误码工具包括 参数集 冗余片 数据分割 帧 内编码 参考帧选择 f m o 第二 分析并得出s p 帧插入比例的优化方案 首先 对比s p 帧 i 帧 p 帧 的编码效率 同时实验了s p 帧的抗误码特性 在对s p 帧技术进行了研究的基础 上 基于率失真理论 采用一种率失真模型 得出s p 帧插入比例 s p 帧量化系 数 p 帧量化系数之间的关系 从而得至l j s p 帧插入比例的优化方案 第三 仿真测试 算法的优劣最终需要测试结果来证明 本文分别在3 5 1 0 1 5 2 0 不同丢包信道上对优化方案进行了大量测试 使用了三种不同 复杂度的测试序列 对数据结果进行了分析比较 实验证明 在某些情况下 优 化方案相对于其他两种对比方案信噪比高 改善了视觉质量 本文的主要内容安排如下 第一章为绪论部分 主要说明课题背景和选题意义 以及视频编码标准的发 展 第二章介绍h 2 6 4 的新特性以及抗误码技术 包括帧内预测 环路滤波器 参数集 数据分割 f m o 等 第三章对s p 帧编解码器及应用进行了研究分析 之后比较了s p 帧 p 帧 i 帧的编码效率 最后重点介绍了s p 帧的抗误码特性 实验了s p 帧的抗误码特性 第四章首先介绍了率失真理论 并且介绍了率失真函数的性质 之后基于率 失真理论 并采用一种率失真模型 对s p 帧的插入比例进行了分析 得出一种 优化方案 第五章介绍仿真结果 根据大量测试数据分析比较了优化方案和其他两种对 比方案 最后一章简要总结了论文工作 对进一步研究工作提出了一些建议 6 北京邮电大学硕上研究生学位论文第二章h 2 6 4 抗误码技术研究 第二章h 2 6 4 抗误码技术研究 2 1h 2 6 4 的新特点 h 2 6 4 提出的目的是为了获得很好的图像压缩效果并能适应不同的网络环 境 h 2 6 4 有许多新的特点 如帧内预测 多参考帧运动估计 不同形状的宏块 和子宏块的运动补偿模式 1 4 和1 8 像素精度 4 x 4 块的整数变换 环路滤波器 基于上下文的自适应二进制算术编码 c a b a c 等 为了提高视频传输的鲁棒 性和更好的适应不同的网络 h 2 6 4 在系统级进行了概念性分层 视频编码层 v i d e oc o d i n gl a y e r v c l 和网络适配层 n e t w o r ka d a p t a t i o nl a y e r n a t v c l 的主要功能是传统的视频压缩解压 n a l 的主要作用是为v c l 提供文件头信 息 安排格式 网络传输适配以及介质存储适配 h 2 6 4 标准可分为三个档浏8 l 1 基本档次 b a s e l i n e 是其简单版本 主要应用于视频会议和视频电 话 选项包括 i 帧和p 帧 环路滤波器 帧编码 不支持场编码 采用z i g z a g 扫描 不支持交替扫描 a l t e r n a t es c a n 不支持宏块的帧 场自适应编码 运动补偿采用1 4 像素精度 树状运动补偿块划分模式 至4 4 大小 基于v l c 的熵编码模式 任意片组排序 a r b i t r a r ys l i c eo r d e r a s o 灵活宏块排序 f l e x i b l em a c r o b l o c ko r d e r f m o 一4 2 0 取样格式 冗余帧 或冗余片组 2 主要档次 m a i np r o f i l e 采用了多项提高图像质量和增加压缩比的 技术措施 主要用于视频广播 如s d t v h d t v 和d v d 等 选项包括 支持b 帧 熵编码模式采用c a b a c 自适应双向预测 加权预测 其他所有b a s e l i n e 的选项 除a s o 和f m o 外 7 北京邮电大学顶 研究生学位论文第二章h 2 6 4 抗误码技术研究 支持场编码 支持宏块的帧 场自适应编码 当b a s e l i n e 不采用f m o a s o 和冗余帧 片组 时 解码器能够解码b a s e l i n e 码流 3 扩展档次 e x t e n d e dp r o f i l e 应用于各种网络的视频流传输 选项包 括 支持b 帧 一支持s p s i 帧 一可采用数据分割 自适应双向预测 加权预测 其他所有b a s e l i n e 的选项 一支持场编码 一支持宏块的帧 撕自适应编码 h2 6 4 的基本编码和解码框架分别如图2 1 和图2 2 所示 9 1 巍 厂 几 厂 一小翮 医卜一 竺兰 ll r 气 一i 嗣2 7 l 2 延 l 一厂 1 一可 7 图2 1 h 2 6 4 编码框图 图2 2 2 6 4 解码框图 相比于图1 2 h2 6 4 增加的两个主要模块是帧内预测和环路滤波器 帧内 预测对h 2 6 4 的高压缩率作出了很大贡献 而环路滤波器又是它保持较高主观质 量的重要因素 2 1 1 帧内预测 北京嘟电丈学硕 研究生学位论文第二章k 2 6 4 抗误码技术研究 h 2 6 4 相比于h 2 6 3 的一个重要改进之一就是增加了帧内预测 以绝对误差 和 s u mo fa b s o l u t ee r r o r s s a e 为标准选取最佳预测模式 使预测帧更加接 近原始帧 去除空间上的数据冗余 提高了编码的压缩率 在帧内预测中 块或 宏块利用之前已编码并重建的信息作为参考进行预测 亮度块的预测有两种方式 4 x 4 块的预测和1 6 1 6 宏块的预测 色度预测 时8 x 8 块的预测 对于4 4 的亮度子块预测 共有九种预测模式 模式0 至4 模 式8 各模式的预测方向如图2 3 所示 其中模式2 为直流预测 d c 预测 不包 括在方向预测图中1 丽厂 雕一 驴 笛签盖岛舀舞釜面茜盏羞笛 心威尸膨r 膝 i j m i o i m h h k h 酬 图2 4 预测效果示意围 1 0 4 4 块采用帧内预测的效果如图2 4 所示 与4 x 4 子块预测相似 1 6 x 1 6 宏块的预测也是利用先前已编码并重建的宏 块作为参考给出对当前宏块的预洌 值 1 6 x 1 6 宏块的预测模式共有四种 分别为垂直预测 水平预测 均值预测 和平面预测 如图2 5 所示 北京邮电大学硕 研究 学忙论文 第 章h 2 6 4 抗曝码技术研究 积露萨厩 囝2 51 6 1 6 宏班预测方向示意图 1 0 色度的预测模式与1 6 x 1 6 宏块的预测模式类似 仅直流预钡4 稍有不同 如 图2 6 所示 在这种模式下一个色度块是分为四个4 x 4 的子块分别进行预测的 标为4 h 岛d s o s l s 2 s 3 分别代表图中所示位置四个参考点的和 预测结果依赖 于计算黜s o s l s 2 s 3 的值 具体结果可以通过查表得出1 1 0 1 囤2 6 色度直流顸洲示意 2 1 2 帧间预测 n 2 6 4 帧问预测保留了h 2 6 x 标准中成熟的编码框架 对h 2 6 x 现有帧问编 码框架中的部分内容作了进一步的增强和修改 同时增加了如下一些新技术和方 法 1 块尺寸范围更广 从t 6 x1 6 到4 4 1 2 1 亚像素运动矢量的使用f 亮度采用1 4 像素精度m 3 多参考帧的运用等等 可变尺寸块运动补偿 h2 6 4 采用了不同大小和形状的宏块分割方法 每个宏块 1 6 x 1 6 像素 可以 按4 种方式进行分割 1 个1 6 1 6 2 个1 6 x 8 或者2 个8 x 1 6 或者4 个8 x 8 其运动补偿也相应有4 种 而8 x 8 模式的每个子宏块还可以进一步咀4 种 方式进行分割 1 个8 x 8 2 个4 x 8 或2 个8 x 4 及4 个4 x 4 这些分割和子宏 块大大提高了各宏块之间的关联性 这种分割下的运动补偿则称为树状结构运动 补偿 如罔2 7 及图2 8 所示 北京邮电大学硕士研究生学位论文第二章h 2 6 4 抗误码技术研究 0 图2 7 宏块分割 1 6 1 6 1 6 8 8 1 6 8 木8 l l f 1 2 1 o1 01 23 图2 8 宏块分割 8 8 4 8 8 4 4 掌4 1 1 1 1 2 1 每个分割或子宏块都有一个独立的运动矢量 每个m v 必须被编码 传输 分割的选择也需要编码压缩到比特流中 对大的分割尺寸而言 m v 选择和分割 类型只需少量的比特 但运动补偿残差在多细节区域中的能量将非常高 小尺寸 分割运动补偿残差能量低 但需要较多的比特表征m v 和分割选择 分割尺寸的 选择影响了压缩性能 整体而言 大的分割尺寸适合于平坦区域 而小尺寸适合 于多细节区域 宏块的色度成分 c r 和c b 贝j j 为相应亮度的一半 水平和垂直各一半 色度块 采用和亮度块相同的分割方式 只是尺寸减半 水平和垂直方向都减半 例如 8 1 6 的亮度块其相应色度块的尺寸为4 x 8 8 4 亮度块其相应的色度块尺寸 为4 x 2 等 色度块的m v 也是通过相应的亮度m v 的水平和垂直分量减半而得 运动矢量 帧间编码宏块的每个分割或者子宏块都是针对参考图像的某个相同尺寸区 域进行预测而得到的 两者之间的差异 m 对亮度分量采用1 4 像素精度 色度 1 8 像素精度 亚像素位置的亮度和色度像素并不存在于参考图像中 需要利用 邻近己编码样点进行内插得到 如果m v 的垂直和水平分量为整数 参考块相应 像素就已经实际存在 如果其中一个或者两个为分数 预测像素则要通过参考帧 中相应像素内插获得 oo oooooooooooooooo o oo o ooo 囝 囝囝ooocoo o oooooo国oooooo oooo o ooo 0 ooopd 彩囝 oooooo o ooao o o oo 旷0o o o do o o oooooo oooooo ooooo0 图2 9 整数像素和分数像素的预测示例 u 1 1 北京邮电大学硕士研究生学位论文 第二章h 2 6 4 抗误码技术研究 内插像素生成方法如图2 9 所示 首先生成参考图像亮度分量半像素位置像素 半像素点 如b h m 通过对 应的整像素点进行6 抽头滤波得出 权重为 1 3 2 5 3 2 5 8 5 8 一5 3 2 1 3 2 b 计算如下 b r o u n d e 一5 f 2 0 g 2 0 h 一5 i j 3 2 2 1 类似地 h 由a c g m r t 滤波得出 如果邻近 垂直或水平方向 整像素点的所有像素都计算出来 剩余的半像素点便可以通过对6 个垂直或水平 方向的半像素点滤波而得到 例如 j 由c c d d h m e e f f 滤波得出 虽然 采用6 抽头滤波器比较复杂 但可以明显改进运动补偿的性能 口口 口口 圉目 口 口 田团田 圈 口口 口口 目目 口皿口口 口皿口口 图2 1 0 亮度半像素位置内插 1 1 1 2 l 黼 i g bh 誓 鲁 口r 卜 j m p r r i m0n 图2 1 1 亮度1 4 像素内插 1 1 1 2 1 半像素点计算出来以后 1 4 像素点就可通过线性内插得出 如图2 1 1 所示 1 4 像素点 如a c i k d f n q 由邻近像素内插而得到 如 a r o u n d g b 2 2 2 剩余1 4 像素点 e g p 0 v 两对角线半像素点线性内插得出 例如 e 由b 和 h 获得 相应的 色度像素需要1 8 精度的m v 同样通过整像素线性内插得到 如 北京邮电大学硕士研究生学位论文 第二章h 2 6 4 抗误码技术研究 图2 1 2 所示 图2 1 2 色度l 8 像素内插 1 1 1 1 1 2 l 其中 a r o u n d 8 一d x 宰 8 一d y a d x 簟 8 一d y b 8 一d x 宰d y c d x 宰d y d 6 4 2 3 m v 预测 每个分割m v 的编码需要相当数目的比特 特别是使用小尺寸分割时 为减 少传输比特数 可利用邻近分割间具有较强的相关性 m v 可由邻近已编码分割 的m v 预测而得 预测矢量m v p 基于已计算的m v 和m v d 预测与当前的差异 并被编码和传送 m v p 则取决于运动补偿尺寸和邻近m v 的有无 e 为当前宏块或宏块分割子宏块 a b c 分别为e 的左 上 右上方的 三个相对应块 如果e 的左边不止一个分割 取其中最上的一个为a 如果上方 不止一个分割时 取最左边一个为b 图2 1 3 所示为所有的分割有相同尺寸时 邻近分割选择 图2 1 4 所示为不同尺寸时邻近分割的选择 其中 1 传输分割不包括1 6x8 和8 x1 6 时 m v p 为a b c 分割m v 的中值 2 对于1 6 x8 分割 上面部分m v p 由b 预测 下面部分m v p 由a 预测 3 对于8 x1 6 分割 左面部分m v p 由a 预测 右面部分m v p 由c 预测 4 跳跃宏块 s k i p p e dm b 同1 如果图2 1 4 所示的已传送块不存在时 如在当前片外 m v p 的选择需要重 新进行调整 在解码端 m v p 以相同的方式形成并加到m v d 上 对于跳跃宏 块而言 由于不存在m v d 其运动补偿宏块也由m v 直接生成 1 3 北京邮电大学硕士研究生学位论文第二章h 2 6 4 抗误码技术研究 8 c 嚣 图2 1 3 当前和邻近分割 相同尺寸 l l 1 2 l bc 舢 e c b ia i8 x 4 f 钕 8 0 图2 1 4 当前和邻近分割 不同尺寸 1 1 j 1 2 1 2 1 3 变换和量化 为了进一步节省图像传输码率 需要对图像进行压缩 去除图像中的相关性 及减少图像编码的动态范围 通常采用变换编码和量化技术 变换编码将图像时 域信号变换为频域信号 在频域中 图像信号的能量大部分集中在低频区域 相 对于时域信号 码率有较大下降 量化过程根据图像动态范围的大小来确定量化 参数 既保留图像中必要细节 又可减少码流 4 4 整数变换 与以前标准采用基于浮点运算的8 8 d c t 变换相比 h 2 6 4 中的整数变换 虽然仍是基于d c t 的 但存在以下优点 1 所有运算都是整数运算 不存在舍入误差 避免正反变换时出现失配的问 题 2 变换中通过近似和尺度变换 使得正 反变换的运算中仅仅包含了移位和 加法 减法 运算 3 用于消除尺度变换影响而需要进行的乘法运算整合到了量化和反量化运算 过程中 减少了整体运算量 根据待编码的残差块的不同类型 h 2 6 4 还采用了4 4 哈达码变换和2 2 1 4 北京邮电大学硕士研究生学位论文第二章h 2 6 4 抗误码技术研究 的哈达码变换 图2 1 5 示出了宏块中的残差块及其传输顺序 先传输标注为 1 的块 接着 传送标记为0 1 5 的块 然后再传送标记为1 6 2 5 的块数据 6 x el r r t r a r e d eo r 蜉 l u m a 7 团 c bc r 图2 1 5 宏块中残差块的扫描顺序 1 1 l 图2 1 5 中 标注为 1 的块是在采用1 6 x1 6 帧内模式下时 0 1 5 号4 x 4 亮度子块经整数变换后的直流系数 再经4 x 4 哈达码变换的结果 标注为1 6 1 7 的块是色度分量c b 和c r 的直流系数进行2 x2 哈达码变换的结果 其余的 2 4 个块 图中标记为0 1 5 1 8 2 5 贝j j 进行的是4 x 4 整数变换 下面简单描述整数4 x 4 变换的形成过程 1 1 1 1 1 2 l 4x4 整数变换由d c t 变换发展而来 d c t 变换的基本形式如下式所示 y h x h h 日伍 珂 c 吾c o s 锄 1 等 c 彪 2 4 一 1 k 1 2 n 一1 这是一维d c t 变换 其中x 表示一维向量 h 是变换核 y 是变换后的向 量 对于 n 图像 可以看成是一个二维向量 对它进行d c t 变换时并不采用 二维的d c r 变换 而是分别对行和列做一维d c t 变换 以此来代替二维d c t 变换 在基本不影响性能的前提下 降低了复杂度 由上式可以得出4 x 4 d c r 变换的形式 北京邮电大学硕士研究生学位论文 y a x a r 口一1 2 b 顾c o s m 8 c 一 砺c o s 8 上面的矩阵乘法可以用下式代替 y c x c e 1111 1d 可一1 1 1 11 d 一11 一 第二章h 2 6 4 抗误码技术研究 2 5 弦a b 彳叫 i i d 口6 芹a bd 口6 笺l 2 6 p 万口b 纠 上式中y 一凹c r o e 表示二维变换 e 是尺度因子矩阵 运算符 表示矩阵 的位置乘法 a 和b 的值保持不变 d c b 其值大概为0 4 1 4 为了简化变换 d 的值近似等于o 5 同时为了保证变换的正交性 b 的值相应地作如下修改 4 扣后d 丢 2 7 为了避免在核变换中引入分数 对d 所在行也进行尺度变化 因此调整后的 前向变换变为 y c x c 咂 b 三圭 1 1 2 2 1 同理 x i 2 8 2 9 反变换时 输入矩阵y 先被e 中的加权系数相乘 因此矩阵c 与c 中的 1 2 在整数运算中不会引起舍入误差 所以不用将其变为整数 直接用移位运 算即可 哈达玛 h a d a m a r d 变换 除了上面的整数变换之外 h 2 6 4 j a v c 对亮度块的1 6 x1 6 帧内预测模式及 色度块所有预测模式的直流系数再次进行变换 以进一步去除相关性 当宏块的 亮度编码在1 6 1 6 帧内模式下时 对1 6 个4 x 4 块的直流分量再次进行变换 但是这次变换不再使用前面的整数变换 而是4 4 的离散哈达玛变换 1 1 1 2 1 假 设1 6 个直流分量组成的系数矩阵为x d 则变换过程如下式所示 1 6 c 曲6 吖 口 叫 叫 4 6 c 吖品 口 口 口 口 x x x x n 笛 站 船 x z z x 笠 弛 蛇 x x x x n n n 札 x x x x 口而 口 吖 口吖叫6 口 c 叫曲口6 口c d o 1 甜 1 4 4 l 1 d 彳以 u u u x 兄花瓦石花藏咒咒咒五咒 陇阮 阢 洲伊洲甜 口批 口砒 洲膨洲驴 瞄心渤