视频编码方法现状

目录 1H 264 AVC 发展现状 2 1 1H 264 AVC 简介 2 1 2H 264 AVC 编码工具 2 1 3H 264 AVC 最近发展 3 2SVC 发展现状 4 2 1SVC 简介 4 2 2SVC 对 h264 的技术扩展 语法扩展 4 2 2 1语法扩展 4 2 2 2技术扩展 5 3MVC 发展现状 6 3 1多视点视频概念 6 3 2多视点视频编码的主要研究内容 6 3 2 1预测结构 6 3 2 2提高 MVC 编码效率的技术 6 3 2 3MVC 高层语法 7 4H 265 发展现状 7 4 1H 265 提出的主要目标 7 4 2H 265 最近发展 8 4 2 1自适应插值滤波器 8 4 2 21 8 像素精度运动补偿预测测 9 4 2 3运动矢量竞赛机制 9 4 2 4自适应量化矩阵选择 9 4 2 5空域和频域自适应预测残差编码 10 电子科技大学结课论文 2 视频编码方法现状 摘要 随着数字技术的发展 世界视频设备市场已经进入从模拟设备向数字设备 的转型期 与传统的模拟电视相比 数字视频技术的突出特点是采用了全数字 的图像 声音处理技术 随着这些数字视频系统的日益成熟和不断发展 针对不 同的应用领域 一系列相应的数字视频音频编码标准也迅速地制定并不断得到 完善 Abstract With the development of digital technology the video equipment market has transformed from an analog to digital Compared with traditional analog TV the salient features of digital video technology is all digital image sound processing technology Digital video systems become more sophisticated and have continuous development for different applications A series of digital video and audio coding standard are quickly developed and kept getting better 1 H 264 AVC 发展现状发展现状 1 1H 264 AVC 简介简介 当前的数字视频主要以 MPEG 2 为基础 这是一个已经使用了十多年的旧 标准 已经达到了它的压缩效率极限 H 264 或称 MPEG 4 第十部分 是由 ITU T 视频编码专家组 VCEG 和 ISO IEC 动态图像专家组 MPEG 联合组 成的联合视频组 JVT Joint Video Team 提出的高度压缩数字视频编解码器 标准 H 264 是 ITU T 以 H 26x 系列为名称命名的标准之一 同时 AVC 是 ISO IECMPEG 一方的称呼 这个标准通常被称之为 H 264 AVC 或者 AVC H 264 或者 H 264 MPEG 4 AVC 或 MPEG 4 H 264 AVC ITU T 的 H 264 标准和 ISO IEC MPEG 4 第 10 部分 正式名称是 ISO IEC 14496 10 在编解码 技术上是相同的 这种编解码技术也被称为 AVC 即高级视频编码 Advanced Video Coding 1 2H 264 AVC 编码工具编码工具 H 264 AVC 作为新一代视频编解码标准 采用了一系列新的编码工具使 压缩率获得重大突破 这些编码工具主要包括如下几种 1 帧内空域预测 H 264 AVC 发展现状 3 图像内通常都有很高的空间相关性 以往的标准没有充分利用这一特性 H 264 AVC 引入了空域的内预测技术 能够提高帧内编码图像的编码效率 2 低复杂度整数变换及无除法量化 由于 DCT 变换具有较好的去相关性 并且计算复杂度低 一直用于以前 的编码标准中 但这种浮点 DCT 的缺点是需要浮点乘法计算 并且正变换与 逆变换由于精度误差不是完全匹配 因而可能产生偏移误差 H 264 AVC 采用整数变换 降低变换复杂度 将量化和变换结合 把量化的除法与变换 归一化结合起来 可通过乘法与移位实现 避免了除法运算 3 增强的帧间预测能力 4 多帧参考技术 在 H 264 AVC 中 可采用多个运动帧进行运动估计 5 可变块大小预测 在 H 264 AVC 中 一个宏块可进行从 16 16 到 4 4 的划分 灵活的 宏块划分可以更接近图像中的不同运动物体的形状 6 子像素精度运动补偿 H 264 AVC 中采用了 1 4 像素精度的运动补偿 7 多模式帧间预测 H 264 AVC 支持丰富的帧间预测模式 8 基于上下文的适应性变长 算术编码 H 264 AVC 引入全新的上下文自适应变长编码CAVLC 以及上下文自适应 算术编码 CABAC 这两种编码方法充分地挖掘编码元素的上下文相关性 可 以根据上下文选择合适的模型进行编码 进一步提高编码效率 9 环路滤波 H 264 AVC 把去块效应滤波放在运动补偿的环路中 既可以去除块效应 也可以提高后续预测参考图像的质量 1 3H 264 AVC 最近发展最近发展 H 264 压缩效率的提高是以压缩算法复杂度的提高为代价的 其解码复 杂度大约是 MPEG 2 的 2 3 倍 为此国外厂商纷纷投入资金 对基于H 264 技术的解码芯片进行了研发 形成了多种H 264 解决方案 实现 H 264HP L4 级别的实时解码 目前 主要有以下几种方案 基于专用芯片的 结构 SoC ASIC 基于 DSP ARM 的结构 基于 x86 的结构 1 H 264 解码芯片市场 目前被 Conexant Broadcom SignalDesigns STMicroelectronics 等企业垄断 电子科技大学结课论文 4 各方案比较参见下表 方案典型芯片优点缺点 SoC ASICCX2418X因使用专用芯片 故成本低廉 便于 推广 无法进行软件升级 系统 支持的每个编解码器都需 要单独的硬件 资源浪费 DSP ARMDM642由于其可编程性 基于单个应用开发 的 IP 核能得到重复利用 可对不同 的压缩标准进行解码 集成了丰富的 外围设备 开发方便 CABAC 等模块在移植到 DSP 后效率比较低 功耗 问题得不到有效解决 基于 x86X Stream VP 提供丰富的应用程序 开发周期短价格昂贵 不易普及 表 1 1 不同解决方案的优缺点 2 SVC 发展现状发展现状 2 1SVC 简介简介 除此之外 JVT 专门针对可伸缩编码需要 提出了 SVC scalable video coding 可伸缩编码技术 编码生成的一个 SVC 码流 能够提供在多种不同处理 能力终端 不同网络带宽情况下的解码服务 同时达到接近非可伸缩编码码流 的图像质量 H 264SVC 是以 H 264 为基础 在语法和工具集上进行了扩展 支持具有分级特性的码流 H 264SVC 是 H 264 标准的附录 G 同时作为 H 264 新的 profile H 264SVC 在 2007 年 10 月成为正式标准 H 264 SVC 以 H 264 AVC 视频编解码器标准为基础 利用了AVC 编解 码器的各种高效算法工具 在编码产生的编码视频时间上 帧率 空间上 分辨率 可扩展 并且是在视频质 量方面可扩展的 可产生不同帧速率 分辨率或质量等级的解码视频 通过在GOP 编码图像组 中设置可丢弃的 参考帧实现时间上的可分级 0 16 视频帧构成全帧率视频 除 T3 标志外 的所有视频帧构成了半帧率视频 所有 T0 标志和 T2 标志的视频帧构成了 1 3 帧率视频 所有只是 T0 标志的视频帧构成 了 1 4 帧率视频 H 264 AVC 发展现状 5 2 2SVC 对对 h264 的技术扩展 语法扩展的技术扩展 语法扩展 2 2 1语法扩展语法扩展 对 NAL Network Adaptive Layer 头进行了扩展 用于描述码流的分级信 息 为了便于描述 AVC 兼容码流的分级特性 定一个 NAL 类型为 14 的前缀 NAL 该类型的 NAL 出现在 AVC 兼容码流的 NAL 前面 用于描述 AVC 基本 层码流的分级信息 使用保留的 NAL 类型 15 20 编码增强层码流 nal unit NumBytesInLunit CDescriptor forbldden zero bitAllf 1 nal ref idcAllu 2 nal unit typeAllu 5 NumBytesInRBSP 0 nalUnitHeaderBytes If nal unit type 14 nal unit type 20 nal unit header svc extension specified in Annex G All nalUnitHeaderBytes 3 表 2 1 NAL 头扩展 nal unit header svc extension CDescriptor reserved one bitAllu 1 idr flagAllu 1 priority idAllu 6 no inter layer pred flagAllu 1 dependency idAllu 3 quality idAllu 4 temporal idAllu 3 use ref base pic flgAllu 1 discardable flagAllu 1 putput flagAllu 1 reserved three 2bitsAllu 2 表 2 2 扩展 LAL 头内容 2 2 2技术扩展技术扩展 分层编码为了提高编码效率 就需要最大程度的利用层间相关性 SVC 增 加了层间预测的工具集 主要如下 电子科技大学结课论文 6 1 层间帧内预测 Inter layer intra prediction 2 层间宏块模式和运动参数预测 Inter layer macroblock mode and motion prediction 3 层间残差预测 Inter layer residual prediction 3 MVC 发展现状发展现状 3 1多视点视频概念多视点视频概念 多视点视频指的是由不同视点的多个摄像机从不同视角拍摄同一景得到的 一组视频信号 是一种有效的 3D 视频表示方法 能够更加生动地再现场景 提供立体感和交互功能 与单视点视频相比 多视点视频的数据量随着摄像机 的数目增加而线性增加 巨大的数据量已成为制约其广泛应用的瓶颈 为此 ITU T 和 MPEG 的联合视频组 JVT joint video team 提出了多视点视频编 码 MVC multiview video coding 的概念 MVC 主要致力于多视点视频的高 效压缩编码 是未来视频通信领域中的一项关键技术 3 2多视点视频编码的主要研究内容多视点视频编码的主要研究内容 3 2 1预测结构预测结构 为了提高帧间预测的准确性 H 264 AVC 引入了多参考图像预测技术 该 技术使用多个参考图像进行位移估值和帧间预测 从而获得相对精确的匹配块 降低预测差 residual 信号的能量 提高编码效率 在 H 264 AVC 编码框架 下 去除视点间冗余最直接的方式是在编码当前图像时使用其他视点中的已解 码图像作为参考图像进行位移估值和帧间预测 这种方法称为视点间预测 如 何设计时间预测和视点间预测以有效利用时间和视点间相关性是 MVC 预测结 构需要解决的问题 3 2 2提高提高 MVC 编码效率的技术编码效率的技术 预测结构一经确定后 如何有效进行视点间预测来提高编码效率是 MVC 研究的一个主要内容 根据所使用方法的不同 视点间预测技术大致可分为两 H 264 AVC 发展现状 7 类 利用现有视点间相关性提高 MVC 编码效率的技术和补偿视点间差异性提 高 MVC 编码效率的技术 利用现有视点间相关性提高 MVC 编码效率的技术 视点间预测指的是采用 邻近视点中已解码的图像作为参考图像对当前待编码图像进行预测 因此 如 何有效利用视点间参考图像的信息提高 MVC 编码效率是视点间预测的核心内容 根据利用视点间相关性进行预测信息的不同 视点间预测技术可进一步分为视 点间采样点预测和视点间运动信息预测两大类 补偿视点间差异性提高 MVC 编码效率的技术 视点间差异减弱了视点间相 关性 致使视点间预测不能有效地去除视点间冗余 降低了 MVC 的编码效率 因此 如何通过补偿视点间差异性进而更充分地利用视点间相关性提高 MVC 编码效率也是 MVC 的关键技术之一 该环节的主要研究内容包括了亮度补偿 颜色补偿 虚拟视图合成预测 自适应参考图像滤波等 3 2 3MVC 高层语法高层语法 MVC 高层语法的研究主要集中在 MVC 语法和语义的设计 H 264 AVC 的 语法和语义是经过精心设计的 在对其增加新的补充时 往往需要对原 H 264 AVC 语法做适当的修改 具体而言 MVC 需要根据多个视点联合编码的 特点 扩展 H 264 AVC 语法和语义 目前 关于 MVC 扩展的高层语法主要有以下 4 方面 一是在序列参数集 中添加语法元素 用来说明视点的数目以及定义各视点之间的预测关系 二是 扩展网络抽象层单元 NALU network abstract layer unit 的语法元素 添加 当前 NALU 属于哪个视点 是否做视点间参考图像等信息 三是设计适合 MVC 的参考图像管理机制 包括参考图像标记 参考图像列表初始化以及参考图像 重排序等 四是扩展 H 264 AVC 附加增强信息 SEI supplemental enhancement information 使其能够支持 MVC 中所定义的各项功能需求 如视点可分级性 支持观看部分视点 并行处理等 电子科技大学结课论文 8 4 H 265 发展现状发展现状 4 1H 265 提出的主要目标提出的主要目标 提出 H 265标准 是为了给音视频服务提供更好的视频编码方法 音视频 服务包括会话式和非会话式音视频服务 其中会话式音视频服务包括视频会议 和可视 电话 非会话式音视频服务包括流媒体 广播 文档下载 媒体存储 播放和数字摄像机 H 265标准围绕着现有的视频编码标准 保留原来的某些技术 同时对一些相 关 的技术加以改进 新技术使用先进的技术用以改善码流 编码质量 延时和 算法 复杂度之间的关系 达到最优化设置 视频编码标准的发展会更加适应各 种类型 的网络 比如 Inter1et LAN Mobile ISDN GSTN NGN等网络 对于以上提出的目标VECG确定了相应的研究内容 包括 1 提出的新压缩方法可以完成下列功能 提高压缩效率 具有鲁棒性 提高错误恢复能力 例如某些不能供带宽保 障的分 组网络或无线移动通信 减少实时的时延 减少信道获取时间和随 机接入时延 减少复杂度 2 组织压缩数据格式以支持包和流格式 3 允许流能容易地被处理器或终端处理 4 提供可以让网络或终端有效地调整码流的技术 5 更容易的看到运行后的代码 6 提供更有效的数字压缩技术 7 根据比色法 视频质量评估和质量控制的要求 提高视频编解码技术 4 2H 265 最近发展最近发展 目前 H 265并未形成新的标准 VCEG仍然在征集各方意见和信息以获得性能 上的提升 由于整个视频编体系没有大的变化 从总体上看 性能提升的主要方法 还是 针对原有编码步骤中各个主要节的改进或增强 为了衡量各种提案的效果 与开发H 64标准时类似 VCEG在JM11的基础上推出了一个新的技术验证平台 称 为KTA 各方面的提案经过提交分析后对比较有前景的提案就会在KTA中加以实 现和验证 测试新的编码工具的性能以及与其他编码方法的兼容性 目前主要 的改进和提升分为三方面 运算复杂度 易出错环境适应性 编码效率 H 264 AVC 发展现状 9 4 2 1自适应插值滤波器自适应插值滤波器 在非整像素精度的运动预测产生的运动矢量中含有混淆的元素直接限制了 运动补偿的精确程度 通过对每个P帧和B帧使用二维非分离插值滤波器可以减 少预 测差值能量 每个非整数像素位置的插值都有一组2维滤波器系数 这些 系数放 在片头传输给解码器 在原有的运动补偿过程中对于半像素精度的位置 使用时不 变的6抽头维纳滤波器计算对应位置的插值 再在此基础上使用双线 形插值滤波器计算1 4像素精度的插值 而自适应插值滤波器通过动态的计算滤 波器的系数 值来最小化预测差值的能量 之后再计算得到运动矢量 对基本模 式使用这一方法可以使得编码增益提升1dB 而对主要模式使用这一方法也使得 编码增 益提升 了0 8dB 对较高模式的效果也基本接近主要模式 4 2 21 8 像素精度运动补偿预测测像素精度运动补偿预测测 图像的运动矢量在原有的系统中是1 4像素精度 当将这一精度设置为1 8 时 经测试发现可以有效的降低比特率对主要的测试序列和格式在帧率为30的 实验结果显示在36dB Y PSNR时使用这一技术可以使得比在非整像素精度的运动 预测产 生的运动矢量中含有特率减少3 14 4 2 3运动矢量竞赛机制运动矢量竞赛机制 H 264比H 263在压 缩比上取得了很大的进步 但这也使得用于运动信息的 比特成倍增加 如何减少在运动信息上的花消是进一步提高压缩比的一个突破 口 为 了减少运动信息的花消 H 264的运动矢量通过相邻块的空间中值来完 成预测这 一中值根据相邻块的情况动态改变 同时 对于时间上的冗余信息 对于运动矢量使用预测块也能到达一定的 效果 但这种时间上的预测方式在对于一系列序列的处理上比空间预测方式效 率低 已有的一些运动矢量竞争机制都是在一个给定的预测块集合中选择出最 佳 的一个 然后将这一预测块的序号作为辅助信息发送 如有的预测块集合由 三个 相邻的运动矢量组成 再在这三个预测块间做比较 以确定最后发送的预 测和运动信息 在新的建议中 对已有的做法提出了改进 将预测块的集合由 原来的空 间域扩展到了时间域及空时混合域 引入了新的预测块 通过率失真 准则计算后 选择最佳的预测块 并把预测块的序号在码流中发送 使用这一方 电子科技大学结课论文 10 法在基本模式下测试 在与H 264相同质量的情况下 得到平均为6 1 的压缩 增益 对于复杂 的运动这一增益可达20 从算法复杂度来看 这一方法影响 很小 在编码端来的新增开销也不大 4 2 4自适应量化矩阵选择自适应量化矩阵选择 根据率失真最优化准则对每个片中的每个宏块都单独选择量化矩阵 量化 矩阵分 为两个参数 梯度分量和偏移分量 在码端 为了估算出最优的量化矩 阵参数 先要进行常识性的编码 最佳的量化矩阵由这些参数产生 对于每个 宏块基于率 失真函数选择最优的量化矩阵 如果变换系数出现在