H.264可扩展视频编解码器(SVC)应用详解

H 264H 264 可扩展视频编解码器可扩展视频编解码器 SVC SVC 应用详解应用详解 可扩展视频编解码器已经被开发了许多年 广播行业严格地受到业已建立的各 种标准的控制 因此在采用这一技术上一直反应迟缓 处理器 传感器以及显 示技术的 进步正在点爆各种视频应用 互联网以及 IP 技术正无缝地把视频伺 服至更为不同和远程的由显示设备构成的社群 可扩展视频编解码器 如 H 264 SVC 满足了许多这些系统的需求 并且它们可能促使视频被广泛采纳为 通信媒介的催化剂 编解码器被用于压缩视频 以减小传输视频流所需要的带宽 或者 降低把视 频文件存档所需要的存储空间 这种压缩的代价就是增大计算要求 压缩比越 高 对计算能力的要求就越高 在带宽与计算要求之间做出折中 对于定义承载编码视频流所需要的最小信道 带宽以及编码设备的最小指标均有影响 在传统的像广播电视机这样的视频系 统中 解码器的最小规范 在机顶盒的情形下 易于被定义 然而 目前视频被越来越多地由各种各样的应用所采用 相应地 有各种各样 的客户设备 这些设备包括从计算机观看互联网视频 到便携式数字助理 PDA 以及小巧的蜂窝电话 针对这些设备的视频流必需是不同的 为了更好地兼容特定的观看设备以及信道带宽 必须采用不同的设置对视频流 多次编码 每一个设置的组合必须向用户产生一个满足视频流传输所需带宽的 视 频流以及对观看设备进行解码的能力 如果原始解压视频流不可用 那么 编码视频流必须首先被解码 然后采用新的设置进行解码 这种做法是十分昂 贵的 在理想的情形下 视频仅仅以高效率的编解码器被编码一次 如果经过解码的 话 得到的视频流会产生全分辨率的视频 此外 在理想的情形下 如果较低 分 辨率或带宽的视频流需要被进一步延伸至网络之中 以锁定较低性能的设备 那么 可以不必采取附加的处理 就能够发送一小部分的编码视频 这种较小 的视频流 便于解码并产生较低分辨率的视频 以这种方式 编码视频流自身就 能够适应它需要经过的信道带宽以及目标设备的性能 这些就是可扩展视频编 解码器的品质所 在 H 264 可扩展视频编解码器 扩展至 H 264 的可扩展视频编解码器 H 264 SVC 被设计来传递上述理想情形 的各种好处 它以 H 264 先进视频编解码器标准 H 264 AVC 为基础 并高度利 用了原始编解码器的各种工具以及概念 然而 它产生的编码视频是空间上临 时可扩展的 并且是在视频质量方面可扩展的 也就是说 它能够产生不同帧 速率 分辨率或质量等级的解码视频 SVC 扩展引入了一种原始 H 264 AVC 编解码器 在编码视频内的各层 不存在 的概念 基础层对视频流的最低临时 空间和品质表现进行编码 增强各层利 用基础层作为起点 对附加信息进行编码 从而在解码过程中把编码结果用于 重构高质量 高分辨率或 临时的视频版本 通过对基本层以及仅仅是所需要的后来增强层进行解码 解码器能够以所希望 的特征产生一种视频流 图 1 所示为 H 264 SVC 流的分层结构 在编码的过程 中 要利用仅仅对较低级各层的参考 小心地解码一个特殊层 以这种方式 编码流可以在任意点被删节 但是 仍然维持有效 的 可解码的视频流 图 1 H 264 SVC 分层结构 这种分层方法让所生成的一个编码流能够被删节以限制所消耗的带宽或者降低 解码计算的要求 删节过程完全通过从编码视频流提取所需要的各层而构成 这个过程甚至能够在网络中执行 图 2 调节等级以降低带宽和分辨率 也就是说 随着视频流从高带宽转换为较低带宽的网络 例如 通过 WiFi 链路 从以太网转换至手持 要针对可用的带宽调节视频流的大小 在上述例子 中 要针对无线链路的带宽调节视频流的大小以及手持解码器的解码能力 图 2 显 示了个人电脑把低带宽的视频流转为为移动设备视频流的例子 H 264 SVC 揭秘 为了实现临时的可扩展性 H 264 SVC 链接其参考帧以及预测帧 这与传统的 H 264 AVC 编码器稍微不同 SVC 采用分层预测结构 如图 3 所示 而不是传统 的内帧 I 帧 双向帧 B 帧 以及预测帧 P 帧 的关系 图 3 传统的 I P 和 B 帧的关系 分层结构定义最终视频流的临时分层 图 4 描述了可能的分层结构 在这个特 殊的例子中 各帧仅仅根据上次出现的各帧进行预测 这就确保该结构不仅仅 展示临时的可扩展性 而且显示了低的延迟 图 4 在 SVC 中的分层预测帧 这个方案具有四个嵌套的临时层 T0 基础层 T1 T2 和 T3 由 T1 和 T2 各 层构成的帧仅仅由 T0 层中的各帧预测 在 T3 层中的各帧仅仅由 T1 或 T2 各层 中的各帧来预测 为了以 3 75 帧每秒的速度播放编码帧 仅仅构成 T0 的各帧需要被解码 所有 的其它各帧可以被丢弃 为了以 7 5fps 的速度播放 要对构成 T0 以 及 T1 的 各层进行解码 在 T2 和 T3 中的各帧被丢弃 类似地 如果构成 T0 T1 和 T2 的各帧被解码 所得到的视频流将以 15fps 的速度播放 如果所有 帧均被解码 那么 完全的 30fps 视频流被恢复 相比之下 在 H 264 SVC 对于 Baseline Profile 来说 仅仅双向预测帧被应 用 中 不管需要的显示率是什么 所有帧均需被解码 为了转换至一个低带宽 网络 整个视频流均需要被解码 不需要的帧可以被丢弃 然后 重新编码 在 H 264 SVC 中的空间可扩展性遵循类似的原则 在这一情形下 较低分辨率 的各帧被编码为基础帧 经解码和上行采样的基础帧被用于对较高阶各层进行 预测 重构原始 场景细节所需要的附加信息被编码为一个独立的增强层 在某 些情形下 重用运动信息能够进一步增加编码效率 同时联播与 SVC 在 H 264 SVC 中存在于可扩展性相关的开销 正如我们在图 3 中所看到的那样 参考帧与预测帧之间的距离在时间 例如从 T0 至 T1 上比传统的帧结构要长 在具有高运动图像的场景中 这能够导致效率稍低的压缩 为了对视频流各层 级结构进行管理 也存在相关的开销 整体而言 跟不具备可扩展性的全分辨率以及全帧速率视频构成的 H 264 视频 流相比 具有三层临时可扩展性 以及三层空间可扩展性的 SVC 视频可能要大 20 以上 如果采用 H 264 编解码器对可扩展性进行仿真 就需要多个编码视 频流 从而导致更高的带宽要求或贯穿网络的昂贵解码和二次编码 SVC 的额外好处 误码恢复 误码恢复的传统实现方法是把附加的信息添加至视频流之中 以便监测和校正 误码 SVC 的分层方法意味着不需 要增加大的开销 就可以在较小的基本层 上执行高级别的误码监测和校正 如果要把相同程度的误码监测和校正功能应 用于 AVC 视频流中 那就需要把整个视频流 保护起来 从而导致视频流更大 如果在 SVC 视频流中监测出误码 那么 就可以逐渐让分辨率和帧速率退化 直至 如果需要的话 只有高度受保护的基础层才 可以使用 按照这一方式 在噪声条件下的退化要比在 H 264 AVC 环境下更让人可以接受 存储管理 因为 SVC 视频流或文件即使在被删节的情况下仍然可被解码 SVC 既可以在 传输过程之中 也可以在文件被存 储之后采用 把被分解的文件存储在光盘上 并取消增强层 就可以在不对存储在文件中的视频流进一步处理的情况下 压 缩文件的大小 这对于需要 要么全部管 要么不管 的方法进行光盘管理的 AVC 文件来说是不可能的 内容管理 SVC 视频流或文件固有地包含较低分辨率以及帧速率的视频流 这些视频流可 以被用于加速视频分析的应用或分类各种算法 临时可扩展性也使得视频流易 于以快速进退的方式搜索 应用案例 H 264 SVC 的典型应用是监控系统 Stretch 公司在这个领域提供市场领先的解 决方案 请访问其网站了解更多的细节 以 IP 摄像机把视频馈入视频内容被 存 储的控制间的情况为例 在视频流上要运行基本运动监测分析 在控制间显 示器上 以摄像机最大的分辨率 1280 x 720 观看馈入的视频 并以 D1 720 x 480 的分辨率存储在保存光盘空间上 第一反应团队也在现场反应车内的移动 终端上接入视频流 那些显示器的分辨率是 CIF 352 x 240 而视频流的伺服 速率为 7fps 在利用 H 264 AVC 实现的过程中 首要约束可能就是该摄像机伺服多个视频流 在这个例子中 一个分辨率为 1280 x720 而另一个分辨率为 720 x 480 在就 给摄像机增加了额外的成本 但是 让视频流可以在控制间被直接记录 与此 同时 另一个视频流被解码和显示 如果没有这一功能 那就需要采用昂贵的解码 重定尺寸以及重新编码步骤 D1 流也可以被解码并重新调节大小 以转换为 CIF 分辨率 从而馈入在视频 流上运行的视频分析 工具 上 CIF 分辨率在时间上骤减以实现每秒 7 帧以及重 新编码 以便让第一反应车通过无线链路加以利用 图 5 显示了利用 H 264 AVC 可能实现的一个系统 图 5 H 264 AVC 的视频监控应用 利用 H 264 SVC 编解码器 就可以放宽对摄像机伺服多个视频流的要求 降低 系统复杂性 压缩摄像机与控制间之间的网络带宽 完整的 1280 x 720 视频流 现在可以被存储在网络视频刻录机 NVR 上 这些文件可以被方便地分解 以 创建 D1 或 CIF 视频流 从而在给定的时期之后把光盘空间腾 空出来 CIF 视 频流可以直接由 NVR 伺服 以实现分析工作 而降低了帧速率的第二视频流 可以被提供给第一反应车使用 图 6 显示了 H 264 SVC 的一种可能的实现方案 图 6 H 264 SVC 视频监控应用 因此 根本没有必要在视频流本身上进行操作 在业已存储的文件上进行操作 就足够了 其优势是明显的 压缩网络带宽 具有灵活的存储管理 取消了昂贵的解码以及二次编码的步骤 如果需要的话 在 NVR 上的高清晰度视频可以用来归档 本文小结 可扩展视频编解码器已经被开发了许多年 广播行业严格地受到业已建立的各 种标准的控制 因此在采用这一技术上一直反应迟缓 处理器 传感器以及显 示 技术的进步正在点爆各种视频应用 互联网以及 IP 技术正无缝地把视频伺 服至更为不同和远程的由显示设备构成的社群 可扩展视频编解码器 如 H 264 SVC 满足了许多这些系统的