可伸缩视频编码的文件格式

可伸缩视频编码的文件格式可伸缩视频编码的文件格式 摘要 摘要 本文介绍可伸缩视频编码的文件格式 文件格式技术能够迅速的提取可伸 缩的数据 对应于所需的操作点 对于文件读者来说 它提供了有用的帮助而 且该技术在对应于不同的用途和应用场景有很灵活的使用和组合方式 索引词 文件存储 元数据 可伸缩提取 可伸缩视频编码 1 简介简介 可伸缩视频编码 SVC 是一项在信号处理领域已经有一段时间的技术 然而只是在最近 出现了一个简单却很有效的想法 在单一的分层流中提供数 个性质 这个想法已经实现 作为草拟 H 264 AVC 标准的修订 它主要利用 众所周知的想法 例如金字塔结构预测 MPEG2 并将它们于一些新技术相结 合 例如剩余预测 关键图片概念和单回路解码 实现在相对一般复杂条件下 的高压缩效率 接下来的这几年将见证市场是否接受这项技术 为了充分的开拓 SVC 新的特征 专用和专门的储存格式就显得尤为需要 本文就处理可伸缩视频流 SVC 文件规范提供了具体的技术介绍 SVC 和一般 文件格式 ISO 基本媒体文件格式 有一种更简明的介绍 以此为基础 并举 例进行实例说明 该技术无论是 SVC 还是 ISO 基本文件格式都很灵活 可以 合并用各种方式来使用 2 可伸缩视频编码及应用可伸缩视频编码及应用 A SVC 概述 ISO IEC 14496 10 2005 AMD3 SVC 标准现在规划作为现有可扩展 伸缩 H 264 AVC 标准 SVC 基础层应符合 H 264 AVC 标准 这个要求必须存 在 SVC 包含三个可扩展性模式 时空的可扩展性是通过分层结构 例如使 用 B 帧 如果最高时间层的帧被 SVC 流删除 那么时间分辨率将减少 通常 为两倍 对于空间的可扩展性增强具有较高分辨率编码层之上的 H 264 AVC 基础层 层间预测 例如块 执行系数和运动信息 用以执行层间冗余 保真度 可扩展性 也被称为信噪比的可扩展性以一个类似空间扩展的方式实现 编码 端取样 解码端采样 只有更改基于像素值的省略及层间预测分辨率 而不是 系数 在这些所谓的可扩展性的顶部 层和空间层媒介可扩展层可以进行编码 对于这些添加计划层 网络抽象层以一组图片为单元可以以率失真 10 的最佳 方式来实现更精确的步骤 对于空间和信噪比可扩展性 需要层间预测结构限制的方式 这样才能 在循环解码器中只存在一个运动补偿预测目标层 从而来降低译码的复杂度 欲了解更多详情 参照 SVC 标准 4 和 5 一般来说 一个可伸缩的比特流解码部分可以用质量下降 即降低时间 分辨率 空间分辨率或视觉保真度 从一个优质的更新 在可伸缩方向之一 到下一个更高质量的被看做是在数据立方体模型元素 我们呼吁所有的视频编 码数据从一个包含更新信息的 特别是到下一个质量品质 属于一个可伸缩性 水平 对于可伸缩视频 有时间 空间和信噪比水平三个方面 一个可扩展性 级别包括整整的一个质量一步位 在步骤上市完全相同的一个方向 SVC 的编 码器设计中采用了分层空间来获取可扩展性和 CGS 它显示语法元素 dependency id 时空的可扩展性是通过分层时间来组成的 每一个编码层 由 指定语法元素 temporal id 一个特定的编码层图片可以细化为 15 个配对 MGS 由语法 quality id 元素表示 使信噪比具有可伸缩性 编码器可以选择动态的编码层 从而来用于层间预测 宇空未使用的单 位层间的任何预测就当前一层 是可丢弃的 可丢弃 NAL 单元与 NAL 单元头 间有信号传递 见第二节 D 在每一个 SVC NAL 单元的 NAL 单元头 SVC 为信号可伸缩信息使用 语法元素 priority id dependency id temporal id 和 quality id 或 PDTQ 一种 H 264 AVC NAI 单元前面有一个前缀 NAL 单元 它为 H 264 AVC NAI 单 元提供信息 一般来说 priority id 可能根据其有效的提取路径的要求 由一个 应用程序设置 位流可以由只选择编码数据来细化 从而满足 priority id 门槛 一维序列流操作点位由代表一个先后降低解压路径的阀值来代替 一个工作点 表示一个特定的分辨率和质量 每个工作点包含一个伸缩码流 这个编码流包 括这些特殊的分辨率和质量的需要解码的数据 B 比特流表示 一个可扩展的位流可以用两种不同的方式来表示 作为一个分层表示 这 里称为分层可扩展 或提供合并的可扩展性 这里称为完全可扩展的 在一般 情况下 可能会有更多的可扩展性方向 例如 支持感兴趣区域的 ROI 可 扩展性 1 灵活组合可扩展性 可扩展位流可以组织支持完全可扩展性 任何有效的子 集可扩展性水平 包括可扩展性的基础级别 可以提取出总比特流 并根据相 应质量进行解码即任何支持与之相结合的分辨率 时间 空间或 SNR 均可被 提取 一个 SVC 基本流可以包含一个与 H 264 AVC 相适应的编码基础层 底 层可以看到 dependency id 图2 完全可伸缩流允许最高位的灵活性 SVC 的基本流本身允许提取任何有效的子流 为了执行适应操作 决定提取哪一个子集的可用数据 例如根据可用对 位率 就需要附加信息 这种相适应的决定的可能 例如执行基于位之间权衡 的知识率和视觉保真度 如果在网络节点上执行这种可适应操作 这个附加信 息就必须与视频数据一起传输 2 分层可扩展性 另外 一个位流能在分层中接受组织 层包含所有的可伸缩 级别 将视频一个质量更新到下一个质量级 A 层必须至少在一个方向加强时 间空间或 SNR 的质量 通过丢弃不需要的质量层次 一个分层代表提供了简 单的定义适应操作 图 3 显示了可伸缩码流组织的三个层次 该操作点的定义 由一个程序 用户或者服务所规定的要求作为先验根据 为避免与 SVC 标准中的术语 层 相混淆 可扩展性 SVC 文件格式层 被定义为 等级 由于代表的 SVC 基本流中的位流完全可扩展的代表性 代表一个分层映 射可能会执行 例如 由流媒体服务器 关于使用情况的不同 读者可以选择 一个文件从一个所提供的陈述 并可能如分层 设置 priority id 根据该层定义 图4 适应决策 例如在适应业务 网络上的节点 可以根据标量层的 ID C 使用方法和应用场景 1 直接文件访问 有三种基本的访问模式 访问 SVC 文件 当访问时由 AVC 的文件阅读器访问 比特流细化 并存储改文件 以执行随后的适应性操作 事实上 SVC 支持的 H 264 AVC 标准的用法在基础层所需的文件格式也 需要同 AVC 兼容 当查阅 SVC 文件时 一个 AVC 文件阅读器必须能够访问 并读取 H 264 AVC 的一个基础层 因此 所有的 AVC 文件格式数据结构用来 作为指定的 AVC 文件格式 读者访问文件时也许会执行比特流细化 例如 只为一个给定的工作所需 的数据点读 当访问该文件时 文件格式提供数据用以支持高效的提取信息 在访问一个有 SVC 功能的视频播放文件来适应比特流播放能力的时候 这就显 得有些必要了 此外 适应性操作可能需要在网络节点或是在网络客户端上进行 该文件 格式提供数据描述一个为此目的的经营点的集合 该数据可以导出为媒体传输 例如 使用 RTP 负载格式的 SVC 14 2 调试操作 适应业务包括一个适应的决定和行动 抛弃不必要的细化数据 根据模式的可扩展性 适应决定 如可能的经营点 使给定最好的目标比特率 的视觉质量 这是一个复杂的工作 一个适应框架 包括必须提供的适应决策 规则 11 完全可扩展位流的适应性决定需要更多的存储在文件格式中 从视频编码 数据中独立出来的信息 可扩展的码流分层描述一组预定义的一维提取 适应操作点的道路 在这里 适应决定很简单 可能被执行很容易 例如 在一个简单的 即 几乎无状态 的 的网络节点 在这种情况下 如对被层的信息 传达语法元素 priority id 规范中定义的 SVC 见第二 D 3 侵蚀存储 监测方案引入一个特殊的用例 监控录像资料通常被储存在大型 磁盘阵列和视频流的质量要非常高 然而 经过一段时间 定义例如 通过 法律义务 质量可能会降低 以自由存储空间 此过程称为 比特流疏 可重复 以进一步降低 甚至对使用的空间存储系统 该应用程序利用这种优势减少在 这一步一步地被称为视频质量侵蚀存储 D SVC 高级层语法 SVC 高层次语法遵循相似的设计准则 就像 H 264 AVC 的那些一样 序 列参数集 SPS 和图像参数集 PPS 其中包含多个图片的信息 通常传播 外的使用 以可靠的传输协议 例如 TCP 的频带 以确保这些极为重要的件 的信息可在解码器中 纯视频数据在 NAL 单元中传输 NAL 单元 SVC 语法 见图4 是对一个 H 264 AVC 单元结构的扩展 其中主要包括例如 SPS NAL 单元与 NAL 单元 字节 PPSNAL 单元和视频编码 NAL 单元包含视频数据的不同种类 H 264 AVC 和 SVCNAL 单元 作者主要是第一个字节的头扩展包含上述语 法元素 priority id 和也表明是否 NAL 单元属于所谓的印尼盾 瞬时解码刷新 接入单元 idr flag 该第二和第三个字节的可扩展性的信息提供尺寸为代表 的语法 dependency id 元素 temporal id 和 quality id 此外 第二和第三 NAL 单元的扩展提供信息头字节如有关的可能性 放弃 NAL 单元的解码具有较高 dependency id discardable flag 层 是否 NAL 单元编码不使用层间预测 no inter layer pred flag 或者如果一个解码基地图片 即 quality id 等于0 可以用于帧间预测 use ref base prediction flag 这些图片信息中的大多数 特别是可伸缩信息 也应该可以在文件格式级 上 这样才能适应决定 将在第四节描述为此目的设定的机制 NAL 单元的标题是不容易的熵编码 以确保从系统层的信息中访问 它 甚至用在传输层作为实时传输的有效载荷头协议 RTP 的有效载荷格式的 H 264 AVC 6 也适用于 SVC 的 14 15 进一步的设计标准相对于 H 264 AVC 标准是落后的 对于一个传统的 H 264 AVC 解码器的 SVC 的 NAL 以 NAL 单元为单位 定期 NAL 单元类型和 未知的 NAL 单元 因此 丢弃它们却任然能够对基础层进行解码 然而这些未 知的 NAL 单元可能会超过缓冲区大小所显示的基本层剖面级别 3 文件格式基本资讯回顾文件格式基本资讯回顾 A ISO 基本媒体文件格式 在 ISO IEC 的 MPEG 4标准中 有几个部分为基于时间的媒体存储文件 格式 例如音频或视频 下了定义 除了12条本身 它们都基于并且来自 ISO 基本媒体文件格式 ISO 符合 IEC14496 12 6 这是一个结构性的并且这也是 JPEG2000家庭标准中的一员 作为 ISO IEC15444 12 文件结构是面向对象的 很轻易的就能将一个文件分解成它的组成对象 并且从它们的类型和位置可以直接推出对象的结构 为了便于检查和编辑字符 该对象类型是32位值 一般选择四个打印字符 在 ISO 基本媒体文件格式是为了遏制定时媒体信息简报以灵活 可扩展 格式 这样便于交流管理编辑和介绍媒体 本文可能是 本地 以该系统包含 演示文稿 或可通过访问网络或其他流传输机制 这些文件有一个逻辑结构 时间结构和物理结构 这些结构是不须耦合 该文件的逻辑结构是一个 电影 这又包含了时间的平行轨道集 时间结构该 文件是由代表曲目包含序列在时间样本 这些序列被映射到电影的整体时间表 可选购编辑名单 物理分开的文件的逻辑结构所需要的数据 时间和结构去组 成 从媒体的数据样本自己 这是代表的结构信息轨道记录的逻辑和时序关系 的样品 并载在何处 他们的位置 这些指针可能会引用媒体数据在同一文件 或在一个又一个 由一个 URL 引用 每个媒体流载于该专门轨道的媒体类型 音频 视频等 并进一步将一 个范例项目参数化 该实例项目包含了确切媒体类型的 名 即解码所需的解 码器类型流 以及任何需要该解码器的参数化 这个名字也需要一个四字符代 码形式 定义格式输入样本不仅对 MPEG 4媒体 同时也为其他组织的媒体使 用该文件类型提供条件 最后追踪可能形成相互替代 例如 二音轨含有不同的语言 这些曲目选 择具有相同非零备用组号作为它们的头 读者应该会发现这一点 然后做出适 当的选择 到底使用那一种 这种可选的元数据可以追踪接着来标记 有趣的 特性 就其值可能不同于其他成员组 例如 它的比特率 屏幕大小 或者是 语言 在一种追踪中的一些样品有一定的特殊性或者需要被逐一查明 其中一项 最常见最重要的特征是同步点 通常是视频 I 帧 每条音轨中 这些点被一个特殊的表确定下来 更普遍的情况是 自然之 间的依存追踪样本也被记录下来 最后还有一个概念的命名 参数样本群体 这些允许任何特征的文档 在一个追踪样本中都是被认同的 在 SVC 文件格式 中 采样组常常一个确定的 NAL 单元结构来描述采样 所有文件都以一个文件类型框开头 也可能在一个框签字结构后 它定 义了怎样最好的使用文件 和文件规定的规格 这些记录作为 品牌 在这些 框里出现的品牌表明索赔和权限 一个作家的文件 该文件要求符合规范 并 为读者权限 可能只执行该规范 阅读和解释该文件 电影 框中包含着 追踪 框集 每首曲目框包含一个流 1 它的时 序信息 解码和组成时间表 2 该材料 视频 音频等 的性质 编码标准的 使用 H 264 AVC 标准 无功补偿等 可视宽度 高度资料等 以及该初始化 信息编码标准 范例项目表 3 信息编码数据在哪里可以找到 其大小等 样本大小和块偏移表 当媒体通过流协议传输时 就通常以其在文件中的表示方式中转型 在 这方面最明显的例子就是 在实时传输协议中媒体的传播 RTP 在文件中 例如 每个视频帧被连续的存储 作为文件格式样本 在 RTP 中 打包特定规 则用于视频编码标准 使用时必须服从放置这些帧的 RTP 包 流媒体服务器可以在运行时计算这些打包如果需要的话 然而 有流媒体 的援助服务器 特别轨道称为提示轨道 它含有一般流媒体是如何形成的数据 包流服务器的说明从媒体轨道一个特定的协议 可能是放置在文件中 由于这 些指令的形式是媒体独立 服务器没