第6章多媒体同步ppt课件

第6章多媒体同步 第6章多媒体同步 掌握实时媒体与静态媒体概念掌握多媒体数据中的几种主要的约束关系掌握影响多媒体同步的因素掌握多媒体数据的构成掌握时域参考框架与四层参考模型掌握典型的时间模型 学习目标 第6章多媒体同步 本章的主要内容6 1多媒体数据6 2多媒体数据时域特征的表示6 3多媒体同步的4层参考模型6 4分布式多媒体系统中的同步小结 概述 同步与统一的时间基准相关联已知同步 时钟同步帧同步网同步本章讨论的同步是 多媒体同步 媒体内同步 媒体间同步 6 1多媒体数据 6 1 1连续媒体数据与静态媒体数据 媒体数据的种类依赖于时间关系的媒体数据 实时 连续媒体数据独立于时间关系的媒体数据 非实时 离散 静态媒体数据 说明一般在说到多媒体数据时至少要包含一种实时媒体数据和一种非实时媒体数据 连续媒体数据可以看作是由逻辑数据单元LDU构成的时间序列 也叫数据流 LDU的内容不是固定的 可以由具体的应用 编码方式 数据的存储方式和传输方式来决定的 6 1多媒体数据 6 1 2多媒体数据内部的约束关系 基于内容的约束关系描述的是不同媒体对像是同一数据内容的不同表现形式而在媒体之间所具有的一种约束关系 空域约束关系也称为布局关系 它定义了多媒体数据显示过程中某个时刻 不同媒体对像在呈现媒体上的空间位置关系 时域约束关系是多媒体数据对象的时域特征 它定义了媒体对象在时间上的相互依赖关系 连续媒体对象的各个LDU之间的相对时间关系 媒体内同步各媒体对象之间的相对时间关系 媒体间同步 在这三种约束关系中 时域约束关系最为重要 时域特征遭到破坏也就是多媒体数据的语义完整性受到破坏 6 1 2多媒体数据内部的约束关系 不同媒体对象之间的相对时间关系可以用图6 4来说明 连续媒体对象的各个LDU之间的关系可以用图6 2来说明 6 1 3多媒体数据的构成 多媒体数据的构成成分数据同步规范同步描述数据同步容限 6 1 3多媒体数据的构成 多媒体同步 保持和维护各媒体之间和各媒体对象内部存在的时态关系 组织多种媒体序列以实现某种特定的任务的目的 多媒体同步所研究的主要问题 如何表示多媒体数据的时域特征 在处理多媒体数据时 如何维持时域特征 6 2多媒体数据时域特征表示 在表示多媒体数据时域特征的过程中所要完成的具体任务 是对多媒体数据进行抽象 描述和给出必要的同步容限 时域特征表示过程如图 6 2 1时域场景和时域定义方案 抽象过程 忽略多媒体数据中与时域特征不相干的细节 将多媒体数据概括为一个时域场景的过程 一个时域场景是由若干时域事件构成 其中的每一个时域事件都是与多媒体数据在时域中发生的某个具体动作相对应的 这些具体动作可以是开始播放 暂停 结束播放 恢复播放等 如果一个时域事件在时域场景中的时间位置是完全确定的 该事件就称为确定性时域事件 否则就称为非确定性时域事件 6 2 1时域场景和时域定义方案 图6 6确定性时域场景和非确定性时域场景 6 2 1时域场景和时域定义方案 时间模型 对数据进行抽样描述的数据模型 它是由若干部件和部件的使用规则组成 是在计算机系统内为时域场景进行建模的依据 形式化语言 建模结果通过形式化语言转化为形式化描述 同步描述数据 时间模型和形式化语言统称为时域定义方案 同步QoS要求 用户和同步机制之间应当以何种准确程度来维持时域特征方面所达成的一种质量约定 定时要求 同步容限 描述数据和定时要求相结合形成计算机内部对多媒体数据的时域特征表示 6 2 2时域参考框架 时域参考框架是由多媒体场景 时域定义方案和同步机制三个部分构成 多媒体场景 是对多媒体数据在时间特征和空间特征抽象的结果 时域场景是多媒体场景的重要组成部分 时域定义方案 是在计算机系统内为时域场景建模并对建模结果进行形式化描述的方法 包括时间模型和形式化语言 同步机制 是一种服务过程 能够了解同步描述数据所定义的时域特征 并根据用户所要求的同步容限 完成对该特征的维护 任务 流内同步和流间同步 6 2 3描述时域特征的时间模型 一个时间模型是由基本时间单位 关联信息和时间表示技术三个部分所组成 基本时间单位分为时刻和间隔两种类型 用来表示一个时域场景中发生的事件 关联信息定量关联信息定性关联信息其中 定性关联信息包括 两个时刻之间的基本时域关系有三种 即之前 before 之后 after 和同时 atthesametime 两个间隔之间的基本时域关系十三种 before meets overlaps during starts finish equals非确定性时域关系 1 1 1 6 2 3描述时域特征的时间模型 时间表示技术时间模型依照关联信息来定义场景中各事件与时间轴对应关系的方法 是多媒体对象的播放 传送等机制根据描述数据生成调度方案的出发点 典型的时间模型时间轴模型 基本单位 时刻 关联信息 定量关联信息 事件发生的时刻 虚时间轴模型 基本单位 时刻 关联信息 定性关联信息 事件发生的次序 OCPN模型 基本单位 间隔 关联信息 定性关联信息 两个间隔之间的基本时域关系 6 2 4同步容限 图6 18事件间的偏差 时域事件间相对位置的变化 表示同步描述数据中约束条件的允许偏差范围 造成事件间偏差的原因 进程对CPU的抢占 缓冲区不足 带宽不足等 对象内偏差 对象间偏差 同步容限就是用户对偏差许可范围的定义 而同步机制是保证恢复时域事件时偏差不超过容限 6 2 4同步容限 定义偏差许可范围 比较困难 一般采用主观评估 一般地 对象内的偏差许可范围小于对象间的许可偏差 连续图像信号 30ms连续单音调声音 1ms 表6 3视频和其他媒体间偏差的许可范围 6 3多媒体同步的四层参考模型 四层模型由规范层 对象层 流层和媒体层构成 由多媒体应用生成时域场景 时域场景是规范层的处理对象 由对象层 流层和媒体层构成同步机制 规范层处理的核心是时域定义方案 其接口可以为用户提供利用多媒体时间模型描述媒体数据时域约束关系的工具 例如同步编辑器 多媒体文档编辑器和著作编辑系统等 规范层产生的同步描述数据和同步容限 经过对象层的适当转换后进入到同步机制 6 3多媒体同步的四层参考模型 在层次参考模型中 每一层都有对应的数据处理对象 同步参考模型体现了不同层次上对同步的要求 每一层实现一个由适当的接口提供的同步机制 这些接口可以用于定义和保证时间关系 1 媒体层 处理对象 连续码流的LDU 主要任务 1 申请必要的资源和系统服务 2 访问各类设备接口 获取或提交完整LDU 2 流层 处理对象 连续码流或码流组 主要任务 流内同步和流间同步 6 3多媒体同步的四层参考模型 3 对象层 处理对象 不同类型的媒体对象 连续的 非连续的 主要任务 1 对非连续媒体对象的处理 2 实现连续的 非连续的媒体对象间的同步 4 规范层 处理对象 多媒体应用生成的时域场景 主要任务 1 各场景的安排与对象同步的描述问题 2 多媒体对象能否被描述或描述是否正确 6 4分布式多媒体系统中的同步 6 4 1分布式多媒体系统的结构 6 4 2同步规范的传送 采用方式 1 提前传送法 系统启动阶段发送全部所需的同步规范 2 辅助通道传送法 通过专用的附加逻辑通道发送同步规范 3 插入同步标记法 同步规范与成份数据形成复合流发送 6 4 3影响多媒体同步的因素 影响多媒体同步的因素 1 延时抖动 2 时钟偏差 3 不同采集起始时间或不同的延时时间 4 不同的播放起始时间 5 数据丢失 6 网络传输条件的变化 6 4 4多级同步机制 多级同步机制 1 采集多媒体及存储多媒体数据时的同步 2 从存储设备中提取多媒体数据时的同步 3 发送多媒体数据时的同步 4 多媒体数据在传输过程中的同步 5 接收多媒体数据时的同步 6 各类输