多媒体技术教程.ppt

第六章多媒体的时间表示与同步 6 1多媒体同步的基本概念 6 1 1同步的基本概念 多媒体是在不同应用环境中文本 图像 声音 视频等各种媒体的集成 既然需要将这些媒体安排在一起表现 就有一个先来后到的关系 这个关系就是同步关系 系统对各个媒体对象按照这个关系进行的控制过程 就是同步 同步的过程与时间有着密切的关系 大多数同步都建立在时间的基础上 6 1 1同步的基本概念 基于时间的媒体 Time basedMedia 时基媒体 或时间依赖媒体 Time dependent 媒体与时间有着强烈的依赖关系 在采样 传输和回放表现时更需要以时间为参照系进行有序的组织 多媒体同步或合成 Orchestration 组织时基的 非时基的多种媒体序列通过传输 合成并达到某种表现效果 这个过程既包含表现过程 也包含多媒体信息的传输过程 既可以用于并发或顺序的数据流布局 也可以用于对所产生的外部事件进行安排 6 1 1同步的基本概念 简单的时间线表示如图 6 1 2同步的种类 1 应用同步应用层同步又称表现同步 或交互同步 这一类同步是从用户应用的角度出发而进行的同步 重点在于表现与交互 2 合成同步合成同步又称为 媒体之间的同步 这种同步涉及到不同类型的媒体数据 侧重于它们在合成表现时的时间关系的描述 6 1 2同步的种类 3 现场同步现场同步也属于媒体间的同步 它要表现出同一个应用中数据源方与表现方之间存在的实际同步关系 也既端 端之间的同步关系 4 系统同步系统同步 又称 媒体内部的同步 这里 系统 指的是该层同步如何根据各种输入媒体对应的实际硬件系统 设备 的性能参数来协调实现其上层合成同步所描述的各对象间的时序关系 6 1 3同步的分层服务模型 对于多媒体的应用来说 同步是建立在不同的分层的基础上的 不同层次的同步依据不同的接口机制来保证 如下图所示 6 1 3同步的分层服务模型 媒体层的同步 针对的是单独的媒体数据流 属于物理层的同步 其同步的基础是数据流中的一个个基本逻辑数据单元 通过对这些逻辑数据单元的操纵来保证媒体在时间上的准确 流层的同步 也是媒体内的同步 但是属于服务层 其面对的是多个媒体数据流 它处理的是多流之间的同步 以保证多个数据流在传输和表现过程中能够实现并行和同步 6 1 3同步的分层服务模型 对象层的同步 是针对多媒体演示过程之中的各个多媒体对象的 通过相应的时间同步方案 保证各个多媒体对象能够按照规定的次序出现 并且能够响应用户的输入事件 描述层的同步 解决的是多媒体表现中各个场景的安排与对象同步的描述 其重点是作者与系统的接口 只关心是否能够被描述或描述的是否正确 而不关心具体如何实现同步 6 2时间模型 6 2 1时间依赖的定义 多媒体是在不同应用环境中对文本 图象 声音 视频的集成 基于时间的媒体与时间有强烈的依赖关系 时基媒体的表示方法 时间模型 用户交互 系统实现方法等是问题的核心 体现在三个层次上 物理层 低层的时间关系服务层 应用媒体之间的时间关系人机接口层 用户的随机交互过程 浏览 与时间有关 延迟不定 6 2 1时间依赖的定义 根据各种媒体及其表现特性确定时间的依赖关系 Static静态的 没有时间依赖Discrete离散的 单一元素Transient短暂的 一时的Natural或Implied自然 蕴含的 真实世界中的时间依赖Synthetic综合的 合成的 人工产生的时间依赖Continuous连续的 在时间上连续Persistant持续的 在数据库中维持的 6 2 1时间依赖的定义 数据对象分类 表现及应用生命周期持续对象 存在于整个应用周期非持续对象 动态建立并且用后丢弃短暂对象 出现很短 不需操纵静态对象 长期存在 6 2 1时间依赖的定义 数据采集自然 真实时间 记录时间关系 存储人工 综合时间关系 合成 实况 不能进行时间操作 6 2 1时间依赖的定义 媒体连续媒体离散媒体连续媒体是能在时间上连续播放的离散数据单元序列 6 2 2时间的概念模型 1 时间点和时间段时间点 瞬时 时间的零长度运动 例 4 00pm时间段 两个时间点之间的区间 6 2 2时间的概念模型 6 2 2时间的概念模型 2 时间关系时间关系有十三种 before starts meets overlaps during finishes equals除equals外 其余六种都有逆关系 共十三种 连续媒体 meets 非连续媒体 before基于时态区间的建模 TIB建模 可以勾画出复杂的时间线表示 6 2 2时间的概念模型 6 2 2时间的概念模型 用meets和equals时间关系表示同步的例 6 3时间的规范与表示 6 3 1时间规范 时间规范的目的是为了向在创建时和合成过程中所要求同步的数据对象提供一种时间关系的表达手段 来源 从DB或从NET 包括DB和Live 存储时的时间表达合成时的时间表达实时时的时间表达 6 3 1时间规范 表现的需求 对异质的数据能够同时地 顺序地 独立地表现对显示则要求不同的元素能对有关的过程和事件进行特征描述的模型 数据表现 用户交互 物理设备 同步折衷与计算系统中 并行 并发 多线程 的区别计算系统 解题多媒体系统 人 及 与人交互 连贯地表现异质数据用户理解的最小时间范围人作为系统的一部分 延迟 交互 6 3 1时间规范 两者关键的区别 时间的依赖 处理 计算 表现 多媒体 信息流控制 任务 控制 计算 人 控制 多媒体 其它的要求没有绝对时间需求 允许迟到 实时限制 时限时间操作建模反转 随机存取 控制 6 3 2相对时间规范与绝对时间规范 1 时态瞬时绝对时间参考系 以Video作为绝对时间参考 本来Image和Audio没有时间关系 但都以Video作参考后 Image和Audio也有了关系 以时间轴作为参考对象 编辑时某些时间关系会丢失 如取消参考对象 则无时间关系了 无法同步 相对时间参考系 相对于绝对时间轴 WorldTime 失步可用丢弃的方法进行校正 6 3 2相对时间规范与绝对时间规范 相对于绝对时间轴同步 6 3 2相对时间规范与绝对时间规范 2 时态区间基于时态区间 TIB 可用于建立多媒体表现模型 如 HyTime ODA 扩展ODA 层次化方法ai 单一媒体用户输入延迟只在ai的起始点或结束点确定同步 参考点方法系统只在动作流的固定参考点才检查同步 如AVI同步 6 3 2相对时间规范与绝对时间规范 a 层次图 b 层次图的执行过程 6 3 2相对时间规范与绝对时间规范 参考点方法 6 3 2相对时间规范与绝对时间规范 3 并行与顺序关系用于时间依赖媒体的公共表示方法 可以只用并行和顺序的关系来表示 引入计时器T 将原来在时间上的许多差别都归纳进了计时器的采用 用串行和并行表示时间关系如下图 T T T T 6 4多媒体同步的表示方法 6 4 1基于图形的表示法 具有形象直观地说明同步语义的优势 适合于可视的 基于图形的多媒体表现的表示 基于图形的表示法有 时间线流图Petri网时间层次法最著名的是OCPN方法 6 4 1基于图形的表示法 1 Petri网的定义CPN T P A 其中T t1 t2 tn P P1 P2 Pm A T P P T I 其中I 1 2 T代表变迁集合 P代表库所集合 A代表有向弧集合 6 4 1基于图形的表示法 2 标记Petri网 MarkedPetriNet MPN 的定义CMPN T P A M 其中T P A的定义同PetriNet中的定义 而M P I I 0 1 2 6 4 1基于图形的表示法 3 OCPN ObjectCompositePetri Net 对象合成网 的定义COCPN T P A D Re M 其中T P A M的定义同MPN中的定义 而D P R 实数集 Re P r1 r2 r3 rk D是从库所集合到实数 持续时间 的映射 Re是从库所集合到资源集合的映射 6 4 1基于图形的表示法 4 OCPN模型两个对象的时间合成能够基于顺序的和并行的两种时间关系发生 给定两个对象 则在时间上存在13种关系 OCPN能够捕捉用于说明不同对象计时和显示需求的任何时间关系 如下图所示 其中 Pd是延时计时 6 4 1基于图形的表示法 5 统一OCPN模型对于任何两个原子进程和它们的时间关系 存在相应的OCPN模型 反过来也为真 对于任何OCPN模型能够惟一确定相应的时间关系 为了便于存储和检索多媒体数据 可对形式进行简化 采用统一OCPN模型 如下图所示 这个模型用于表示任何时间关系 6 4 1基于图形的表示法 统一OCPN模型 6 4 1基于图形的表示法 下图是 世界报道 例子的OCPN表示法 这个OCPN捕获了全部时间关系 可以在前向和逆向两个方向上模拟 6 4 2基于脚本的表示法 脚本 script 可用来表示特定领域内的特定问题 一个脚本其实就是一个具有专门结构的框架 它像一个电影剧本一样 一场一场地表示一些特定的事件序列 脚本具有强烈的逻辑结构性和时序表现性 因而利用脚本概念来对多媒体表现进行建模 是一种很好的途径 6 4 2基于脚本的表示法 1 几个表现的概念表现 表现意味着一次活动 演员 通过各种媒体进行传播信息的实体 角色 多媒体表现环境中的各种资源 活动 由多媒体表现环境中预定义的多媒体表现的空间和时间序列 而引起发生的事件 场景 各种角色的活动编排组合构成的多媒体空间表现环境 6 4 2基于脚本的表示法 2 脚本的同步关系两个活动之间的时间关系 也可以由before meets during overlaps starts finishes equals及相应的逆关系 不含equals 表示出来 对应以上关系 PetraHoepner等人提出了相应的算子集合 运用该集合中的算子 可以规范地描述多媒体对象之间的同步及同步机制的语义 可以用它们来将原子活动构造成合成活动 将一元活动构造成包含同步关系的n元活动 6 4 2基于脚本的表示法 比较常用的算子 A B并行后决A B并行先决A B串行A B可选的Ai 重复N A并发 6 4 2基于脚本的表示法 3 脚本语言的表示 1 事件事件是对象间特殊的信息传递机制 是协调活动和资源 使之有序化的任意分散的时间点 2 情节情节是预定义的多媒体对象表现的空间和时间序列 可以是静态的 也可以是动态的 3 场场是对象 活动 事件 情节的有机组合 是组成脚本的信息单元 6 4 2基于脚本的表示法 4 实现方法实现方法应该与具体系统有关 不同的系统对脚本的实现方法也不一样 一般包括以下一些内容 管理数据对象列表时态合成方法 6 4 2基于脚本的表示法 4 脚本模型的规范化 脚本编程语言编程语言是非常规范的 有严格的数据类型定义和结构定义的 能够很好表达用户意图的工具 但一般编程语言 如C C 或smalltalk等 都没有定义时间语义 因而在这样的环境中 很难规范地实现时间约束的表示 因此 脚本编程语言必须有明确的时间语义的定义 以满足用户或设计者对时间约束的严格描述 6 4 3交互和同步 当一个人与多媒体系统交互时 应用必须能够使用户和外部世界同步 这种同步可以采用多种方法做到 如启动或停止一个对象的表现 提出对某一数据库的查询 对象的浏览 或者其他不可预见的用户起始动作等 对于连续媒体系统 用户交互也蕴含了对信息顺序形式的随机存取 在多媒体中 其他重要的时间顺序还包括在CSCW中多个用户的协调 在这里要重点考虑对于共享对象的并发控制及分布数据资源的管理 6 5时间同步与系统支持 6 5 1概述 实时系统的最后期限 硬 多媒体数据表现的最后期限 软 但多媒体表现有其独特的性质 具有实时播放的性质 数据需要根据预先确定的时间表从存储中提交出来 一个对象的表现能够持续在整个时间段中 6 5 2系统支持的有关问题 1 时间表示的数据结构为了支持基于时间的表示 多媒体系统应能识别某种合适的数据结构 要求 适合于应用适合TAC功能特性适合于用对象编辑进行对象演变适合于通过数据库索引和查询进行有效的检索 6 5 2系统支持的有关问题 基于语言或基于图形的表示技术不能指明合适的数据结构 用Petri网和关系数据库模型将规范方法映射到一个数据库模式 此时 时间区间和关系将被用一种非结构化格式 或以结构化的格式中的Petri网的时间线表示法描述出来 6 5 2系统支持的有关问题 2 数据压缩的影响压缩后 在所要求同步的流之间识别出同步关系十分困难 希望在连续媒体流中的任意点都具有起始的能力 帧间编码时没有中间帧是无法实现的 为了提供逆向表现 希望在两个方向上都应可以使用 MPEG中 使用帧内编码 解决第1个问题 双向插值帧 解决第2个问题 6 5 2系统支持的有关问题 3 同步的系统支持为支持时间依赖媒体 多媒体系统必须具有对存储设备进行处理的潜力 包括通过跨网做到的数据分布能力 和在计算机网络资源管理下对时间依赖数据的支持 6 5 2系统支持的有关问题 4 同步异常数据延迟不能用于播放时 发生了同步异常 导致表现单元的序列产生缝隙或在单位时间内数据短缺 数据迟到时 丢掉一些数据 或改变播放