多媒体通信技术.ppt

1,多媒体通信技术,主讲教师：黄玉兰 学时：16,2,第一章 多媒体通信技术概述 第二章 音频技术基础 第三章 图像技术基础 第四章 视频信息压缩与处理 第五章 多媒体通信系统中的关键技术 第六章 多媒体通信网络技术 第七章 多媒体数据的分布式处理 第八章 多媒体通信应用系统,本书章节,3,7.1 分布式多媒体系统 7.2 DMS的操作及管理 7.3 流媒体技术,本章主要内容,4,第七章 多媒体数据的分布式处理,7.1 分布式多媒体系统（DMS） 多媒体技术与高速通信网络技术相结合产生了分布式多媒体技术这个新型边缘研究领域，分布在不同地点的信息提供者、接收者和处理者通过网络来共同完成多媒体数据的处理过程，这就是分布式多媒体系统。 多媒体信息处理技术、分布式数据处理技术和多媒体计算机网络技术的迅速发展为分布式多媒体应用系统的实现奠定了良好的基础，分布式多媒体技术可以向用户提供多媒体信息检索与查询、视频会议系统、多媒体电子邮件、多媒体文档交换、计算机支持协同工作、多媒体点播服务系统、远程计算机辅助教学等多种多媒体综合信息服务。,5,7.1.1分布式多媒体系统的概念 分布式多媒体系统（DMS）是一种融合了通信、计算机和信息技术的综合系统。在物理结构上，它是通过网络将若干多媒体通信终端、多媒体服务器以及交换设备连接而成的系统，该系统能够实现同步的多媒体信息的处理、管理和传播，同时又拥有QoS保证。在通信领域，通常称该系统为多媒体通信系统，而在计算机领域，则被称为分布式多媒体系统。 图7-1简要描述了一个分布式多媒体系统DMS，图中展示出该系统的输入和输出部分。所谓输入指的是分布式多媒体系统从概念到实现所需的多个重要的因素，而输出则表示分布式多媒体系统的应用。,6,从图中可以看出，系统的输入部分由三部分组成。 第一部分是与DMS相关的产业，包括远程通信、有线电视、娱乐、计算机以及电子购物等；第二部分为开发一个DMS所涉及的问题，包括相关技术、标准、规则、版权、市场、社会及人的因素；,7,第三部分为三个子系统：信息子系统、通信子系统和计算子系统。 信息子系统：用于存储多媒体数据，包括多媒体服务器、信息 文档以及多媒体数据库系统。 通信子系统：用于传输多媒体数据，包括传输媒质和传送协议。 计算子系统：用于处理多媒体数据，包括多媒体平台、操作系 统、表现和编辑工具、多媒体操作软件等。 系统的输出部分可以划分成三种不同类型的分布式多媒体应用， 分别是 ITV（电视导航） 多媒体远程协作 超媒体,8,ITV所提供的业务包括家庭购物、互动视频游戏、财务交易 等。 VOD是ITV提供的一种重要业务。 多媒体远程协作也称为计算机支持的协同工作（CSCW)，它 是指通过为不同地理位置的用户提供一个共享的电子 空间，使他们能够进行通信、协助和协调。所提供的 业务有远程教学、远程办公、远程医疗、多媒体电子 邮件、可视电话、桌面视频会议、合作编著、团体绘 画等。 超媒体也称超媒体文档，它是一种网络结构化的、非树型 的结构，能够实现与其他多媒体文档的链接。它提供 的业务有数字图书馆、电子百科书、客服中心、计算 机支持的学习工具、网页浏览等。,9,7.1.2 分布式多媒体系统的结构 根据不同的分布式多媒体应用，分布式多媒体系统具有不同的结构。通常分布式多媒体系统的收、发两端是分离的，因此其具有结构如图7-2所示。,10,图（a）是点对点结构，即只有一个信源和一个信宿。这种结构的一个典型应用就是可视电话； 图（b）是一点对多点结构，即只有一个信源，它可同时向多个信宿发送信息，其典型应用就是远程教学； 图（c）是多点对一点结构，即网络中存在多个信源，它们能同时向一个信宿提供信息。例如一个用户（信宿）所需的信息包括音频、视频、文本信息，它们分别来自不同位置的源数据库；,11,图（d）是图（c）结构的一种延伸。该结构适用于下面的情况，不同位置的源数据库具有用户所需的音频、视频、文本等信息，首先将这些信息集中到一个中间点进行复合，然后再将此复合多媒体信息发往用户。 图（e）是多点对多点结构，即有多个信源和多个信宿，信源和信宿可以是同一个用户。此时构成一个组用户，组内的用户可互相通信，例如桌面视频会议。,12,7.1.3分布式多媒体系统的服务模型 目前在分布式多媒体系统中广泛采用的是客户/服务器 （Client/Server）模型，其中服务器可为其它计算机提供 各种网络服务，如数据、文件的共享，压缩编码和解码 等，而那些用于访问服务器资料的计算机则被称为客户端。 7.1.4 分布式多媒体系统的特征 在分布式多媒体系统中对多媒体信息的处理形式采用 了分布式处理方式。所谓分布式处理就是通过统一控制对 纳入分布处理过程中的对象进行处理及通信。可见合作活 动中要求进行有效地协调，这样才能正常完成所有的任务。,13,DMS所具有的特征如下： 1技术综合性（Technology Integration） 综合了信息、通信、计算子系统中的各项技术 2实时多媒体综合性（Real-time Multimedia Integration） 要求海量存储能力、高速接口速率、高速传输网络、高速CPU 3提供系统内的QoS支持 除了保证传输网络的QoS，还要提供端到端的QoS保证 4交互性（Interactivity） 提供用户与系统之间的全双工通信 5多媒体同步支持（Multimedia synchronization support） 要求多媒体数据要自始至终保持特定的时域约束关系 6标准化支持（Standardization support） 信息内容、表示格式、用户接口、网络协议等要标准化,14,7.2 DMS的操作及管理 DMS综合了信息、通信、计算子系统中的各项技术，以实现多媒体应用。涉及到数据压缩技术、同步技术、网络技术、QoS管理技术、多媒体操作系统以及媒体服务器等技术。 确保端到端QoS的资源管理技术 用于正确表现多媒体数据所采用的同步技术 减少存储量、降低传输带宽要求的数据压缩技术 为了处理多媒体数据所使用的多媒体操作系统 支持多媒体通信的网络技术 用于存储、捕捉并发布多媒体信息的媒体服务器,15,7.2.1 分布式多媒体系统的QoS管理 1基本概念 （1）服务质量（QoS） 分布式多媒体系统应用需要端到端的QoS保证的支持。 服务质量QoS（Quality of Service）是用户对某种服务的满意程度。“QoS描述了关于一个服务的某些性能特点，这些性能特点是用户可见的，它以用户可理解的语言表述为一组参数。这些参数具有客观值或主观值。”其中客观值可以是抖动时延和峰值速率等，它们是描述系统行为性能的参数，而主观值可以是优先级和访问权限，这些是描述系统服务性能的参数。,16,通常不同网络根据各自的特点所提出的描述QoS的参数不同。 Internet网络QoS指标：延时、抖动、吞吐量、丢包率、业务 可用性； ATM网络的QoS参数：峰值速率、每秒传送的最小信元数、信元 丢失率、最大端到端延时抖动等。,17,（2）服务质量（QoS）的保证 不同应用对QoS的要求不同，一般可以分为如下三种等级的QoS保证： 确定型（Deterministic）QoS保证：它是指在通信过程中通信各方已商定的QoS参数值不发生改变，例如远程医疗中的医学影像和数据都应提供这种级别的QoS保证。 统计型（Statistical）QoS保证：它是指在通信过程中允许通信各方已商定的QoS参数值发生一定程度的改变，VOD视频点播就属于这类典型服务。 尽力而为型（Best-effort）QoS保证：它是指不提供任何QoS保证， IP网中的大量多媒体应用就属于这类服务。,18,2服务质量（QoS）的分层 端到端的QoS保证包括： 传输网络的QoS支持 发端应用层至终端应用层过程中的每一个环节的QoS支持 人们采用分层的方法以便更好的研究端到端的QoS，QoS的分层模型如下图所示。 QoS的分层结构模型分为四层，包括用户层、应用层、系统层和网络/设备层，每一层都有自己的QoS要求以及与要求相对应的QoS参数。,19,下面我们分别介绍一下各层的功能。 （1）用户层 用户层的QoS是由用户根据自身的主观感觉提出的，例如对某种应用满意或者不满意。但是如果用户提出过高的要求就会占用大量的系统资源，因此应该通过计费的方式限制用户的这种行为，使用户得到最佳的性价比。 （2）应用层 应用层的QoS是通过用户层的QoS映射而来的，用户通过设置相关的参数值来指定所需QoS的应用服务，应用层的QoS参数可以从两个方面来描述： 一个是根据各种媒体，例如音频、视频、数据等自身的 特点确定信息速率、最大抖动等QoS参数； 另一方面是根据各媒体间的关系提出同步质量与实时性的QoS要求。,20,（3）系统层 系统层的QoS是通过应用层的QoS映射而来，它描述了对系统工作的要求，例如对操作系统的要求。其QoS参数可以从吞吐量、缓冲区大小、流间的同步等方面来描述。 （4）网络/设备层 网络层的QoS参数可以从比特率、网络连接的响应时间等网络流量和丢包率、网络层端到端延迟等网络性能方面来描述。,21,3服务质量（QoS）的管理 QoS管理是指系统按照一定的管理策略，通过对系统资源进行调整与管理，从而得到通信过程中的QoS保证。可见QoS管理的目的就是充分利用各种资源，以实现用户要求的QoS。 要保证DMS的QoS，实现多媒体应用的实时性，其过程有以下三个阶段：,22,（1）建立连接 QoS协商和QoS映射 通信路径上各节点对QoS参数进行协商协商完成分层映射 接入测试和资源预留/分配 各节点测试可分配带宽、可分配缓冲空间等允许资源预留 确定型QoS保证：按最坏的情况进行资源预留和分配 统计型QoS保证：按平均情况进行资源预留和分配 尽力而为型QoS保证：系统不预留和分配资源，资源共享 资源预留可由发送端启动，也可由接收端启动，最终由接收端 负责资源预留。 通知（用户）连接已建立,23,（2）保持连接 QoS维护 由资源管理器进行资源调度以实现拥塞控制、流量控制 QoS监测 监测用户是否违反了已商定的QoS业务特性，如流量契约 等,如有违规，则处以降低优先级或罚款 QoS自适应 系统出现瞬间超负荷或用户在连接过程中改变了连接建 立阶段协商好的QoS参数时，用户和系统之间要进行再协商 （3）断开连接 释放被占用的资源,24,4IP网络的QoS保证 下面我们对目前IP网络中出现的几种具有QoS保证的服务模型和机制作一简单介绍。 （1）综合服务模型（IntServ）和资源预留协议（RSVP） 综合服务模型（IntServ）由IETF提出，其核心是资源预留协议（RSVP）。RSVP是无连接的，可以与IP网兼容，为IP网上的多媒体传输提供QoS保证。 IntServ的优点：能提供绝对有保证的端到端QoS。 IntServ的缺点：数据流量大时，大大增加了对路由器的存储和处理能力的需求，可扩展性不好，不适用于大型网络，只能应用于边缘网络。,25,（2）区分服务模型（ DiffServ ） 为了克服IntServ伸缩性差的缺点而提出DiffServ模型，其基本思想是任何类型的数据流均可自由进入网络，但数据流要按照QoS要求划分不同优先级，在排队和占用资源方面，高优先级数据流有更高的优先权。 DiffServ承诺的是相对的服务质量，而不是具体的QoS指标。 DiffServ的优点：实现简单，扩展性好 DiffServ的缺点：不能提供基于流的端到端的QoS保证，而且 还未形成标准，难以实现不同运营商的DiffServ网络互通。,26,（3）多协议标签交换（MPLS） 起源于Cisco公司的标签交换技术，位于OSI参考模型的 第2层和第3层之间。其基本思想是在MPLS网络的入口边缘路 由器中为每个IP数据包根据服务等级进行分类，并根据不同 类别加上一个固定长度的对应的MPLS标签，MPLS网内的核心 路由器根据该标签确定转发路径，从而实现高速转发，数据 包到达出口边缘路由器时再去掉标签，恢复成原来的IP包。 标签交换路径(LSP):路由器根据标签确定的转发路径称 为标签交换路径。 MPLS的优点：因为所加的标签长度固定，所以路由器可以实 现高速的转发，并且由LSP构成的隧道机制使 MPLS网非常易于与其他支持QoS机制的子网相连。,27,7.2.2 分布式多媒体系统的操作系统 分布式多媒体系统的核心是分布式多媒体操作系统，操作系统（OS）是一个系统软件，用来管理和控制计算机的软、硬件资源，例如CPU、内存、I/O设备、文件等，给用户提供一个有效并且方便的工作环境，在分布式多媒体操作系统对操作系统提出了两方面的要求： 一方面是分布式的要求 另一方面是多媒体应用的要求,28,1. 分布式操作系统 与传统的单机操作系统相比，分布式操作系统具有如下特点： （1）进程通信 分布式操作系统中的进程通信要遵照预定协议进行，如TCP/IP协议等。 （2）资源管理 分布式操作系统中的资源管理应采用分布式的管理方式，有分布式集中管理和完全分布式（分散）管理两种。 （3）系统结构 操作系统的核心是内核（Kernel），操作系统由内核和功能模块组成。分布式操作系统有多个内核，系统中每台计算机上配置的功能模块也可以各不相同。,29,2. 多媒体操作系统（自学） 要求既能满足多媒体应用的QoS要求又能进行实时处理，传统的操作系统不能适应这些需要。 （1）传统操作系统的不适应性 CPU调度算法不适应 内存管理不适应 I/O总线管理不适应 文件系统不适应,30,（2）多媒体操作系统 是建立在各种多媒体硬件设备驱动程序之上的一个多媒体核心系统，通常它是一种具有图形和声像功能的用户接口、能驱动和控制多媒体硬件设备、进行实时任务调度、转换多媒体数据、实现同步控制和支持连续媒体的文件系统。 CPU管理：采用各种实时任务调度算法 内存管理：目前有多种方法但都不太完善 I/O管理：重点在于提高I/O子系统的吞吐量以保证多媒 体数据的实时性。 文件系统管理：将一个多媒体的场景组合成树状结构，树的节点表示媒体间的时域关系，树叶表示具体媒体、用户输入或时延。复杂场景的表示还有待于研究。,31,7.2.3 分布式多媒体系统的终端设备 1多媒体终端硬件形式 目前常用的多媒体终端可以分为两种形式：一种是对通用计算机加以扩充，使其具备集成化、交互性的同步处理能力，从而构成多媒体计算机终端；另一种是采用特定的软硬件设备制作而成的针对某种具体应用的专用设备，如机顶盒、多媒体会议终端和可视电话等。,32,（1）多媒体计算机终端 以传统的计算机为核心向外扩充了多媒体输入输出、多媒体信息处理和通信接口等功能的终端。 一个典型的多媒体计算机终端由微机平台和多媒体两部分组成。如图7-5所示。这样的终端进行不同的配置就可以作为可视电话、会议电视等终端实现视频、音频、文本等通信功能。,33,图7-5 多媒体计算机终端的构成,34,（2）机顶盒 机顶盒一般具有如下功能： 通信功能：用户终端-信息中心 采用不对称双向传输方式 人机交互控制功能：通过遥控器实现 信号解码功能：必须支持MPEG-1、MPEG-2音视频信 息解码，根据需要还可支持JPEG、 H.261、H.263、MPEG-4等标准。 信息显示功能：应具备VGA和视频输出接口，能显示 菜单、静止图像及图标、网页等信 息。,35,2多媒体终端外部设备接口 随着计算机技术和多媒体技术的迅速发展，多媒体终端设备，尤其是多媒体计算机终端为了扩展其功能所接入的外围设备越来越多，并且向微型化、智能化、多功能化方向发展，可见原有的计算机外设接口越来越不能满足人们的需要。 （1）USB USB是Universal Serial Bus的简称，译为通用串行总线。USB2.0规范支持480Mbit/s的高速数据传输。支持热插拔。 USB是典型的软硬件结合系统，通过软硬件的相互支持可实现USB的协议功能。 USB系统硬件结构 USB系统软件结构,36,图7-6 USB系统结构,37, USB通信机制（自学）,图7-7 USB连线,图7-8 USB系统软件结构,38, USB接口特点 单一接口类型 热插拔 独立供电 支持多设备连接,39,（2）IEEE-1394接口 IEEE-1394是一种高速串行总线标准，最早是由APPLE公司提出的，并称之为FireWire(火线)，后被国际电工委员会统一为IEEE-1394标准。支持400Mbit/s或3.2Gbit/s的传输速率。支持热插拔。,40,USB与IEEE-1394的不同点：,41,3多媒体终端的相关标准 遵循ITU-T的H系列建议： H.320 N-ISDN视听业务标准 H.310/H.321 ATM视听业务标准 H.322/H.323 局域网视听业务标准 H.324 公用电话网视听业务标准,42,7.2.4 分布式多媒体系统的媒体服务器 从上面的讨论可知，在分布式多媒体系统中普遍采用的服务模型是客户/服务器模型。其中服务器起着非常重要的作用，它是一种高集成度的音视频处理器，能够提供音视频的多媒体服务，因此这种服务器就是媒体服务器。,43,1媒体服务器的分布式体系结构 媒体服务器可以基于一台通用计算机，或一台高级工作站，或者基于一个专用的硬件平台。而在分布式多媒体系统中，媒体服务器可以采用分布式层次结构，将媒体服务器的功能分布在网络中的若干台计算机中，由若干台计算机分别承担一部分功能以解决媒体服务器的存储负担和输入输出的负担，使得低端计算机也能够通过作为服务器网络的一个节点，与其它计算机节点联合起来提供高质量的服务。,44,图7-9 分布式媒体服务器体系结构,45,图7-10 层次化的分布式媒体服务器体系结构,46,2媒体服务器涉及的关键问题 媒体服务器通常采用PC机，其数据存储在硬盘中，媒 体服务器首先根据某个多媒体数据的特点，将它分成适当 大小的块存储在磁盘的各个区域中，为了保证连续媒体流 实时地被用户播放，媒体服务器必须要在一个限定的时间 内完成数据的读取。读取数据的时间与磁头定位到磁盘中 的某一数据块位置所需要的时间有关，即磁头的寻道时间 和划分的数据块大小有关。下面我们从三个方面对相关的 技术进行讨论。,47,（1）数据块 若干个多媒体数据帧构成的数据组称为数据块，从磁盘中读取数据时是以块为单位的，而不是以帧为单位，从而减少了磁头的寻道次数，进而从整体上减少了寻道时间。块的尺寸越长，总的寻道时间就越短，但是，大数据块需要大的缓冲区来装载。 （2）数据布置 根据多媒体数据的不同特点，将分成的数据块按照一定规则放置在磁盘的若干区域中。当在某一时间段内读取数据时，磁头在同一区域移动，就可读取所需要的数据块内容，减少了磁头移动时间。 （3）磁盘调度技术 是指磁头在不同磁道间移动时所采用的调度算法，是以快速读取数据以保证实时QoS要求为目标设计的。,48,7.3 流媒体技术,7.3.1 流媒体概述 1流媒体的概念 网络上多媒体信息的传输目前主要有下载和流式传 输两种方式。流式传输时，多媒体数据流由服务器向用户计算机连续、实时地传送，用户不必等到整个文件全部下载完毕，而只需经过很短的启动延时即可进行播放。流媒体实现的关键技术就是流式传输。 一般来说，流媒体（Streming Media）是指在 Internet/Intranet中使用流式技术进行传输的连续时 基媒体，如音视频等多媒体内容。,49,其中“流式（Streming）”技术是指在媒体传输过程中，服 务器将多媒体文件压缩解析成多个压缩包后放在IP网上按顺序 传输，客户端（通常是指PC机）则开辟一块一定大小的缓冲 区（计算机内存中用于临时存放数据的存储块）来接收压缩 包，缓冲区被充满只需几秒钟或数十秒钟的时间，之后客户就 可以解压缩缓冲区中的数据并开始播放其中的内容，客户在消 耗掉缓冲区内数据的同时，下载后续的压缩包到空出的缓冲区 空间中，从而实现了边下载边播放的流式传输。可见，流式媒 体在播放前并不下载整个文件，只将开始部分内容存入数据缓 冲区，流式媒体的数据流随时传送随时播放，只是在开始时有 一些延迟。就如农民为庄稼浇水时，并不是把从水渠流来的水 收集在一起后再行灌溉，而是渠水来一些就灌溉一些。,50,与传统的媒体技术相比，流媒体具有如下特点： (1) 流媒体是实时的，当用户下载媒体文件时，不需要像传统的播放技术那样将整个文件都下载下来之后再播放，而是边下载边播放，从而不仅节省了用户端的缓冲区容量，还大大减少了用户的等待时间。 (2) 流媒体数据在播放后即被丢弃，不会存储在用户的计算机上，便于流媒体文件的版权保护。 (3) 流媒体的服务器支持用户端对流媒体进行VCR（录像机）操作控制，即用户可以像使用家用录像机一样对流媒体进行播放、暂停、快进、快退、停止等操作。,51,2流媒体的播放方式 （1）单播 客户端和媒体服务器之间是点到点连接，媒体服务器为每一提出请求的客户端单独发送一条媒体流，这种播放方式称为单播。 一种单点到单点的数据传输模式 最常见的Internet通信方式：HTTP、FTP 缺点：多用户请求时，需要发送多个拷贝，网络利用率低 （2）组播 媒体服务器只需发送一条媒体流，之后通过组播转发树再复制并转发该媒体流，使网络中的所有客户端共享同一流，这种播放方式称为组播。,52,（3）点播和广播 点播同单播，但点播连接时，用户可以对流进行开始、暂 停、后退等VCR操作。 广播是指服务器将一条媒体流向网络中的所有用户发布， 用户只能被动接收，并且不能通过VCR操作来控制流。 是一种一点到所有主机的数据传输模式。 优点：效率高 缺点：盲目性 当大量用户同时访问VOD系统时，可将同一节目合 并，并通过组播或广播通道传输媒体流. 这也是流媒体调度技术的基础,53,3流媒体的传输过程 流媒体系统应至少包括以下三个组件： （1）编码器（Encoder） 它是用于将原始音视频转换成流媒体格式的软件或硬件。 流式文件的压缩编码过程如图7-11所示。 到目前为止，Internet上使用较多的流媒体文件格式主要有*.WMA,*.WMV,*.AVI,*.RM,*.MP3，*.MOV