多媒体技术(之一)

1、李 晶L多媒体技术 武汉大学计算机学院 多媒体课程讲义 本课程是计算机科学与技术专业的专业课。本课程综合讲述了多媒体计算机的基本原理、关键技术及其开发和应用。主要内容：多媒体通信的定义及其关键技术；多媒体技术的计算机网络基础；视频音频信息的获取与处理；视频音频数据压缩编码技术；多媒体通信系统；流媒体技术；多媒体数据库及检索；VoIP技术原理及其应用。通过学习这些内容，为学生今后开展多媒体通信和信息处理及相关领域的研究和开发工作，打下良好的基础。 。课程的性质和任务教学基本目标基本内容熟练使用多媒体通信和信息处理及相关领域的研究和开发工作 业余上机动手实验？选择部分同学掌握相关标准多媒体的应用开

2、发仿真实验教学的境界：传道、授业、解惑学习的境界：能力、专业、背诵品位、素质使用的教材和主要参考书 教材： 新一代多媒体技术与应用，曹加恒,李晶等，武汉大学出版社。 参考书： IP网络多媒体技术，黄永峰等，人民邮电出版社。 有关多媒体技术基础、相关标准和源码分析的书。课程内容、基本要求多媒体技术概述： 多媒体技术的概念、特征与业务分类 ；多媒体技术研究的主要内容 ；多媒体通信发展的历史与宽带通信技术引发的革命 ；多媒体技术发展的历史机遇 。多媒体网络通信基础 ：IP网络的基本概念；IP网络的QOS技术；网络通信的分层模型 ； TCP流量控制和Qos。 视频数据压缩编码技术 ： 多媒体数据压缩编

3、码的重要性和分类； 量化； 统计编码；变换编码；图像压缩编码的国际标准 。音频编码原理 ：语音信号产生的数字模型 ；语音信号编码 ；语音信号编码的策略与要求 ；常用的语音编码技术 ；IP网络的音频编码标准与国际标准组织 。课程内容、基本要求(1)5. 流媒体技术 ：流媒体的概念 ；RTSP协议的体系结构 ；流媒体系统的结构 。6. 多媒体数据库技术 ：多媒体数据库及基于内容检索 ；多媒体数据库管理系统的体系结构；多媒体数据的组织与管理 ； MPEG7 ； 图象、视频的检索与分析方法 。7. 超媒体与Web系统 ：超文本和超媒体存在的问题和发展前景；HTML ；XML ；HTTP协议 。8. V

4、OIP ：多媒体会议系统 ； H.323 协议的结构 ；Sip协议的结构 ；视频混合，音频混合 。第1章 多媒体概述概述媒体的基本概念多媒体技术的产生与发展 多媒体技术研究的主要内容 本章要点1.1 什么是 媒体和多媒体？ 1.1.1 媒体 所谓媒体，就是指承载信息的载体。按照ITU-T建议的定义，媒体主要有一下五种形式：感觉媒体、表示媒体、显示媒体、存储媒体和传输媒体。 感觉媒体：用户接触信息的感觉形式，如视觉、听觉和触觉等。表示媒体：是信息的表现形式，如图象、声音、视频、运动模式等。显示媒体：也称表现媒体，是表现和获取信息的物理设备，如显示器、 打印机、扬声器等存储媒体：是存储数据的物理设

5、备，如磁盘、光盘等。传输媒体：是传输数据的物理设备，如光缆、电缆、电磁波、交换设备 等。 1.1.2 多媒体 多媒体，从表面上讲，就是“多种媒体的综合”，相关的技术也就是“怎么样进行多种媒体综合技术”。多媒体技术概括的讲，就是能够对多种媒体信息进行综合的处理技术。所以多媒体技术可以定义为：以数字化为基础，能够对多种媒体信息进行采集、编码、存储、传输、处理和表现，综合处理多种媒体信息并使之建立起来有机的逻辑联系，集成为一个系统并具有良好交互性的技术。等。 很多人都把多媒体看成是计算机的一个分支，实际上是不科学的。多媒体技术以数字化为基础，注定要和计算机密切结合，甚至可以说要以计算机为基础，但它包

6、括的很多内容都不属于计算机技术的范畴，例如电视技术、广播通信技术等。一般来说，多媒体是一个很大的领域，指的是和信息有关的所有技术与方法进一步发展的领域。所以说，要对多媒体有更准确的理解，更多的是要从它的关键特性上去考虑。 1.1.3 多媒体的关键特性 主要包括信息载体的多样性、交互性和集成性这3个方面，这就是多媒体的主要特征。也是多媒体研究中，必须解决的问题 。多样性 就是指信息媒体的多样化，也称为信息多维化。交互性 多媒体的第二个关键特性就是交互性。在大多数情况下，我们接受信息是被动的，如看电视，听广播等。多媒体系统向用户提供交互使用、加工和控制信息的手段，为应用开发开辟了更加广阔的空间领域

7、，也为用户提供更加自然的信息手段。 集成性 多媒体的集成性主要表现在两个方面，既多媒体信息的集成，处理这些媒体的设备与设施的集成。多媒体是技术与应用发展的必然多媒体改善了人类信息的交流 多媒体缩短了人类传递信息的路径 1.2 多媒体技术的产生与发展 多媒体技术的概念起源与80年代，发展起来是90年代，它不是新的技术发明，从某种意义上讲，它是信息技术与应用发展的必然。多媒体是在计算机技术、通讯网络技术、大众传播技术等现代技术不断进步的条件下，有多学科不断融合、相互促进而产生的。 进入90年代以来，由于“信息高速公路”计划的兴起，Internet的广泛使用，刺激了多媒体信息产业的发展和网络互连的需

8、求，在全球掀起了一股家电行业、有线电视网、娱乐行业、计算机工业及通信业的相互兼并、联合建网的浪潮，从而使得90年代被称为“多媒体时代”。计算机、通信、家电和娱乐业的大规模联合，造就了新的一代的信息领域，产生了崭新的信息社会的概念，也创造了无穷的机遇和潜在的市场 1.2.1 多媒体是技术与应用发展的必然 计算机和其他信息机器的发展使得人类的信息处理手段得到加强，高速的计算能力扩展了对数据重复计算能力，大规模的存储开展了记忆信息的范围，高速通信网使得我们可以和其他人进行快速的信息交换。但计算机缺少人的视觉、听觉和触觉、味觉、嗅觉的能力，无法从自然界自由的收集信息和表达各种信息，计算机又成为在信息交

9、流中的一道深深的鸿沟。人们如果借助机器，就必须要忍受交互过程中信息的转换和变态。为了消除这些遗憾，多媒体的目标也是如此。1.2.2 多媒体改善了人类信息的交流 信息的巨大物化力量主要表现在信息的共享特性上。当人们真正认识到信息共享上开展信息技术研究的首要任务之后，就必须研究和探索什么是表示、传送和处理信息的教好途径。比较理想的途径应是能较完整的传递概念，能以符合人类的认识过程的方式加工概念的方法，从而使得完成某个智力任务的行为过程得到教大的改善。1.2.3 多媒体缩短了人类传递信息的路径 可以认为多媒体技术是一个技术时代，需要研究的内容几乎遍及所有与信息相关的领域。多媒体的研究一般分为两个主要

10、方面。一是多媒体技术，主要关心基本技术层的内容；而是多媒体系统，主要重心在多媒体系统的构成与实现。他们也不是截然分开的。只是重点不同而已 13 多媒体技术研究的主要内容多媒体技术基础 多媒体软硬件平台技术多媒体操作系统 多媒体信息管理技术 多媒体通信与分布式应用技术 多媒体技术发展的新颖技术 13 多媒体技术研究的主要内容（1） 研究多媒体首先研究媒体。媒体是传播信息的载体，首先就要研究媒体的性质与相应的处理方法。传统的媒体形式对计算机来说主要是文字和数值，但人类更加熟悉的是图形、图象和声音。媒体对人类来说，不仅是表示与表达的问题。在很大的程度上与人类知觉有关，与心理学的有关。也就是说从心理学

11、的角度搞清人类的视觉、听觉的特性将对媒体的处理会产生什么样的影响。人类的另一个重要的感觉是触觉，在交互性上达到更高的程度，触觉就不必不可缺少了。人类的不同感觉实际上是在同时工作的，每一种感觉之间也会相互影响，产生感觉相乘的效应，加强感觉效果。对每一种媒体的采集、存储、传输和处理就是多媒体系统的首要工作。 131 多媒体技术基础 关于多媒体的另一个技术基础是数据压缩。众所周知，各种媒体数据之间具有很大的差别。文本数据即使是非常复杂的数据格式，它的数据量也是比较小的，而基于时间类的媒体，特别是高质量的视频媒体，哪怕很短的时间都会占用很大数据量。尽管我们的存储设备已经有了很大的存储容量，通信网络已经

12、具有很大的带宽，但采用相应的压缩技术对媒体进行压缩，还是多媒体数据处理的必要基础。数据压缩技术、或者数据编码技术，不仅可以减少媒体的占用空间，也可以减少传输时间。131 多媒体技术基础 （1） 各种多媒体数据之间的差异巨大，数据量巨大，且种类繁多。如果没有数据压缩技术的进步，就不可能实现多媒体数据的存储和传输。数据的压缩理论基础是仙农Shannon的信息论，主要是基于某种统计模型来描述信源。数据压缩的发展是以Shannon的信息论为出发点，并不断克服其缺陷的过程。压缩方法可为两个层次： 基于数据统计，去掉数据冗余，属于低层压缩； 基于模型压缩，去掉内容上的冗余，属于中高层压缩。多媒体数据压缩标

13、准，随着压缩方法的不断推进，同时自身也在不断的完善与发展。131 多媒体技术基础 （2）视频压缩标准 MPEG-1 运动图像压缩的MPEG-1标准称为运动图像和伴随声音的编码，用于码率大约在1.5Mbit/s以下的数字存储媒体。主要用于多媒体存储与再现，如VCD等。该草案于1991年11月完成，1992年正式通过。 MPEG-2 继MPEG-1之后，MPEG制定的又一压缩标准。它适用更广的的应用领域，主要是数字存储媒体、广播电视和通信。131 多媒体技术基础 （3）视频压缩标准 MPEG-4 1994年MPEG正式开始制定MPEG-4标准，于1998年11月发布MPEG-4视频国际标准草案。针

14、对多媒体应用，对可移动性的编码码率为564kbit/s，对影视应用的最高码率可达2Mbit/s。MPEG-4标准引入了视频对象（VO）的概念，把视频流中的每一帧分割为任意区域，然后对它们分别进行编码。该标准是一个开放、灵活、可扩展的结构形式，随时可以加入新的算法，并根据应用要求来配置解码器。131 多媒体技术基础 （4）视频压缩标准 MPEG-7 MPEG-7标准又称为多媒体内容描述接口，规定了一套可用于描述各种多媒体信息的描述符的标准。这些描述与多媒体信息的内容一起，将支持用户对感兴趣的内容进行快速、有效的检索。 H系列的标准 H系列的标准主要包括H.261、H.263、H.263+、H.2

15、64。131 多媒体技术基础 （5）音频压缩标准 G.711 1972年国际电报电话咨询委员会CCITT为电话质量和语音压缩制定了脉码调制PCM标准G.711。其码率为64kbit/s，使用率和A率的非线性量化技术，主要应用于公共电话网。 G.722 1988年CCITT为广播质量的音频信号制定的标准，使用子带编码。它将224kbit/s的调幅广播质量的音频数据压缩到64kbit/s，主要用于视听多媒体和会议电视等。131 多媒体技术基础 （6）音频压缩标准 G.723 1996年ITU-T通过了G.723标准。主要用于多媒体传输的5.3kbit/s或6.4kbit/s双码率语音编码。应用于可

16、视电话、IP电话等。 G.728 1992年CCITT为了进一步降低压缩码率，指定了G.728标准。其码率为16kbit/s，主要用于公共电话。 G.729.A 1996年3月ITU-T通过了G.729.A标准，使用8kbit/s的共轭结构代数码本激励线性预测（CS-ACELP）算法，主要用于无线移动网、数字多路复用系统和计算机通信系统的应用。131 多媒体技术基础 （7） 多媒体软件是多媒体系统的灵魂。多媒体涉及到各种各样的硬件，要处理各种各样的多媒体数据，如何将不同的硬件组合在一起，使得用户方便使用多媒体数据，这些工作都必须由多媒体软件完成。1. 硬件平台技术 硬件平台是实现多媒体系统的物

17、质基础，它的每一项相关技术的突破，都影响着多媒体的发展和应用进程。例如，大容量的光盘、数字视频交互卡DVI等直接推动了多媒体技术的发展。可见输入、输出、处理和存储等，都是多媒体需要研究的内容。132 多媒体软硬件平台技术 各种多媒体的外部设备现在都成为了标准配置，如光盘驱动器、声音适配器、图形显示卡等。特别是现代计算机的CPU中都增加了多媒体处理的指令体系，完成许多过去难以完成的工作。扫描仪、机顶盒、数码相机等各种多媒体外部设备，越来越普遍。 目前，多媒体正在向更复杂的应用系统发展，例如视频点播、虚拟现实系统等硬件平台也是越来越复杂。132 多媒体软硬件平台技术(1)2软件平台技术 多媒体软件

18、是多媒体系统的灵魂。多媒体涉及到各种各样的硬件，要处理各种各样的多媒体数据，如何将不同的硬件组合在一起，使得用户方便使用多媒体数据，这些工作都必须由多媒体软件来完成。 多媒体软件常常要反映多媒体技术的特有内容。如多媒体操作系统，多媒体数据压缩软件，各种硬件的接口驱动程序，各种多媒体应用软件等。多媒体软件可划分为五类4个层次：驱动程序、多媒体操作系统、多媒体数据准备软件、多媒体创作软件和多媒体应用软件，如图1.1所示。132 多媒体软硬件平台技术(2)132 多媒体软硬件平台技术(3)3多媒体驱动软件 多媒体软件中直接和硬件打交道的软件是多媒体驱动程序。它完成设备的初始化，各种设备操作以及设备的

19、打开、关闭，各种硬件功能调用等。多媒体创作工具软件 多媒体创作工具软件是多媒体专业人员在多媒体操作系统之上开发的，供特定应用领域的专业人员组织编排多媒体数据，并把它们联接成完整的多媒体应用系统工具。5. 多媒体应用系统软件 多媒体应用是在多媒体软硬件平台上设计开发的面向应用的软件系统。目前，多媒体应用软件种类非常多，既有可以广泛使用的应用软件，如多媒体数据库系统等，也有终端用户的应用软件。 132 多媒体软硬件平台技术(4)133 多媒体操作系统 多媒体操作系统MOS是多媒体的核心系统。主要完成实时任务调度、多媒体数据转换和同步控制机制，对各种设备的驱动和控制，以及具有图形化的用户接口等。主要

20、有：Microsoft公司的Windows系列的操作系统；Apple公司的System7.0中提供Quick Time多媒体操作平台等。133 多媒体操作系统 (1) 多媒体操作系统是多媒体的操作基本环境。一个系统是多媒体的，其操作系统必然是多媒体的。但是，将计算机的操作系统转变为能够处理多媒体信息，并不是简单的增加一些设备的驱动接口。其中基于时间媒体的处理，是整个处理的关键。 媒体是承载信息的载体，而空间和时间则是信息表现与交互的舞台。研究媒体的时间和空间的特性与相应处理的方法，必须要考虑基于时间的连续特性，这是研究多媒体的关键。 多媒体系统设计必须完成的各种要求有：多媒体系统必须能够支持时

21、间上的时限要求，支持对系统资源的合理分配，支持对多媒体设备管理和处理，支持应用对系统提出复杂的信息连接要求，支持系统管理等。1.3.4 多媒体信息管理技术 信息及数据管理是信息系统的核心问题之一。在当今信息爆炸的时代，数据量非常巨大，基本上是海量的，但从这些巨大的数据中检索出有用的信息是非常困难的，特别是多媒体数据的引入，网络化的发展，使得这种状况更加凸现。 多媒体数据量巨大，种类繁多，每种媒体之间的差别又十分明显，而且这些信息之间又存在多种关联，因此，它们都给数据和信息的管理带来了新的问题。如何组织和管理这些数据？如何从各种各样数据中找出所需要信息？如何表现这些多媒体信息？这些都是传统的数据

22、库理论与方法均没有很好解决的问题。1.3.4 多媒体信息管理技术 (1) 传统的数据库从理论和方法都成功的解决了结构化数据的管理问题，但是它们在处理非结构化数据方面却显得力不从心，特别是处理多媒体数据更是如此。处理多媒体数据主要的方法有：一是对关系型数据库进行扩展；二是建立面向对象数据库系统，以存储和检索特定信息。新型管理系统的研究从而解决能同时管理结构化数据和非结构化数据。1.3.4 多媒体信息管理技术 (2) 超媒体是一种新型的信息管理方法，又称为天然的多媒体信息管理方法，一般采用面向对象的信息组织与管理形式。由于多媒体各个信息单元可能具有与其它信息单元的联系，这种联系经常确定信息之间的相

23、互关系。因此，将各个信息单元组成信息节点和各种不同的链构成的网，即是超媒体信息网。超媒体中信息的组织不是线性的，而是按某种方式以非线性的形式进行存储、管理和浏览。超媒体经过多年的研究，在因特网中得到广泛应用和很大的扩展。它带来的不仅仅是超媒体领域的内容，更多的是对信息管理方面产生的巨大变革。135 多媒体通信与分布式应用技术 单机系统的多媒体技术研究目前已相对成熟，但基于计算机网络的多媒体系统还有待进一步研究。除了一些简单的多媒体系统是单机的，大部分多媒体系统都是基于网络的分布式应用系统。 多媒体技术要充分发展对多媒体信息的处理能力，必须与网络技术相结合。多媒体通信网络系统为多媒体应用系统，提

24、供多媒体通信的手段。多媒体通信网络不仅能够提供快速、高带宽的数据通信，而且能够支持符合多媒体信息特点的通信方式，如实时性要求、同步性要求等。136 多媒体技术发展的新颖技术 科学技术的飞速发展使信息社会产生日新月异的变化，为了更好地处理这些信息,产生了许多新的多媒体技术。例如，流媒体技术，虚拟现实技术，影视制作技术，多媒体数字水印技术，多媒体数据挖掘技术和跨媒体技术。1. 流媒体技术 流媒体简单来说就是应用流技术在网络上传输多媒体文件。流技术就是把连续的视频和音频等多媒体文件经过压缩处理后放到网络服务器上，让用户边下载边观看，而不是需要将整个文件都下载完才能观看的网络技术。 流式传输目前定义很

25、广泛，现在主要是指通过网络传送媒体（音频、视频）的技术总称。其特定含义为通过因特网将影视节目传送到PC机。136 多媒体技术发展的新颖技术(1) 2. 影视制作及动画平台技术 影视艺术中的影视制作技术是目前十分热门的多媒体技术,涉及通信存储的传输压缩和多媒体数据库等技术。多媒体数据量巨大，使得实时采集、实时压缩传输和实时编辑的实时性，成为该领域的研究重点，而国内目前尚无这些技术芯片。 动画是一种文化，又是一个发展潜力巨大的新兴产业。计算机动画制作技术的发展给影视制作带来一场革命。动画制作研究的主要内容有：运动控制方法，动画描述模型和动画语言、中间画面自动生成，物体造型、动画绘制等等。特别是需要

26、创新研究动画矢量获取的关键设备技术、关键帧建模技术和中间件自动生成等技术。136 多媒体技术发展的新颖技术(2) 3. 虚拟现实技术 虚拟现实简称VR,它是计算机与用户之间的一种更为理想化的人机界面形式。VR是近几年来国内外科技界关注的一个热点，其发展也是日新月异。VR技术是借助于计算机技术及硬件设备，实现一种人们可以通过视听触嗅等手段所感受到的虚拟幻景。VR系统有三个重要特征：临境性，交互性，想像性。VR是一门多学科的交叉学科涉及心理学、控制学、计算机图形学、数据库技术、实时分布系统、电子学、机器人及多媒体技术。 VR技术的应用很广，诸如国防、建筑设计、工业设计、培训、医学领域。 136 多

27、媒体技术发展的新颖技术(3) 4. 多媒体数字水印技术 随着信息时代的到来，特别是因特网的普及，信息的安全保护问题日益突出。当前的信息安全技术基本上都是以密码理论为基础，无论是采用传统的密钥系统还是公钥系统，其保护方式都是控制文件的存取，即将文件加密成密文，使非法用户不能解读。随着计算机处理能力的快速提高，这种通过不断增加密钥来提高密级的方法变得越来越不安全。 多媒体技术的广泛应用，使得需要进行加密、认证和版权保护的声像数据也越来越多。如果采用传统的加密方式，其信号的属性就被忽略。所以许多研究人员尝试用各种信号处理方法对声像数据进行隐藏加密，并将该技术用于制作多媒体的“数字水印”。 136 多

28、媒体技术发展的新颖技术(4) 4. 多媒体数字水印技术 数字水印技术是指用信号处理方法，在数字化的多媒体数据中嵌入隐藏的标记，这种标记通常是不可见的，只有通过专用的检测器或阅读器才能提取。数字水印是信息隐藏技术的一个重要的研究方向。数字水印的特征有：隐藏性、隐藏位置的安全性和鲁棒性等。 目前数字水印应用领域主要有：数字作品的知识产权保护，商务交易中的票据防伪，声像数据的隐藏标识和篡改提示，隐藏通信及其对抗等等。 136 多媒体技术发展的新颖技术(5) 5. 多媒体数据挖掘系统 随着信息技术的速猛发展，现在可以从因特网、数字图书馆、数字出版物中获得越来越多的多媒体数据。对于多媒体数据，过去大量的

29、研究主要集中在基于内容的信息检索方面，在某种程度上解决了信息搜索和信息资源发现的问题。但是人们不满足信息存取这个层次，因为信息检索只能获取用户要求的相关信息，而不能从大量多媒体数据中找出和分析出蕴含的有价值的知识。为此，需要研究比多媒体信息检索更高层次的新方法，也就是多媒体数据挖掘。 数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用中，提取隐含在其中的、人们事先不知道的、但又是潜在的有用的信息和知识的过程。多媒体数据挖掘就是从大量多媒体数据中，通过综合分析视听特性和语义，发现隐含的、有效的、有价值的、可理解的模式，进而发现知识，得出事件的趋向和关联，为用户提供问题求解层次的决策支

30、持能力。 136 多媒体技术发展的新颖技术(6) 6. 跨媒体技术 跨媒体技术是建立在多媒体及技术基础上，寻求平面媒体和立媒体与网络媒体相结合的多媒体资源整合，信息融合，共存于一体；最大限度获取不同媒体间的关联性和协同效应、互补性和多维互动性；从而达到需求的识别、检索、发布以及发现重构，共生新用等，高效使用各种媒体。 跨媒体涉及学科交叉的研究，目前存在的主要技术难点有：跨媒体知识的发现与表达技术；跨媒体信息的融合、识别技术；各种媒体特别是视频、动画等复杂媒体的信息挖掘、智能处理与高效检索技术；跨媒体海量的综合信息的检索。跨媒体技术将会在许多领域得到重要的广泛应用。 14 多媒体计算机组成 多媒

31、体计算机是指能够综合处理文本、图形、图像、音频和视频等信息的计算机。特别视频、音频的数据量巨大，对计算机的处理速度有较高的要求。随着芯片技术的发展，多媒体计算机处理速度也得到了很大的提高。 多媒体计算机基本的硬件结构，主要包括功能强大的CPU，大容量的存储空间，高分辨率的显示接口和设备，音频接口和相应的设备，视频接口和相应的设备等。14 多媒体计算机组成 (1)一种典型的多媒体计算机配置的多媒体设备有： 光盘驱动器:因为光存储设备对存储巨大的多媒体数据是非常重要的。 音频卡:连接音频输入输出设备，如音乐数字接口MIDI合成器、耳机、话筒、杨声器等，数字音频处理的支持是多媒体计算机的重要方面。

32、视频卡:连接VCR、摄像机、电视等设备，以便能够获取、处理和表现各种数字化的视频媒体。14 多媒体计算机组成 (3) 扫描卡:连接各种图像扫描仪。 交互式控制接口:连接触摸屏、鼠标、光笔等人机交互设备，这些设备对多媒体计算机来说是非常重要的。 网络接口:它是实现体多媒体通信重要设备，通过网络接口能够发送多媒体数据和接收多媒体数据。 打印机接口:用来连接各种打印机，是多媒体计算机输出设备。 图形加速卡:是处理和表现多媒体数据的重要设备。多媒体计算机技术发展趋势是将上述功能卡和接口，逐步集成到芯片和主板上，成为计算机的必备功能。图1-2是多媒体计算机的硬件环境。14 多媒体计算机组成 (4)15

33、多媒体技术的应用 多媒体技术的发展日新月异，产品更新换代层出不穷。多媒体技术及应用几乎覆盖整个计算机应用大部分领域，而且和人类的生活、娱乐、学习等都密切相关。多媒体技术主要特点是改变传统人机交互方式，更加接近自然信息交流的方式。主要应用包括6个方面。1.计算机辅助教学CAI 利用多媒体技术辅助教学、开展培训，内容直观生动、活泼，给培训对象印象深刻，教学效果好。特别是多媒体技术和通信技术的结合，开展远程教学，使教育走出课堂，进入其它场所，可以使教育无处不在。15 多媒体技术的应用(1) 2娱乐和游戏 计算机应用的一个主要方面是游戏产品和影视作品的开发与制作。历史与现实均已证明，凡是能够进入家庭的

34、产品，都有巨大的市场。例如，日本和韩国的游戏和娱乐产品带来的利润，基本上和他们的汽车工业所带来的利润相当。特别是多媒体技术的虚拟现实技术和计算机网络技术的结合，使网络游戏得到迅速的发展，潜在的市场是非常巨大的。15 多媒体技术的应用(2) 3管理信息系统和办公自动化 目前的管理信息系统和办公自动化系，在商业、企业、银行、学校和政府部门都得到了广泛的应用。传统的管理与办公系统使用文本方式，非常单调枯燥。当多媒体技术引入之后，系统能够得到丰富的多媒体信息，使用户的交互方式更加生动活泼，更加自然。 15 多媒体技术的应用(3)4视频会议系统 随着计算机技术、多媒体技术、网络技术的发展，特别是它们之间

35、的结合，使视频会议系统成为计算机应用中一个非常重要的领域。视频会议系统是一种新的以多媒体形式支持多方通信和协同工作的应用系统。与传统电话会议系统相比，它不仅能够传送语音信号，而且还能够传送视频与相关的数据，使与会者具有身临其境的感觉。15 多媒体技术的应用(4)5视频点播 视频点播VOD（Video on Demand）是根据用户自己的需要来点播节目。VOD系统是由分布式环境中具有不同功能的一些子系统组成。主要包括VOD管理工作站，一个或多个控制器和多个数据源。VOD管理工作站完成所有管理功能，控制器完成优化数据流而完成复杂算法，处理类似VCR的用户请求等，数据源提供视频内容的存储和提供高速的

36、数据连接通道。15 多媒体技术的应用(6)6计算机支持协同系统 多媒体通信技术和分布式计算机技术的结合，并结合其它学科（社会学、心理学和编制科学等），产生了一个新的多学科研究领域，即计算机支持协作CSCW（Computer Supported Cooperative Work）。CSCW是支持有着共同目标或共同任务的群体性活动的计算机系统，并且该系统为共享的环境提供接口。CSCW能够支持人们长期梦想的远程协同工作。例如，远程医疗会诊，可以把不同的点的专家召集在一起，同时异地会诊复杂病例；远程著作协同编辑系统，可以把不同的点的编辑组织起来，共同编辑同一部著作。可见，CSCW的应用领域十分广泛。1

37、6 小结 本章简要介绍了多媒体技术中媒体和多媒体技术的定义，多媒体技术的三个关键特性即多样性、交互性和集成性，介绍了多媒体技术的发展过程及多媒体技术给人们的生活方式带来的影响；简述了多媒体技术的主要研究内容及重要标准，多媒体计算机的组成的硬件环境；最后介绍了多媒体技术的几个典型应用系统。作业1.什么是媒体?2.什么是多媒体?多媒体的关键特性包括那些方面?3.简述多媒体技术主要的研究内容。4.举例说明多媒体技术的应用对人类社会的影响。5.多媒体计算机组成的硬件环境包含那些设备?6.你认为新一代多媒体技术与应用主要体现在那些方面?第2章 IP网络的多媒体通信技术 本章要点多媒体通信的发展过程 经济

38、学家康道拉哈夫的景气波动论认为“人类进入工业社会以来，便经历着景气波动，并把这种标志的经济发展情况的景气波动称之为康道拉哈夫浪潮”，人类至今已经历了4这种浪潮。1是由产业革命引起的，2由铁路和钢铁业的发展引起的，3由电力和化工的发展引起的，4由电子和汽车工业引起的。这4次浪潮的时间是17851995年，大约200年。从现在的推动经济回升的是第5次浪潮，它的推动力是Internet和多媒体技术的发展，对应的时间是19952050年。由于通信技术和计算机技术的结合，尤其是Internet技术和多媒体技术的结合，形成了一种新兴产业，既信息产业。信息产业将成为21世纪的带头产业和支柱产业。 多媒体通信

39、是指在一次呼叫过程中能同时提供多种媒体信息（如声音、图形、图象、数据、文本等）新型通信方式多媒体通信的相关技术 多媒体通信是一个伴随着应用要求而不断增长而迅速发展的领域，从而推动多媒体发展的技术因素来看，如果没有在计算机处理能力、存储技术、压缩算法和网络技术等方面的显著进步，就不会有今天的多媒体通信，下就对多媒体通信密切相关的技术进行讨论2.1 多媒体通信的发展过程 通信技术发展的3次革命多媒体通信的发展 基于IP网络的多媒体通信 2.1.1 通信技术发展的3次革命 从1837年莫尔思发明的电报和1867年bell发明电话以来，通信服务经历了一个世纪的展，并已走进了千家万户，成为人们交流不可缺

40、少的工具。通信服务也由传统的电报、电话单一品种扩大到传真、数据通信、图象通信、电视广播、多媒体通信等新型业务；通信技术也日新月异，传播媒介有缆线、无线短波、微波、卫星和光缆；交换设备由机电制布线逻辑方式向计算机程序控制方式方式发展；传播设备由模拟载波向数码脉冲调制方式发展；终端设备机电方式向微处理控制的多功能终端发展；通信方式由人工、半自动向全自动方向发展；通信网由单一的业务往向综合业务方向发展；通信地点由固定向移动发展。通信的发展分为3个阶段，也称为3次革命：2.1.1 通信技术发展的3次革命 （1）第1阶段： 是百年前的电话的问世。电话网是开放电话业务为广大用户服务的通信网络。采用的技术是

41、基于电路交换的通信技术。 第2阶段： 半个世纪前的电视和有线电视网的出现。电视的出现改变了电话网只能传输语音的特点，能作到闻其声，见其人。特别是有限电视网的出现，使视频信号的传输质量和带宽都得到了很大的改善。也使得基于电视的通信技术进入了快速发展阶段，达到了鼎盛时期。 第3阶段： 第3次通信革命是Internet网的迅速崛起所引发的IP通信技术。IP通信技术已开始成为通信舞台上的主角，并与语音通信、视频通信形成新的产业汇集，世界通信网络基础设施就此出现新的层次的突破，一个崭新的通信世界日溅凸现出来，这种新兴的以IP分组交换为核心的通信技术具有以下特点。 2.1.2 多媒体通信的发展 80年代，

42、欧美和日本的计算机公司就开始研究多媒体技术，把技术应用于PC。首先建立了基于局域网的多媒体通信系统，如美国Xerox公司的以太电话，可以说是最早的多媒体通信系统。 进入20世纪90年代，多媒体通信得到长足的发展。国外多媒体通信的研究开发首先是基于窄带综合业务数字网（N-ISDN）,如美国的AT&T,Pacific Bell，奇科和加利福尼亚州立大学（CSUC）与1991年5月开始利用ISDN BRI（基本码率接口）进行多媒体实验，这项实验全面的评价支持远程教育的可行性。 2.1.2 多媒体通信的发展 （1） 目前基于ISDN的多媒体会议电视和多媒体检索业务基本上达到了实用水平。国外宽带多媒体通

43、信仍然处在研究开发、现场实验之中，少数系统进行了小规模商业应用。从1994年7月，日本进行了国家级试验项目B-ISDN，VOD，电子游戏传送点播业务、家庭购物、远程教育、远程医疗、电子图书馆、多媒体会议电视。美国的许多公司也进行了这方面的许多实验。 当前，国外商用多媒体应用市场热点是在多媒体会议电视和多媒体检索业务。2.1.3基于IP网络的多媒体通信 目前基于IP网络的多媒体通信异军突起，发展势头极为迅猛。因特网的web技术也广为使用。随着web技术的发展，特别是java,java Script和plugin技术的不断引入，web系统的能力越来越强，目前世界各国、各大厂商都在研究基于IP的多媒

44、体通信。一些标准化组织，包括ISO，IETF（因特网过程任务组）和ITUT（国际电联电信标准部）也都在积极进行基于多媒体通信的研究，制定相应的标准。 基于IP网络的多媒体通信最具有代表性的业务之一是IP电话，它是近来发展最快的通信业务，也代表未来语音通信的发展趋势。另一种具有代表性的业务是视频点播（VOD），这个业务被认为是宽带业务中一种具有代表性的业务，在各国的B-ISDN实验网中几乎无例外地引入了这一种业务。这项业务目前在IP网上已能很好地开放，国内已有这样的设备。 基于IP网络的另一类多媒体通信业务是多媒体会议系统。由于多媒体会议系统要求的实时性是最高的，特别是在会议中的对话，因而以前会

45、议通常在电路交换网络中实现。近年来基于IP网的多媒体会议业务有了突破性的进展，H.323标准的制定，以及与H.323标准相关联的SIP的提出，特别是基于IP网络的特殊性，要求图象编码和语音编码尺度可变而提出了H.263和G.729等标准，使得IP网络上的多媒体会议业务可以很好的进行。 2.2 多媒体通信的相关技术 多媒体通信是一个伴随着应用要求而不断增长而迅速发展的领域，从而推动多媒体发展的技术因素来看，如果没有在计算机处理能力、存储技术、压缩算法和网络技术等方面的显著进步，就不会有今天的多媒体通信，下就对多媒体通信密切相关的技术进行讨论.压缩技术 媒体同步技术 终端技术 网络技术 2.2.1

46、 压缩技术 1. 视频压缩编码标准 视频是多媒体通信中最重要的媒体之一，由于视频的信息量非常大（尤其是数字化后，例如，按CCIR601建议，广播质量的数字视频码率为216Mbit/s，而高清晰电视（HDTV）则在1.2Gbit/s，如果没有高效的压缩技术，是无法传输和存储的。目前，ISO和ITU-T 正式公布的视频编码标准中，有MPEG系列和H.26x系列建议。2.2.1 压缩技术 (2)2. 音频压缩编码标准及应用 G7.11是1972年为电话质量和语音压缩制定了PCM标准。起码率为64kbit/s，主要用于公共电话网。1988年CCITT为调幅广播质量的音频信号压缩制定了G。722标准，它

47、使用子带编码（SBC）方案，其滤波器组将输入信号分成高低两个子带信号，然后分别使用ADPCM进行编码。G。722能够将224kbit/s的调幅广播质量的音频信号压缩为64kbit/s，主要用于视听多媒体和会议电视等。G.723.1，1996年ITU-T通过了G。723标准“用于多媒体传输的5。3kbit/s或6。3kbit/s的双码率话音编码”G.728，为了进一步降低的码率，CCITT于1972年制定了G。728标准，使用基于低时延码本激励预测（LD-CELP）编码算法，其码率为16kbit/s，主要用于公共电话网中。G。729A标准，它使用8kbit/s的共轭结构代数激励线性预测（CS-A

48、CELP）算法，此标准将在无线移动网、数字多路复用系统和计算机通信系统中应用.2.2.1 压缩技术 (3)3.多媒体编码的发展方向 压缩编码的理论是仙农信息论，它是基于某种统计概率模型来描述信源。但仙农信息伦有两个严重缺陷：第一，未考虑信息的接受者的主观特性和主观意义：第二，撇开了事件本事的具体含义、重要程度和引起的后果。压缩编码的发展历程就是以仙农信息论为出发点，并不断的克服其缺陷的过程，压缩编码方法可分为如下两个层次：第一代：基于数据统计（去调数据冗余）低层。第二代：基于模型（去调内容上的冗余），物体基（object-based）中层；语义基高层。 MPEG组织在了解到实际应用的需要和压缩

49、编码的发展潮流，已制定MENG-4标准，目前并在制定MPEG-7标准。 2.2.2 媒体同步技术 在多媒体系统中，通常利用多媒体从不同角度从不同侧面表现一个主题，此时不同媒体之间就存在同步问题，例如，视频播放时，伴音应和口型相吻合等。同步是多媒体系统中的一个关键问题，它与系统中许多因素有关，如通信系统、操作系统、数据库、文件及其应用形式等。因此，多媒体系统中同步应在不同的层面上考虑.2.2.2 媒体同步技术(2) 1.链路层同步 链路层同步处理的是媒体流内部以及多个媒体流之间的同步问题。如果是单一连续媒体流，要避免单元的重现时的抖动，如声音信号重放时出现断续情况；如果是音频混合数据流（如MPE

50、G标准），则应保证口型同步关系，如果是若干数据流同时播放，则需要保持不同媒体流之间的正确时间关系。 媒体流内部的同步，可采用特殊的帧结构设计来实现。按照不同的应用场合，信息流的帧结构又分为二类，第一类是用于会话型业务点与点之间实时通信，为满足会话的要求，应尽量减少延迟，因而采用比特交织的帧结构；第二类是用于存储读出系统的，其应用场合为点播电视、运动图象检索、数字录象机、VCD等，这种应用场合可以允许一个较大的固有延迟时而不会造成信息质量的下降，因而采用快交织帧结构。 媒体流之间的同步，则更复杂。因各种媒体之间有较大的传输差异，需要通过建立具有不同服务质量和传输控制机制的传输信道来传送，然后在接

51、收端进行同步处理。目前的方案有时间戳同步技术、同步信道技术、同步标记技术等。2.2.2 媒体同步技术(4)2. 表示层同步 多媒体系统中，对象（MHEG标准）或文件（HY TIME）是可以处理的最小单元，如一段文字、一段语音或音乐、一幅画面、一段运动图象都可以是一个对象，这些没有复杂结构的对象一般称为简单对象。另一类对象在多媒体通信系统中也可以当作一个信息单元来处理，但它的结构是由于由若干对象按某种规律组合而成，这类对象称为复合对象。在将不同表示媒体的对象复合一个复合对象的过程中将引入同步机制，构成多媒体复合对象；或用超级链接将不同表示媒体的对象链接过程中引入同步机构，构成超媒体。上述两个过程

52、均在表示级完成，故称表示同步。 2.2.2 媒体同步技术(5)3. 应用层同步 多媒体通信系统中，最高一级的同步是应用层同步。应用层同步采用的技术为脚本（Script）同步技术。所谓脚本是一种特殊的文本，它用语意关系将多媒体或超媒体的运作过程和外部处理模块联系起来，实现完善的多媒体通信。在多媒体通信系统中，有各种不同的媒体素材，要将其有机地联系在一起形成有声有色的多媒体信息，就要靠脚本。2.2.3 终端技术 多媒体终端作为人机交互的界面，具有两种功能：一是面向用户，提供一种自然、友好的交互环境，屏蔽掉各种复杂的网络功能；二是面向网络，下达其所需实施的各种功能，屏蔽掉应用环境的复杂性和不确定性。

53、从多媒体系统具有交互性这一重要性来看，多媒体终端技术是离不开计算机技术的。而从PC派生出来的功能简化的终端则统称为“信息家电”。基于PC的终端技术信息家电 1. 基于PC的终端技术 现在的CPU可以实现视频、3D图形、动画、音频及虚拟现实等多媒体功能。外部设备主要包括输入、输出设备、存储设备和外设连接设备。输入设备除键盘外有音频输入、视频输入、手写输入、触摸屏等。简单化、人性化的输入是其发展方向。 音频输入要求有话筒和语音识别卡。语音识别技术的发展，使人能以简单的口令计算机进行控制，使输入方式简单化、智能化、人性化。要在语音识别方面有所突特别是中文方面的语音识别，必须在语言模型上有所突破才行。

54、输出设备包括音频视频输出设备。音频输出设备有声卡和音箱，可实现三维立体和杜比环绕的效果。视频输出则通过视频卡和显示器来实现，3D图形加速卡和更大屏幕的显示器，不仅使画面更清晰、更逼真，而且能有身临其境的感受。 1. 基于PC的终端技术(1) 多媒体软件系统主要包括多媒体操作系统、多媒体数据库和创作工具以及多媒体应用软件三个部分。另外，java的应用也是大势所趋。如基于java的新型计算机系统网络计算机系统、web TV等也将应用广返使用。在消费类产品中（如游戏机、机定盒、Web电话及电冰箱、洗衣机），一种新型的操作系统Windows CE也由Microsoft公司推出。它使人们可以在办公室里通

55、过来控制家中的电子设备，进入一种全新的生活空间。 多媒体数据和创作工具也为多媒体应用提供资源和信息加工。总之，当前软件技术的发展趋势是：面向对象的软件开发技术成为主流技术；网络计算和分布式技术成为软件的核心技术；嵌入式软件技术成为智能化设备的基础；软件构件和复合技术成为提高软件开发生产率，形成规模生产的重要手段。 2. 信息家电 以上所讲的终端技术主要是计算机终端技术。但是，另外的一种多媒体终端信息家电，既家电电脑化。在家电中加入了可用于通信、控制的芯片集计算机、通信、消费类电子功能于一体的3C产品。特别是蓝牙芯片和蓝牙计划的出现，使信息家电成为可能。目前，信息家电的一种典型代表是web TV

56、。它实际上是一种电视机顶盒。它既可以上网，也可以看电视。用户可以通过web TV安全的进行网上购物和网上银行业务等活动。2. 信息家电 (1) 其最大的发展市场在于网络购物、在线游戏和信息浏览等一些不需要太多输入的因特网服务项目。此外，家庭自动化是另一个更广阔的应用领域。可以在外面通过网络对家里的各种电子设备进行监控。比如，可以在一个汽车上给家中的电冰箱上的电子面板发送信息。这方面的最大问题是如何实现各种硬件设备的通信。 2. 信息家电 (2) 现在，借助于多个X-10和CEBus控制器与一个以太网连接，通过USB或IEEE1394将PC和家用电子设备互连起来，就可以完成家庭计算、通信和设备控

57、制了。最近关于家庭自动化方面的协议是ShareWare和SWAP（共享的无线接入协议），他都得到了业界巨头Intel和Microsoft的支持。 Windows CE就是一种面向消费类电子应用的嵌入式操作系统。许多公司也开发了这方面的软件。2.2.4 网络技术 1.现有网络 2.宽带多媒体网络 2.2.4 网络技术 (1)1.现有网络(1) 各种媒体的不同网络要求 多媒体网络要传输多种媒体业务，这些业务对网络带宽要求相差很大。多媒体通信业务通过网络传输时，其带宽要求与传输媒体也密切相关，不同的传输媒体其传输带宽相差很大。 音频是多媒体通信的主要媒体之一，在多媒体通信中，声音可以用多种方式进行传

58、输，但不论以何种方式或以存储转发方式进行传输，都要保证播放声音的连续性，尤其是音频/视频同时传播时，必保持同步。要保证良好的音频传输质量，就要确保合适的带宽。高质量、高保真的音频信号通常需要16bit表示，带宽是76kbit/s。低质量压缩视频，如电视电话，可在模拟电话线上和N-ISDN上传输，带宽要求是10kbit/s128kbit/s之间。2.2.4 网络技术 (2)1.现有网络(1) 各种媒体的不同网络要求 视频质量受码率、图象大小、压缩程度和图象颜色等因素影响。为了节省带宽，电视电话系统仅传输很小的图象，帧码通常为510帧/秒。由于这种低质量压缩视频仅需要传输简单和低质量的图象，所以要

59、求带宽有限，可使用很多传输设施。如电视会议带宽要求为64kbit/s2.08Mbit/s,可由N-ISDN和卫星线路传送，电视电话的带宽要求为10kbit/s-128kbit/s，可通过模拟电话网和N-ISDN基本码率进行传输。2.2.4 网络技术 (3)1.现有网络(1) 各种媒体的不同网络要求 中等质量的压缩视频一般要求每秒传送25-30帧，但与广播电视相比，一般屏幕图象窗口尺寸仅为广播电视的二分之一或四分之一，通常可使用2.04Mbit/s的传输设施，压缩标准为MEPG-1。高质量压缩电视是未来电视和计算机发展的方向。它要求的视频的应用要求6Mbit/s30Mbit/s带宽，压缩标准为M

60、ENG-2。多媒体会议系统电视业务带宽要求在128kbit/s384kbit/s之间。其传输环境包括：局域网，ISDN连接，专用网和T-1线路等。2.2.4 网络技术 (4)2.有网络对多媒体的支持情况 在LAN模式下，以基带方式传输，时间片被分给所有站和每个站的所有通信。另外，数据流被分成帧，利用帧进行传输。以太网、令牌网和FDDI为3种常见的共享媒体LAN。而以太网又可分为10M、100M和1000Mbit/s三种类型。 2.2.4 网络技术 (5)2.有网络对多媒体的支持情况 (1) WAN 都是面向连接。从技术上讲，线路可采用数字或模拟传输。数字线路使用宽带为支持连接专用。传播延迟也非