信息技术基础与应用

1、6. 多媒体技术基础n 6.1多媒体技术概述n 6.2多媒体计算机系统n 6.3多媒体压缩技术n 6.4多媒体制作工具简介n 6.5流媒体技术6.1.1 多媒体的定义（国内外）n（1）计算机交互式综合处理多种媒体信息。文本、图形、图像和声音，使多种信息建立逻辑连接，集成为一个系统并且具有交互性。n（2）多媒体是以下两种以上媒体组成的结合体。文本图形动画、静态视频、动态视 频、声音。这就意味着电视节目、动画片、个人视话表现都可以被看作是多媒体。6.1.1 多媒体的定义（国内外）n（3）多媒体是传统的计算媒体。文字、图形、图像以及逻辑分析方法等与视频、音频以及为了知识创建和表达的交互式应用的结合体

2、。n（4）多媒体技术就是能对多种载体（媒介）上的信息和多种存储体（媒质）上的信息进 行处理的技术。 6.1.1 多媒体的定义（国内外）n（5）多媒体是声音、动画、文字、图像和录像等各种媒体的组合。多媒体系统是指用计算机和数字通信网技术来处理和控制多媒体信息的系统。 6.1.1 多媒体的定义n需要指出的是，一般所说的“多媒体”不仅指多种媒体信息本身，而且指处理和应用多媒体信息的相应技术，因此“多媒体”常被当作“多媒体技术”的同义词。n人们所提到多媒体技术中的媒体主要是指就是利用计算机把文字、图形、影像、动画、声音及视频等媒体 信息都数位化，并将其整合在一定的交互式界面上，使电脑具有交互展示不同媒

3、体形态的 能力。它极大地改变了人们获取信息的传统方法，符合人们在信息时代的阅读方式。6.1.2 多媒体技术的定义n多媒体技术是电脑技术，音频视频技术，图像压缩技术，多媒体网络技术，超媒体技术，文字处理技术等多种技术的一种结合，是高科技的产物，是多种技术综合的结晶。n它是一种能同时综合处理多种信息，在这些信息之间建立逻辑联系，使其集成为一个交互式系统的技术。6.1.2 多媒体技术的定义n多媒体技术所处理的文字、数据、声音、图像、图形等媒体数据是一个有机的整体，而不是一个个“分立”的信息类的简单堆积，多种媒体之间无论在时间上还是在空间上都存在着紧密的联系，是具有同步性和协调性的群体。n因此，多媒体

4、技术的关键特性在于信息载体的多样性，集成性，交互性，实时性和协同性。这也是多媒体技术研究中必须解决的主要问题。6.1.2 多媒体技术的特性1.信息载体多样性。2.交互性。所谓交互性就是通过各种媒体信息，使参与的各方（无论是发送方还是接收方）都可以进行编辑、控制和传递。3.集成性。多媒体技术是多重媒体的有机集成。6.1.2 多媒体技术的特性4.实时性。所谓实时性指在多媒体系统中多种媒体之间无论是在时间上还是在空间上都存在着紧密的联系，是具有同步性和协调性的群体。5.协同性。每一种媒体都有其自身规律，各种媒体之间必须有机地配合才能协调一致。6.1.3 多媒体元素的类型n多媒体元素是指多媒体应用中可

5、显示给用户的媒体组成。目前主要包含文本、图形、图像、声音、动画、和视频图像等媒体元素。n1.文本。指各种文字，包括各种字体、尺寸、格式及色彩的文本。6.1.3 多媒体元素的类型n2.图像。指从点、线、到三维空间的黑白或彩色几何图；面由像素点阵组成的画面。n3.动画。动画是利用人眼的视觉暂留特性，快速播放一连串静态图像，在人的视觉上产生平滑流畅的动态效果就是动画。6.1.3 多媒体元素的类型n4.音频。音频包括音乐语言和各种音响效果。n5.视频影像。视频影像是图像数据的一种，若干有联系的图像数据连续播放便形成了视频。6.1.4 多媒体处理的关键技术n1.数据压缩和编码技术：多媒体数据之所以能够压

6、缩，是因为视频、图像、声音这些媒体具有很大的压缩力。以目前常用的位图格式的图像存储方式为例，在这种形式的图像数据中，像素与像素之间无论在行方向还是在列方向都具有很大的相关性，因而整体上数据的冗余度很大；在允许一定限度失真的前提下，能对图像数据进行很大程度的压缩。6.1.4 多媒体处理的关键技术n2.数字化技术n数字图像技术。就是对图像进行计算机处理，使其更适人眼或仪器的分辨，并拾取其中的信息。n6.1.4 多媒体处理的关键技术n数字音频技术。包括声音采集及回放技术，声音识别技术和声音合成技术。n数字视频技术。一般应包括视频采集及回放，视频编辑和三维动画视频制作6.1.4 多媒体处理的关键技术n

7、3.多媒体通信技术n多媒体同步技术n多媒体传输技术 6.1.4 多媒体处理的关键技术n4.多媒体数据库技术：多媒体数据库是一种包括文本、图形、图像、动画、声音、视频等多种媒体信息的数据库。n通过对多媒体文档的操作进行多媒体的数据处理。6.1.4 多媒体数据库技术的研究内容n（1）支持图形、图像、动画、声音、视频图像、文字等媒体字段类型及用户定义的特殊类型。n （2）支持定长数据和非定长数据的集成管理。n （3）支持复杂对象的表示和处理，要求有表示和处理对象间复杂关系的能力，有保证复杂对象完整性和一致性的机制。6.1.4 多媒体数据库技术的研究内容n （4）对多媒体数据的处理需要有较高的实时性，

8、以保证具有时序性的信息单元之间在时间或空间上的衔接。 n（5）多媒体数据库具有巨额数据量，一方面需要有光盘等巨大容量的硬件设备作支持，另一方面要求考虑多媒体数据压缩与解压缩。n（6）支持多媒体操作的用户界面，比如，选择浏览图像，视听声音，观看视频文件等。6.1.4 多媒体处理的关键技术n 5.超文本和超媒体：多媒体系统中的媒体种类繁多且数据量巨大，各种媒体之间既有差别又有信息上的关联。n处理大量多媒体信息主要有两种途径：n一是利用上述所讲的多媒体数据库系统，以存储和检索特定的多媒体信息；n二是使用超文本和超媒体，它一般采用面向对象的信息组织和管理形式，是管理多媒体信息的一种有效方法。6.1.4

9、 多媒体处理的关键技术n超文本和超媒体的数据模型是一个复杂的非线性网络结构，结构中包含的3要素是结点、链、网络。结点是表达信息的单位，链将结点连接起来，网络是由结点和链构成的有向图。n在超文本和超媒体中，信息的组织将不再是线性的，而是以非线性的形式进行存储，管理和浏览。这样，用户对信息的使用将更加灵活方便。6.1.4 多媒体处理的关键技术n6虚拟现实技术：虚拟现实VR是在许多相关技术（如仿真技术，计算机图形学，多媒体技术等）的基础上发展起来的一门综合技术，是多媒体技术发展的更高境界。n虚拟现实的本质是人与计算机之间或人与人借助计算机进行交流的一种方式，这种 方式具有相当逼真的三维虚拟世界，即具

10、有三维交互接口。6.1.4 多媒体处理的关键技术n虚拟现实具有如下特征：n多感知性n临场感n交互性n自主性6.1.5 多媒体技术的应用领域的发展n多媒体技术使计算机具有综合处理文本，图形，图像，声音，视频的能力，它以形象丰富友好的声、文、图信息界面和方便的交互性，极大地改变了使用计算机的方式，给人们的学习，工作，生活和娱乐带来了深刻的变化。1. 多媒体技术的应用n教育培训n电子商务n信息发布n娱乐n电子出版n虚拟现实2. 多媒体的发展多媒体从单机单点向分布、协同多媒体环境的网络及其设备的研究和网上分布应用与信息服务研究。利用已较成熟的图像理解、语音识别，全文检索等技术研究多媒体基于内容的处理，

11、开发能进行基于内容的处理系统是多媒体信息管理的重要方向。2. 多媒体的发展n多媒体标准仍是研究的重点。n以网络为中心的计算机将是信息技术中一场新的革命。n多媒体技术将和相邻技术结合。以提供完善的人机交互环境。同时多媒体技术继续向其他领域扩展，使其应用的范围进一步扩大。6.2 多媒体计算机系统n 多媒体系统是一个能处理多媒体信息的计算机系统。n因此，简单地说，多媒体系统的硬件是计算机主机及可以接收和播放多媒体信息的各种输入输出设备，其软件是音频/视频处理核心程序、多媒体操作系统及各种多媒体工具软件和应用软件。6.2.1 多媒体计算机硬件系统n多媒体硬件系统由主机、多媒体外部设备接口卡和多媒体外部

12、设备构成。n它是构成多媒体系统的基础，是指系统中所有的物理设备，多媒体计算机的硬件除一些常规硬件外，还应包括音频、视频信息处理硬件，如音频卡、视频卡、扫描仪、打印机和光盘驱动器等。6.2.1 多媒体计算机硬件系统组成图6.2.2 多媒体计算机系统n多媒体软件系统按功能可分为系统软件和应用软件。n系统软件是多媒体系统的核心，它不仅具有综合使用各种媒体、灵活调度多媒体数据进行媒体的传输和处理的能力，而且要控制各种媒体硬件设备协调地工作。多媒体各种软件要运行于多媒体操作系统平台（例如Windows）上，故操作系统平台是软件的核心。6.2.2 多媒体计算机系统n其主要系统软件有：n 多媒体驱动软件n

13、驱动器接口程序n 多媒体操作系统n n 多媒体素材制作软件及多媒体函数:为多媒体应用程序进行数据准备的程序，主要为多媒体数据采集软件，作为开发环境的工具库，供设计者使用n 多媒体创作工具、开发环境主要用于编辑生成多媒体特定领域的应用软件。6.2.2 多媒体计算机系统结构图多媒体应用系统创作工具及系统软件媒体素材制作软件多媒体操作系统多媒体设备接口程序驱动程序硬件系统应用软件系统软件硬件系统6.2.2 多媒体计算机系统层次结构多媒体应用程序多媒体应用程序多媒体工具软件多媒体操作系统多媒体核心软件多媒体硬件设备驱动程序多媒体硬件设备多媒体软件层次n（1）最底层是直接和多媒体底层硬件打交道的驱动程序

14、，在系统初始化引导程序作用下把它安装到系统RAM中，常驻内存。n（2）第2层是多媒体计算机的核心软件，即视频/音频信息处理核心部件，其任务是支持随机移动或扫描窗口下的运动及静止图像的处理和显示，为相关的音频和视频数据流的同步问题提供需要的实时任务调度等。多媒体层次n（3）第3层是多媒体操作系统，除一般的操作系统功能外，它为多媒体信息处理提供 设备无关的媒体控制接口。例如，Windows操作系统提供的媒体控制接口。 n（4）第4层是开发工具著作语言。为了方便开发者和用户编制应用程序，不少厂商为多媒体计算机系统编制了工具软件，如Authorware等。多媒体层次n（5）第5层是多媒体应用程序。包括

15、一些系统提供的应用程序，如Windows系统中的录音机、媒体播放器应用程序和用户开发的多媒体应用程序。6.3 多媒体压缩技术n1数据压缩技术n什么是数据压缩？什么是数据压缩？通俗的说，就是用最少的数码来表示信号。n其作用是：能较快地传输各种信号，如传真、Modem通信等。2. 数据为何能被压缩n首先，数据中间常存在一些多余成分，即冗余度。如在一份计算机文件中，某些符号会重复出现、某些符号比其他符号出现得更频繁、某些字符总是在各数据块中可预见的位置上出现等，这些冗余部分便可在数据编码中除去或减少。冗余度压缩是一个可逆过程，因此叫做无失真压缩，或称保持型编码。2. 数据为何能被压缩n其次，数据中间

16、尤其是相邻的数据之间，常存在着相关性。如图片中常常有色彩均匀的背影，电视信号的相邻两帧之间可能只有少量的变化影物是不同的，声音信号有时具有一定的规律性和周期性等等。因此，有可能利用某些变换来尽可能地去掉这些相关性。但这种变换有时会带来不可恢复的损失和误差，因此叫做不可逆压缩，或称有失真编码、摘压缩等。2. 数据为何能被压缩n此外，人们在欣赏音像节目时，由于耳、目对信号的时间变化和幅度变化的感受能力都有一定的极限，如人眼对影视节目有视觉暂留效应，人眼或人耳对低于某一极限的幅度变化已无法感知，故可将信号中这部分感觉不出的分量压缩掉或“掩蔽掉”。这种压缩方法同样是一种不可逆压缩。3. 数据压缩与编码

17、n数据压缩跟编码技术紧密联系，压缩的实质就是根据数据的内在联系将数据从一种编码映射到另一种编码。压缩前的数据要被划分为一个一个的基本单元。基本单元既可以是单个字符，也可以是多个字符组成的字符串。4. 数据压缩的分类n数据压缩按照映射是否固定可分为静态数据压缩和动态数据压缩。n静态数据压缩是指压缩前源消息集到码字集之间的映射是固定的，出现在被压缩数据中的源消息每次都被映射为同一码字。n动态数据压缩是指源消息集到码字集的映射会随着压缩进度的变化而变化。6.3.2 图像、视频、音频压缩技术n数据压缩技术作为多媒体技术中最为关键的核心技术，在技术本身和应用方面近年来都取得了引人注目的进展，而其中图像压

18、缩算法更是如此。n一般来说，图像编码方法可以分成3类：n第一类是考虑图像信源的统计特性，采用预测编码方法、变换编码方法、矢量量化编码方法、子带一小波编码法、神经网络编码法等，以香农信息论为基础；n第二类根据人眼视觉特性，采用基于方向滤波的图像编码法、基于图像轮廓纹理的编码法，充分考虑到了信息接受者的主观特性和主观意义。n第三类则考虑到了图像传递的景物特征，采用分形编码方法、基于模型的编码方法。 6.3.2 图像、视频、音频压缩技术（1）MJPEGnMJPEG（JPEG）全名为 “Motion Joint Photographic Experts Group”，是一种视频编码格式，中文名称翻译为

19、“技术即运动静止图像（或逐帧）压缩技术”。n即按照25帧/秒速度使用JPEG算法压缩视频信号，完成动态视频的压缩。n优点：画面清晰；缺点：压缩率低，占用宽带很大。（2）H.263nH.263视频编码标准是专为中高质量运动图像压缩所设计的低码率图像压缩标准。H.263采用运动视频编码中常见的编码方法，将编码过程分为帧内编码和 帧间编码两个部分。n在帧内用改进的DCT变换并量化，在帧间采用1/2像素运动矢量预 测补偿技术，使运动补偿更加精确，量化后适用改进的变长编码表（VLC）地量化数据进行熵编码，得到最终的编码系数。（2）H.263nH.263标准压缩率较高，CIF格式全实时模式下单路占用带宽一

20、般在几百，具体占用 带宽视画面运动量多少而不同。n缺点是画质相对差一些，占用带宽随画面运动的复杂度 而大幅变化。（3）MPEG-1nVCD 标准.制定于1992年。为工业级标准而设计，可适用于不同带宽的设备，如CD-ROM , Video-CD、CD-I。nMPEG-1随后被Video CD采用作为核心技术。MPEG-1的输出质量大约和传统录像机VCR信号质量相当，这也许是Video CD在发达国家未获成功的原因。（4）MPEG-2nMPEG-2。DVD标准，设计目标是高级工业标准的图像质量以及更高的传输率。nMPEG-2的画质质量最好，但同时占用带宽也非常大，在4-15Mbps之间，不太适用

21、于远程传输。（5）MPEG-4nMPEG-4。MPEG-1文件小，但质量差；而MPEG-2则质量好，但更占空间，MPEG-4则很好的结合了前两者的优点。nMPEG-4标准的占用带宽可调，占用带宽与图像的清晰度成正比。6.3.3 多媒体压缩工具介绍n1.常见的压缩文件格式nZIP格式。nRAR格式。nCAB格式。n ARJ格式。nACE格式。2. 常用的压缩工具n（1）WinZipn Winzip是最流行的面向Windows的压缩工具，它操作简便、压缩运行速度快，几乎支持目前所有常见的压缩文件格式，但是不支持常用的RAR格式的压缩文件。（1）WinZip界面（2）WinRARnWinRAR是当前

22、流行的压缩工具，它完全支持Zip压缩文件格式，具有估计压缩功能；具有历史记录和收藏夹的功能；压缩率相当高，而资源占有率相对较少，固定压缩、多媒体压缩和多卷自释放压缩功能是大多压缩工具所不具备的。（2）WinRAR的界面（3）ChinaZipnChinaZip是中国人自己开发的功能强大的压缩/解压缩软件，支持28种压缩格式，是全球支持压缩格式最多的功能强大的中国压缩/解压缩软件。（3）ChinaZip界面6.4.1 图形图像类处理软件nPhotoshop是公认的最好的通用平面美术设计软件。由Adobe公司开发设计。其用户界面易懂，功能完善，性能稳定。n所以，在几乎所有的广告、出版、软件公司，Ph

23、otoshop都是首选的平面工具。Photoshop界面6.4.2 动画制作软件-GIF Animatorn这是一个很方便的GIF动画制作软件，GIF格式软件主要运用于互联网，GIF格式提供了一种压缩比较高的高质量位图，但GIF一帧只能有256种颜色。GIF 界面6.4.2 动画制作软件-FlashnFlash是由macromedia公司推出的交互式矢量图和 Web 动画的标准。nFlash动画与其他电影的一个基本区别就是具有交互性。n所谓交互性就是通过使用键盘、鼠标等工具，可以在作品各个部分跳转，使受众参与其中。Flash界面6.4.3 音频类处理软件-Cool EditnCool Edit

24、 Pro是一个非常出色的数字音乐编辑器和MP3制作软件。COOL Edit 界面6.4.3 音频类处理软件-Windows自带“录音机”nWindows自带“录音机”可以满足一般人对数据处理的需要。使用它可以录制、混合、播放和编辑声音，也可以将声音链接或插入到另一个声音文件中。6.4.4 视频类处理软件nWindows Movie Maker ，是Windows自带的一个简单视频编辑软件般原版系统 都有。使用Movie Maker ，您可以在PCT创建编辑和分享自己制作的家庭电影。通过简单的拖放操作，精心的筛选画面，然后添加一些效果音乐和旁白，家庭电影就初具规模 了。之后就可以通过Web、电子

25、邮件PC或CD甚至DVD，与亲朋好友分享您的成果了。还可以将电影保存到录影带上，在电视中或者摄像机上播放。Windows Movie Maker 界面6.4.3 视频类处理软件-绘声绘影nUlead VideoStudio（绘声绘影）是一个功能强大的“视频编辑”软件，具有图像抓取功能，可以抓取，转换MV、DV、TV和实时记录抓取的文件，并提供具有超过100多种的编制功能与效果，可制作DVD、VCD光盘。绘声绘影界面6.5.1 流媒体的定义n流媒体（Stream Media）是指在Internet中使用流式传输技术的连续时基媒体，如：音频、视频或多媒体文件。n流媒体技术就是把连续的影像和声音经过

26、压缩处理后放在网站服务器上，让用户边下载边观看和收听，而不需要等整个文件全部下载完毕后才观看。n流媒体数据流具有连续性、实时性、时序性三大特点具有严格的前后时序关系。2. 流媒体文件格式n流媒体文件格式是支持采用流式传输及播放的媒体格式。n流媒体文件格式是经过特殊编码的，以适合在网络上边下载播放，甚至可以随时暂停、快进、倒退。n在编码时需要向流媒体文件中加入一些附加信息。6.5.1 流媒体的格式3. 流媒体的传输技术n流媒体实现的基本技术包括网络通信技术、多媒体数据采样技术、多媒体数据压缩技术、多媒体数据存储技术、多媒体数据传输技术。n其中流媒体实现的关机技术就是流媒体传输技术。流媒体传输技术

27、的方法n 实时流式传输。实时流式传输指保证媒体信号宽带与网络连接匹配，使媒体可被实时看到。n顺序流式传输。顺序流式传输是顺序下载，在下载文件的同时用户可观看在线媒体，在给定时间，用户只能观看已下载的那部分，而不能跳到还未下载的前头部分。4. 流媒体的播放方式n单播。在客户端和媒体服务器之间需要建立一个单独的数据通道，从一台服务器送出的每个数据包只能传送给一个客户机，这种方式叫单播。n组播。 IP组播技术构建一种具有组播能力的网络，允许路由器一次将数据包复制到多个通道上。n点播与广播n点播连接是客户端与服务器之间的主动连接。在点播连接中，用户通过选择内容项目来初始化客户端连接。n广播指的是用户被

28、动接受流。4. 流媒体的播放方式6.5.2 流媒体技术原理n流媒体技术的实现要满足这些条件：对普通多媒体信息必须进行处理才能适合流式传输，流式传输的实现需要合适的传输协议，需要浏览器对流媒体的支持，流媒体传输的实现需要缓存。6.5.2 流媒体技术原理在流式传输的实现方案中，一般采用HTTP/TCP来传输控制信息，而用RTP/UDP来传输实时音视 频数据流式传输的过程如下图所示，包含以下几个步骤:流媒体系统的基本构成n编码工具：一种用于创建、捕捉和编辑多媒体数据，形成流媒体格式的编码工具;n流媒体数据：音频、视频等n 服务器：用于管理和传输大量的流媒体内容;n流媒体传输网络：要有适合多媒体传输协

29、议甚至是实时传输协议的网络;n播放器：主要用于在用户端的PC上呈现内容。流媒体系统的构成6.5.1 流媒体应用-视频点播n最初的视频点播应用于卡拉OK点播，随着计算机技术的发展，VoD技术逐渐应用于局域网及有线电视网，此时的VoD技术趋于完善，但音视频文件的庞大容量仍然阻碍了VoD的进一步发展.6.5.1 流媒体应用-视频点播n由于服务器端不仅需要大容量的存储系统，同时还要承担大量数据的传输，因而服务器根本无法支持大规模的点播同时由于局域网中的视频点播覆盖范围小，用户也无法通过Internet等网络媒介收听或观看局域网中的节目。6.5.1 流媒体应用-视频点播n由于以下的原因使得基于流媒体技术

30、的VoD完全可以从局域网转向Internet。A.流媒体经过了特殊的压缩编码后很适合在Internet上传输 ；B.客户端采用浏览器方式进行点播，基本无须维护； C.采用先进的机群技术可以对大规模的并发点播请求进行分布式处理，使其能适应大规模的点播环境。6.5.1 流媒体应用-视频点播n随着计算机的普及、多媒体技术的发展以及Internet的迅速崛起，给远程教育带来了新的机遇。在远程教学过程中，最基本的要求就是将信息从教师端传到远程的学生端，需要传送的信息可能是多元的，如视频、音频、文本图片等。6.5.1 流媒体应用-远程教育n将这些信息从一端传送到另一端是实现远程教学需要解决的问题，在当前网

31、络带的限制下，流式传输将是最佳选择。6.5.1 流媒体应用-远程教育6.5.1 流媒体应用-远程教育n采用流媒体格式传送音视频文件，使用者不必等待整个影片传送完毕就可以实时连续地观看这样不但解决了观看前的等待问题，还达到了即时的效果。虽然在画面质量上有一些损失，但就一般的视频会议来讲，并不需要很高的图像质量。6.5.1 流媒体应用-视频会议n视频会议是流媒体技术的一个商业用途，通过流媒体可以进行点对点的通信，最常见 的就是可视电话。只要两端都有一台入Internet的计算机和一个摄像头在世界任何地点都可以进行音视频通信。此外，大型企业可以利用基于流媒体的视频会议系统来组织跨地区的会议和讨论。6

32、.5.1 流媒体应用-视频会议6.5.1 流媒体应用-视频会议n流媒体技术在Internet直播中充当着重要角色，主要表现在以下方面：n（1）首先，流媒体技术实现了在低带宽环境下提供高质量的音视频信息；n（2）智能流媒体技术可以保证不同连接速率下的用户能够得到不同质量的音视频效果；n（3）流媒体的组播技术可以大大减少服务器端的负荷，同时最大限度地节省带宽。6.5.1 流媒体应用-Internet直播6.5.1 流媒体应用-Internet直播n。IPTV，也叫交互式网络电视，就是利用流媒体技术通过宽带网络传输数字电视信号给用户，这种应用有效地将电视通信和PC这3个领域结合在一起，具有很强的发展前景。IPTV可以采用两种不同的方式提供用户电视服务组播或者广播方式和视频点播（VOD）方式。6.5.1 流媒体应用-IPTVn一个明显的优势是IPTV是基于现在互联网的方式来实