第6章 多媒体技术及其应用

1、2021-10-17多媒体技术及其应用12021-10-17多媒体技术及其应用2多媒体技术是集文本、声音、视频、图像、动画等各种信息媒体于一体的信息处理技术，它通过一定的方式接收外部的各种媒体信息，经过计算机加工处理后，以图片、文字、声音、动画等多种方式输出，实现了输入输出方式的多元化。多媒体技术的出现改变了人类社会的生活方式、生产方式和交互环境，促进了多个学科的发展和融合，使计算机在社会生活的各个领域获得了更为广泛的应用。2021-10-17多媒体技术及其应用3掌握多媒体的基本理论；掌握多媒体技术的特点；了解多媒体中声音和图像的处理过程；了解在多媒体应用上所需的计算机设备；了解制作多媒体的技

2、术。2021-10-17多媒体技术及其应用46.1多媒体的概念6.2多媒体系统6.3多媒体技术6.4多媒体创作工具6.5多媒体编辑语言6.6常用工具软件2021-10-17多媒体技术及其应用5多媒体多媒体是全面的综合性的信息资源，结合了文字、资料、图形、影像、动画、视讯、声音、特殊效果，再经由电脑表现出来，它能成为信息传播中的任何媒体资源。 2021-10-17多媒体技术及其应用6媒体媒体(medium):是一种分发和表示信息的方法，是信息存储、表示和传播的载体。例如，文本、图形、图像和声音。国际电话电报咨询委员会CCITT划分的五类媒体: 1.感觉媒体感觉媒体（Perception Medi

3、um）：指直接作用于人的感觉器官，使人产生直接感觉的媒体。如声音，图像等。2.表示媒体表示媒体（Representation Medium）：指传输感觉媒体的中介媒体，即用于数据交换的编码。是人为构造的，如图像编码、文本编码和声音编码等。 2021-10-17多媒体技术及其应用73.表现媒体表现媒体（Presentation Medium）：指进行信息输入和输出的媒体。如键盘、鼠标、扫描仪、话筒、摄像机等为输入媒体；显示器、打印机、喇叭等为输出媒体。4.存储媒体存储媒体（Storage Medium）：指用于存储表示媒体的物理介质。如硬盘、软盘、磁盘、光盘、ROM及RAM等。 5.传输媒体传输

4、媒体（Transmission Medium）：指传输表示媒体的物理介质。如双绞线、同轴电缆、光缆等。 2021-10-17多媒体技术及其应用8 多媒体文档是由至少一个连续媒体连续媒体和一个离散媒体组成的文档。常见的连续媒体连续媒体有：视频(动态图像)、音频（声音、音乐等）等与时间相关的数据。 常见的离散媒体离散媒体有：静态文字、图片等与时间无关的数据。多媒体信息多媒体信息：文本、图像、动画、声音和视频影像等5类信息。 2021-10-17多媒体技术及其应用91. 文本文本：是以文字和各种专用符号表达的信息形式，它是现实生活中使用得最多的一种信息存储和传递方式。如Word文字处理软件编辑出的“

5、DOC”文件，记事本和写字板的“TXT”文件等。2. 图像图像：是多媒体软件中最重要的信息表现形式之一，它是决定一个多媒体软件视觉效果的关键因素。2021-10-17多媒体技术及其应用103.3.动画动画：利用人的视觉暂留特性，快速播放一系列连续运动变化的图形图像，也包括画面的缩放、旋转、变换、淡入淡出等特殊效果。存储动画的文件格式有FLC、MMM、GIF、SWF等。4.4.声音声音：是人们用来传递信息、交流感情最方便、最熟悉的方式之一。在多媒体中声音基本上分为音乐和音效两类。 5.5.视频影像视频影像：具有时序性与丰富的信息内涵，常用于交待事物的发展过程。视频文件的存储格式有AVI、MPG、

6、MOV、RMVB等。 2021-10-17多媒体技术及其应用11超文本与超媒体技术是一种模仿人脑的联想记忆方式，是把一些信息块按需要用一定的逻辑顺序链接成非线性网状结构的信息管理技术。 2021-10-17多媒体技术及其应用12超文本超文本: :是一种非线性特殊文本,由信息节点和表示信息节点间相关性的链组成的一个具有一定逻辑结构和语义的网络。节点节点:是表达信息的一个单位，每个节点包含一个特定的主题信息。链链:是将节点链接起来，实现跨越式浏览、检索的一种机制。 2021-10-17多媒体技术及其应用13超文本中带有链接关系的文本通常用下划线和不同的颜色表示。文本中的“超文本”与中的“超文本”建

7、立有链接关系，中的“超媒体”与中的“超媒体”建立有链接关系，中的“超链接”与中的“超链接”建立有链接关系这种文件就称为超文本文件。这些媒体用超文本组成超媒体超文本1965 年TedNelson 杜撰超链接124超媒体（hypermedia)超链接32021-10-17多媒体技术及其应用14超媒体超媒体与超文本之间的不同之处是，超文本主要是以文字的形式表示信息，建立的链接关系主要是文句之间的链接关系。超媒体除了使用文本外，还使用图形、图像、声音、动画或影视片断等多种媒体来表示信息，建立的链接关系是文本、图形、图像、声音、动画和影视片断等媒体之间的链接关系。例如电子图书是超媒体。 2021-10-

8、17多媒体技术及其应用15多媒体系统是指利用计算机技术和数字通信网络技术来处理和控制多媒体信息的系统。 2021-10-17多媒体技术及其应用161.媒体信息的多样性：媒体信息的多样性：文本、声音、图形、图像、动画和视频等；2.可表达的信息量大可表达的信息量大：可以通过多媒体的手段，有效、有序地组织庞大的信息，呈现给用户一个清晰、有组织的信息集；3.多种技术的集成性多种技术的集成性：包含了软件和硬件技术，并将不同性质的设备和信息媒体集成为一体，以计算机为中心综合处理各种信息； 2021-10-17多媒体技术及其应用174.4.处理过程的交互性处理过程的交互性：交互性使得人们更加具有主动性和可控

9、制性;5.5.非线形非线形: :借助超文本链接（Hyper Text Link）的方法，把内容以一种更灵活、更具变化的方式呈现给读者; 6.6.通信系统通信系统：通过计算机网络实现多媒体信息的共享和分发。2021-10-17多媒体技术及其应用18多媒体系统多媒体计算机的硬件主要有常规硬件、主存，显卡和显示器，音频卡，视频卡，采集卡，扫描仪，光驱以及数码相机、摄像头等可选设备。多媒体计算机的软件多媒体操作系统多媒体应用软件多媒体创作工具（字处理、图形图象处理、动画制作、声音和视频处理软件等）2021-10-17多媒体技术及其应用19（1）多媒体数据的表示技术）多媒体数据的表示技术包括文字、声音、

10、图形、图像、动画、影视等媒体在计算机中的表示方法。人机接口技术，如语音识别语音识别和文本文本语音转换语音转换（Text To Speech，简称TTS）也是多媒体研究中的重要课题；虚拟现实虚拟现实（Virtual Reality，简称VR）是当今多媒体技术研究中的热点技术之一。 2021-10-17多媒体技术及其应用20（2）多媒体数据的存储技术）多媒体数据的存储技术多媒体数据的存储的目标是实现大容量信息的存储和管理。在发展集中式集中式的海量存储技术(CD、DVD)的同时，也在向分布存储分布存储、并行并行访问访问的方向发展。分布数据存储技术分布数据存储技术与多媒体多媒体存储技术存储技术将在计算

11、机通信网络中融合起来。2021-10-17多媒体技术及其应用21（3）多媒体的应用开发）多媒体的应用开发包括多媒体数据库、环球超媒体信息系统、多目标广播技术、影视点播、电视会议、远程教育系统、多媒体信息的检索等。 （4）多媒体创作和编辑工具的研究开发）多媒体创作和编辑工具的研究开发基本目标是功能强大、适应性强、使用方便等，为将来人人都会使用多媒体创作和编辑工具提供条件，非常容易的创造出多媒体产品。2021-10-17多媒体技术及其应用22 多媒体出版多媒体出版 多媒体办公自动化和计算机会议系统多媒体办公自动化和计算机会议系统 多媒体信息咨询系统多媒体信息咨询系统 交互式电视与视频点播交互式电视

12、与视频点播 交互式影院和数字化电影交互式影院和数字化电影 数字化图书馆数字化图书馆 家庭信息中心家庭信息中心 远程学习和远程医疗保健远程学习和远程医疗保健 媒体空间、赛博空间媒体空间、赛博空间 （5）多媒体系统示例多媒体系统示例2021-10-17多媒体技术及其应用231.超文本和超媒体系统的三层模型超文本和超媒体系统的三层模型 1988年，Compbell和Goodman提出了超文本体系结构的三层模型理论。该理论认为，超文本体系由用户接口层(User Interface Level)、 超文本抽象机层(Hypertext Abstract Machine Level)和数据库层(Databa

13、se Level)构成， 如图所示：HAM模型2021-10-17多媒体技术及其应用24多媒体系统中的同步指多媒体系统中媒体对象之间的时间关系。媒体对象之间的同步由时间相关媒体对象、时间无关媒体对象之间的联系组成。例如:电视中的听觉和视觉信息的同步是时间相关媒体对象之间的同步；幻灯片中静态图片(时间无关)和旁白的音频(时间相关)媒体之间的同步。 2021-10-17多媒体技术及其应用25多媒体技术是一种把文本(Text)、图形(Graphics)、图像(Images)、动画(Animation)和声音(Sound)等形式的信息结合在一起，并通过计算机进行综合处理和控制，能支持完成一系列交互式操

14、作的信息技术。 多媒体技术主要涉及音频技术、图形与图像技术、视频与动画技术、数据压缩技术和通信技术。2021-10-17多媒体技术及其应用26处理声音的方式有两种：模拟方式和数字方式。 1）模拟方式就像录音机，把声音信号的波形原样保存下来，下图所示为模拟信号的波形示意图。2）数字方式 根据抽样定理，人们对模拟信号经过采样和量化，把模拟信号以数字形式保存起来，下图所示为采样和量化的示意图。 011001010100001100100001000010011010101111002021-10-17多媒体技术及其应用27在数字音频表示中，一般采用二进制编码。处于某一幅度范围内的模拟信号量化后被赋予

15、某个确定数值,全部数据由一组二进制编码表示。脉冲编码调制（PCM）是一种最常用最简单的编码方法。计算机中的声波文件（WAVE）用的就是这种方法。 2021-10-17多媒体技术及其应用28调频(FM)音乐合成技术使用多种频率的正弦波合成各种乐器的任何波形。音乐合成器和计算机上的声卡利用配备的FM设备已经保存的各种乐器合成方式，通过设置乐器类型、音高、音量、播放时间等数据代码，就可以播放声音。2021-10-17多媒体技术及其应用29MIDI是音乐与计算机结合的产物，是电子乐器与计算机之间的连接界面和信息交流方式。MIDI声音是一串时序命令，用于记录电子乐器键盘弹奏的信息，包括键、通道号、持续时

16、间、音量和力度等。播放时，只需从MIDI文件中读出MIDI消息，生成所需要的乐器声音波形，经放大后由扬声器输出。MIDI文件的存储容量远小于数字音频文件。 2021-10-17多媒体技术及其应用30（1）语音合成技术语音输出：播放事先录制好的声音；（编码、解码）文语转换。（语音合成、音乐合成）（2）语音识别技术 语音识别是将人发出的声音、字或短语转换成文字、符号，或给出响应，如执行控制、做出回答。语音识别将可能取代键盘和鼠标成为计算机的主要输入手段。2021-10-17多媒体技术及其应用31文件的扩展名文件的扩展名说说 明明aifaif（Audio InterchangeAudio Inter

17、change）auaucmfcmf（Creative Music FormatCreative Music Format）mffmff（MIDI Files FormatMIDI Files Format）midmid（MIDIMIDI）mp2mp2mp3mp3modmod（ModuleModule）rmrm（RealMediaRealMedia）rara（RealAudioRealAudio）rolrolAppleApple计算机上的声音文件存储格式计算机上的声音文件存储格式SunSun和和NEXTNEXT公司的声音文件格式公司的声音文件格式8 8位位u u律编码或律编码或1616位线位线性

18、编码性编码声霸（声霸（SBSB）卡带的）卡带的MIDIMIDI文件存储格式文件存储格式MIDIMIDI文件存储格式文件存储格式WindowsWindows的的MIDIMIDI文件存储格式文件存储格式MPEG Layer IMPEG Layer I，MPEG Layer IIIMPEG Layer IIIMIDIMIDI文件存储格式文件存储格式RealNetworkRealNetwork公司的流放式声音文件格式公司的流放式声音文件格式RealNetworkRealNetwork公司的流放式声音文件格式公司的流放式声音文件格式AdlibAdlib声音卡文件存储格式声音卡文件存储格式sndsnd（s

19、oundsound）seqseqsngsngvocvoc（CreativeVoiceCreativeVoice）wavwav（WaveformWaveform）WMAWMAAppleApple计算机上的声音文件存储格式计算机上的声音文件存储格式MIDIMIDI文件存储格式文件存储格式MIDIMIDI文件存储格式文件存储格式声霸卡存储的声音文件存储格式声霸卡存储的声音文件存储格式WindowsWindows采用的波形声音文件存储格式采用的波形声音文件存储格式Windows Media AudioWindows Media Audio，微软音频压缩格式，比，微软音频压缩格式，比mp3mp3压压缩率

20、更高缩率更高2021-10-17多媒体技术及其应用32多媒体中处理图像要经过采集、编码、压缩、存储、分析处理、显示等多个过程。 摄像机图像采集卡数字摄像机接口数码相机串口、USB等扫描仪SCSI卡、并口其他接口显示适配器监视器显示适配器投影机VGA-TV电视机并口打印机串口绘图仪计算机处理磁盘机硬盘光盘刻录机磁带机图像存储设备图像输出设备图像输入设备2021-10-17多媒体技术及其应用33数字图像的表示数字图像的表示：数字图像用矩阵表示，矩阵中每个元素值表示图像的一个像素。黑白图像：黑白图像：由0或1表示。灰度或彩色图像：灰度或彩色图像：每个像素需要多位二进制表示。图像的格式：图像的格式：B

21、MP格式：一种与设备无关的图像文件。GIF格式：广泛应用于网页中的图像/动画文件格式。TIFF格式：适用于扫描仪和桌面出版系统的图像格式。PNG格式：能存储32位信息的位图文件格式。JPEG格式：联合图像专家组制定的一项有损压缩标准，是目前网络上最流行的图像格式，是可以把文件压缩到最小的格式。 2021-10-17多媒体技术及其应用34v图形的表示图形的表示：用直观的位图或矢量图形式显示。v图形的格式图形的格式：通过图形的基本元素和属性表示。v基本元素：基本元素：线、矩形、圆和椭圆等。v属性属性：表示诸如线的风格、宽度和色彩等影响图形输出效果的内容。v常用图形文件格式常用图形文件格式：Post

22、Script是专门为打印图形和文字而设计的一个编程语言，很好地描述了矢量图和位图，现在也用于图像的存储和交换。 2021-10-17多媒体技术及其应用351、视频在多媒体技术中，最复杂的是运动视频的处理技术。视频信号的处理过程一般如下图所示。 摄像机或其他视频播放设备视频信号视频采集视频文件计算机视频输出加工制作2021-10-17多媒体技术及其应用36 （1）视频数据的编码和压缩视频数据的编码和压缩是以声音与图像编码和压缩为基础的，主要采用的是MPEG系列标准。 （2）视频图像的编辑处理对视频图像的编辑处理，主要包括视频内容、视频效果的编辑处理与视频内容的分析 。 （3）视频文件类型视频文件

23、类型主要有MPEG、DAT、MOV、AVI、RM、RA、RAM、ASF、VOB等。 2021-10-17多媒体技术及其应用37 用计算机实现的动画有两种，一种为帧动画帧动画，另一种为造型动画造型动画。 帧动画帧动画是由一幅幅连续的画面组成的画像或图形序列； 造型动画造型动画是把整个画面分解成多个活动的对象分别进行设计，构造每一对象的特征，在动画过程中每个对象可以移动和变换，播放时根据每个对象的位置和特征，实时生成画面，形成连续的动画过程。 用计算机制作动画时，一般是先做好关键的画面（也称关键帧），中间画面由计算机内插来完成。 2021-10-17多媒体技术及其应用38 数据压缩可以节约存储空间

24、，提高通信信道的传输效率，使计算机实时处理音频、视频信息，保证播放出高质量的视频、音频节目成为可能。 多媒体数据压缩方法的分类方法：第一种，根据质量有无损失可以分为有损失编码有损失编码和无损失编码无损失编码。第二种，按照其作用于在空间域或频率域分为空间空间方法、变换方法和混合方法方法、变换方法和混合方法。第三种，根据是否自适应分为自适应性编码自适应性编码和非适非适应性编码应性编码。 2021-10-17多媒体技术及其应用39v静态图像压缩编码的国际标准静态图像压缩编码的国际标准：连续色调、多级灰度、静止图像的JPEG数字压缩编码方法（平均压缩比15：1）v运动图像压缩编码的国际标准运动图像压缩

25、编码的国际标准（平均压缩比50：1）MPEG-：针对运动图像的数据压缩技术，其图像质量是家用录像机的质量(360X240像素)。如CD-ROM、Video-CD、CD-i。 MPEG-：运动图像及其伴音的通用压缩技术标准，高清晰度电视、DVD(720X480像素)等。MPEG-：适应传输率低于64Kbit/s，特点是其更适于交互AV服务、视像电话以及远程监控。 2021-10-17多媒体技术及其应用40音频压缩编码的国际标准音频压缩编码的国际标准：高保真音频数据压缩的国际标准（MPEG）。该标准提供三个独立的压缩层次：v第一层：用于数字录像机，压缩后的数据速率为384K Kbit/s （每秒声

26、音数据在音频压缩文件中所占平均位数）（压缩率（压缩率4 4：1 1低，音频最佳）低，音频最佳）v第二层：用于数字广播的音频编码、CD-ROM的音频信号以及VCD的音频编码，压缩后的数据速率为192K Kbit/s （压缩率（压缩率8 8：1 1中，音频质量一般）中，音频质量一般）v第三层：节约空间节约空间，MP3和Microsoft公司的Windows Media文件格式，压缩后的数据速率为128K Kbit/s，（压缩率（压缩率1212：1 1高，音频质量较低）高，音频质量较低）2021-10-17多媒体技术及其应用41公共网络正在将线路交换网络和信息包交换网络紧密地融合在一起，这是当前的网

27、络技术和信息工业的发展趋势。典型的线路交换网络线路交换网络是公众交换电话网络(PSTN)，它可提供高质量的声音通信，但没有存储信息资源的能力；典型的信息包交换网络信息包交换网络是IP网络(包括因特网和内联网等)，它们存储有极其丰富的信息资源，但目前提供的声音通信质量还不如PSTN。 2021-10-17多媒体技术及其应用42多媒体通信多媒体通信一般可以理解为通过已存在的网络，传输压缩的数字图像和声音信号。v数字图像的编码标准都采用H.261和H.263；v声音编码的主要标准有G.711、G.722和G.728等。构成一个多媒体通信系统需要的硬件有构成一个多媒体通信系统需要的硬件有网关、会务器和

28、通信终端。网关、会务器和通信终端。2021-10-17多媒体技术及其应用432021-10-17多媒体技术及其应用44v通信终端指的是执行H.320、H.323、H.324协议的计算机或者是执行H.324的电话机；v网关是一台功能强大的计算机，负责线路交换网络和信息包交换网络之间进行实时的双向通信，同时提供异构网络之间的连通性；v会务器是用于连接IP网络上的H.323电视会议客户，是电视会议的关键部件之一。2021-10-17多媒体技术及其应用45H.323定义局域网上的电话会议以及局域网通过网关扩展到广域网的电视会议和服务。H.323H.323终端终端是局域网上客户使用的设备，提供实时的双向

29、通信；H.323H.323网关网关是一个可选部件，用于LAN电视会议与其他网络终端的连接；H.323H.323会务器会务器是管辖区域里所有呼叫的中心控制部件，它执行两个重要的呼叫功能: v定义在RAS（Remote Access Service ，远程访问服务）规范中的地址转换；v在RAS规范中定义的网络管理功能；H.323H.323多点控制单元多点控制单元支持在3个或3个以上的终端之间召开电视会议。2021-10-17多媒体技术及其应用46可视电话指的是在调制解调器连接的设备之间共享电视图像、声音和数据。vH.324H.324就是由国际电信联盟（ITU）制定的一个可视电话的标准，它包括电视图

30、像编码标准、声音编码标准、低速率多媒体通信的多路复用协议、多媒体通信终端之间的控制协议；vH.324H.324使用28.8Kb/s调制解调器来实现可视电话呼叫者之间的连接。2021-10-17多媒体技术及其应用47 IP电话，又称作因特网电话和VoIP，它指的是在IP网络上进行电话的呼叫和通话。IPIP电话与电话与PSTNPSTN电话电话的差异在于它们所使用的交换方式：vPSTN在线路交换网上使用静态的交换技术；vIP电话采用因特网的动态路由技术。新兴的IP电话系统必须考虑与PSTN的互通问题。这就要在IP网与PSTN交换机之间配置IP电话网关电话网关。这样IP电话就有了4种方式：电话到电话、

31、电话到PC、PC到电话和PC到PC。2021-10-17多媒体技术及其应用48v音乐制作音乐制作:MIDI是一个供不同设备进行信号传输的接口的名称，制作MIDI的软件有很多，比较流行的是CakeWalk Pro Audio。v图形与图像制作图形与图像制作桌面出版程序：例如Adobe FrameMaker、Adobe PageMaker以及北大方正等；图像编辑程序：主要用于创建和修改位图图像文件。例如Adobe Photoshop、Corel Photo；绘图程序：主要用于修改矢量图形、图像。例如Adobe Illustrator、CorelDraw、AutoCAD等。v动画制作软件：动画制作软

32、件：计算机三维就是利用计算机在其二维的屏幕上通过视角的转换显示出三维的虚拟真实效果。例如3dmax、MAYA、FLASH等。2021-10-17多媒体技术及其应用49v视频影像处理软件：视频影像处理软件：Adobe Premiere是众多影视处理软件中最具代表性的软件，它能处理影视作品的视频编辑和音频编辑。v多媒体图文制作软件：多媒体图文制作软件：Authorware是多媒体制作软件。vWebWeb创作创作 Web站点设计； Web页制作；用户只需了解文本编辑和HTML语法，就能创建自己喜欢的网页。 Web创作软件：Adobe PageMill、Corel WebSite Builder以及Microsoft Frontpage。2021-10-17多媒体技术及其应用501.超文本编辑语言超文本编辑语言(HTML)与与JavaScript超文本标记语言HTML（Hypertext Markup Language）是组织多媒体文档的重要语言，可用来编排文档、创建列表、建立链接、插入声音和影视片断。 JavaScript是由Netscape公司开发的一种