第7章_多媒体技术基础

1、第7章 多媒体技术基础 7.1多媒体技术概述多媒体技术概述 近年来，多媒体技术取得了令人瞩目的成绩，近年来，多媒体技术取得了令人瞩目的成绩，它给人类带来了深刻的影响，正迅速渗透到社会它给人类带来了深刻的影响，正迅速渗透到社会各个领域。在计算机信息领域中泛指一切信息载各个领域。在计算机信息领域中泛指一切信息载体，此时有两种具体含义，一种指信息的存储实体，此时有两种具体含义，一种指信息的存储实体，如磁带、磁盘、光盘和半导体存储器；另一体，如磁带、磁盘、光盘和半导体存储器；另一种指信息的表现形式或多种信息的载体，概括为种指信息的表现形式或多种信息的载体，概括为声音、文字、图像、图形、数据声音、文字、

2、图像、图形、数据5 5类。类。7.1多媒体技术概述多媒体技术概述 多媒体技术使计算技能同时处理音频、视频和多媒体技术使计算技能同时处理音频、视频和文本等多种信息。所以说，多媒体是数字、文字、文本等多种信息。所以说，多媒体是数字、文字、声音、图形、图像和动画等各种媒体的有机组合，声音、图形、图像和动画等各种媒体的有机组合，并与先进的计算机、通信和广播电视技术相结合，并与先进的计算机、通信和广播电视技术相结合，形成一个可组织、存储、操纵和控制多媒体信息形成一个可组织、存储、操纵和控制多媒体信息的集成环境和交互系统。简单地说，是利用计算的集成环境和交互系统。简单地说，是利用计算机综合处理声、文、图等

3、信息，构造具有集成性机综合处理声、文、图等信息，构造具有集成性和交互性系统的技术。和交互性系统的技术。 把一台普通的计算机变成多媒体计算机要解决把一台普通的计算机变成多媒体计算机要解决的关键技术是视频、音频信号的获取技术和多媒的关键技术是视频、音频信号的获取技术和多媒体数据压缩、编码、解码技术。体数据压缩、编码、解码技术。7.1.1 多媒体技术的基础知识 1 1数字声音数字声音 声音是携带信息的重要媒体，是多媒体技术声音是携带信息的重要媒体，是多媒体技术研究中的一个重要内容。声音的种类繁多，如人研究中的一个重要内容。声音的种类繁多，如人的话音、乐器声、动物发出的声音、机器产生的的话音、乐器声、

4、动物发出的声音、机器产生的声音，以及自然界的雷声、风声和雨声等。这些声音，以及自然界的雷声、风声和雨声等。这些声音有许多共同的特性，也有它们各自的特性。声音有许多共同的特性，也有它们各自的特性。用计算机处理这些声音时，既要考虑它们的共性，用计算机处理这些声音时，既要考虑它们的共性，又要利用它们各自的特性。又要利用它们各自的特性。 7.1.1 多媒体技术的基础知识（1 1）声音的特性）声音的特性 声音是通过空气传播的一种连续的波，叫声音是通过空气传播的一种连续的波，叫声波。声音的两个基本参数是幅度和频率。声波。声音的两个基本参数是幅度和频率。人们通常听到的声音并不是单一频率的声人们通常听到的声音

5、并不是单一频率的声音，而是许多频率不同的音频信号组成的，音，而是许多频率不同的音频信号组成的，声音信号的频率范围称为带宽，如高保真声音信号的频率范围称为带宽，如高保真声音的频率范围为声音的频率范围为1010HzHz20000Hz20000Hz，它的带它的带宽约为宽约为2020kHzkHz。 7.1.1 多媒体技术的基础知识亚音信号：亚音信号：音频信号：音频信号：话音信号：话音信号：超音频信号：超音频信号： 频率小于频率小于2020HzHz的信号的信号 频率范围为频率范围为2020HzHz20kHz20kHz的信号的信号 人的发音器官发出的声音频率大人的发音器官发出的声音频率大约是约是8080H

6、zHz一一34003400HzHz，人说话时信号人说话时信号频率通常为频率通常为300300HzHz3000Hz3000Hz 高于高于2020kHzkHz的信号的信号 7.1.1 多媒体技术的基础知识 （2 2）数字音频）数字音频 数字音频基础知识包括音频数据采样、加工处数字音频基础知识包括音频数据采样、加工处理、压缩、存储及音频文件格式、数字音频处理理、压缩、存储及音频文件格式、数字音频处理软件功能等。软件功能等。 声音是连续的震动的波，通常用随时间变化的声音是连续的震动的波，通常用随时间变化的连续波形模拟表示。一般有连续波形模拟表示。一般有3 3个物理量描述个物理量描述: :振幅、振幅、周

7、期、频率。周期、频率。 振幅:波形的最高点（或最低点）与基线间距离为振幅，振幅表示声音的强弱。 周期:两个连续波峰间时间的长度为周期。 频率:一秒钟内出现的周期数即震动次数，以Hz为单位。 7.1.1 多媒体技术的基础知识 代表声音的模拟信息是一个连续的正弦波，代表声音的模拟信息是一个连续的正弦波，不能由计算机直接处理，必须将其数字化。数字不能由计算机直接处理，必须将其数字化。数字化过程如图化过程如图7.1 7.1 所示。所示。 7.1.1 多媒体技术的基础知识 采样采样: :按规则的时间间隔对模拟信号进行测按规则的时间间隔对模拟信号进行测量叫做采样，在采样时刻获得的幅度值为模拟信量叫做采样，

8、在采样时刻获得的幅度值为模拟信号的振幅，其时间间隔为采样周期。如图号的振幅，其时间间隔为采样周期。如图7.27.2所示。所示。 7.1.1 多媒体技术的基础知识 奈奎斯特理论指出奈奎斯特理论指出: :采样频率不应低于声音信采样频率不应低于声音信号最高频率的两倍，这样就能把以数字表达的声号最高频率的两倍，这样就能把以数字表达的声音还原成原来的声音，这叫做无损数字化。音还原成原来的声音，这叫做无损数字化。 采样定律为采样定律为: :Fs2F Fs2F 或或TsT/2TsT/2 其中其中: :F F为被采样信号的最高频率。为被采样信号的最高频率。 T T为被采样信号的周期。为被采样信号的周期。7.1

9、.1 多媒体技术的基础知识 （3 3）音频文件格式）音频文件格式 采样后的声音以文件方式存储后，方可进行声采样后的声音以文件方式存储后，方可进行声音处理。声音文件有多种格式，目前常用的有四音处理。声音文件有多种格式，目前常用的有四种种: :1) 1) 波形音频文件波形音频文件 扩展名扩展名. .wavwav。2) 2) 数字乐器数字乐器MIDIMIDI音频文件音频文件 扩展名扩展名. .midmid。3) 3) 光盘数字音频文件光盘数字音频文件( (CD-DA) CD-DA) 扩展名扩展名. .cdacda。4) 4) 网络数字音频文件网络数字音频文件 扩展名扩展名. .auau。7.1.1

10、多媒体技术的基础知识 2. 2. 计算机中的颜色模型计算机中的颜色模型 自然界多姿多彩的景物通过人们的视觉自然界多姿多彩的景物通过人们的视觉器官在大脑中留下印象，这就是图像。图器官在大脑中留下印象，这就是图像。图像是计算机中一类重要而常用的多媒体信像是计算机中一类重要而常用的多媒体信息。为了了解人的视觉系统如何认识色彩，息。为了了解人的视觉系统如何认识色彩，计算机中如何表示彩色图像，我们介绍表计算机中如何表示彩色图像，我们介绍表示数字彩色图像所需要的基本知识。示数字彩色图像所需要的基本知识。7.1.1 多媒体技术的基础知识 （1 1）视觉系统对颜色的感知）视觉系统对颜色的感知 颜色的实质是一种

11、光波，是视觉系统对可见颜色的实质是一种光波，是视觉系统对可见光的感知结果。它的存在是因为有光的感知结果。它的存在是因为有3 3个实体，即光个实体，即光线、被观察的对象以及观察者。人眼对颜色的感线、被观察的对象以及观察者。人眼对颜色的感知是把颜色当作由被观察对象吸收或者反射不同知是把颜色当作由被观察对象吸收或者反射不同波长的光波形成的。可见光是波长在波长的光波形成的。可见光是波长在380380nmnm780nm780nm之间的电磁波，人们看到的大多数光不是一之间的电磁波，人们看到的大多数光不是一种波长的光，而是由许多不同波长的光组合成的。种波长的光，而是由许多不同波长的光组合成的。 7.1.1

12、多媒体技术的基础知识 自然界中的任何一种颜色都可以由-红、绿、蓝(R，G，B)这3种颜色值之和来确定，它们构成一个三维的RGB矢量空间。这就是说，R，G，B的数值不同，混合得到的颜色就不同，也就是光波的波长不同。 7.1.1 多媒体技术的基础知识（2 2）图像的颜色模型）图像的颜色模型 理论上，任何一种颜色都可用红、绿、蓝理论上，任何一种颜色都可用红、绿、蓝3 3种种基本颜色按不同的比例混合得到，称为相加混色。基本颜色按不同的比例混合得到，称为相加混色。相加混色是计算机应用中定义颜色的基本方法。相加混色是计算机应用中定义颜色的基本方法。一个能发出光波的物体称为有源物体，它的颜色一个能发出光波的

13、物体称为有源物体，它的颜色由该物体发出的光波决定，并且使用由该物体发出的光波决定，并且使用RGBRGB相加混色相加混色模型。模型。 7.1.1 多媒体技术的基础知识 在计算机中，在计算机中，将红、绿、蓝将红、绿、蓝3 3种颜色分别按种颜色分别按光强度光强度( (深浅深浅) )的不同分为的不同分为256256个级别，个级别，0 0级实级实际上是黑色，际上是黑色，255255级是纯色级是纯色( (红、绿或蓝红、绿或蓝) )，分别用分别用8 8位二进位二进制数表示，每制数表示，每个像素占个像素占2424位。位。 7.1.1 多媒体技术的基础知识 除了除了RGBRGB模型之外，还可以用颜色的模型之外，

14、还可以用颜色的3 3个特性个特性来区分颜色，它们是色调，饱和度和明度，称来区分颜色，它们是色调，饱和度和明度，称为为HSBHSB颜色模型。颜色模型。 色调又称为色相，指颜色的外观，用于区色调又称为色相，指颜色的外观，用于区别颜色的名称或颜色的种类。别颜色的名称或颜色的种类。 饱和度是指颜色的纯洁性，它可用来区别饱和度是指颜色的纯洁性，它可用来区别颜色明暗的程度。颜色明暗的程度。 明度是视觉系统对可见物体辐射或者发光明度是视觉系统对可见物体辐射或者发光多少的感知属性。多少的感知属性。 7.1.1 多媒体技术的基础知识 如果对连续图像如果对连续图像f (xf (x，y)y)的坐标按一定顺序的坐标按

15、一定顺序进行等间隔的采样，而对每一点的灰度也用等进行等间隔的采样，而对每一点的灰度也用等间隔进行整量，并且假设在间隔进行整量，并且假设在( (x x，y)y)方向上均取方向上均取N N个间隔，那么就可以得到一个个间隔，那么就可以得到一个N NN N的数组，便的数组，便把它称为数字图像把它称为数字图像( (digital image)digital image)。数组中的数组中的每一个数据都是数字图像的一个元素，称为图每一个数据都是数字图像的一个元素，称为图像元素，简称像素像元素，简称像素( (pixel)pixel)或者像元。或者像元。 7.1.1 多媒体技术的基础知识这就是一幅灰度图像在计算

16、机中的表示，通常是这就是一幅灰度图像在计算机中的表示，通常是将这些数据一行一行地存放在图像文件中。将这些数据一行一行地存放在图像文件中。 7.1.1 多媒体技术的基础知识 在计算机中，表示图像有两种方法，一种是在计算机中，表示图像有两种方法，一种是用一系列的计算机指令来表示一幅图。如对于用一系列的计算机指令来表示一幅图。如对于直线，图像文件中记录直线，图像文件中记录lineline，start-pointstart-point，end-pointend-point；对于圆，图像文件中记录对于圆，图像文件中记录circlecircle，center_xcenter_x，center_ycente

17、r_y，radiusradius，这样记录的文这样记录的文件不会随图像的尺寸改变而改变，也不存在采件不会随图像的尺寸改变而改变，也不存在采样分辨率的问题，只与显示的尺寸和显示分辨样分辨率的问题，只与显示的尺寸和显示分辨率有关，这样的图像称为矢量图像，或矢量图，率有关，这样的图像称为矢量图像，或矢量图，而矢量图像通常叫做图形。而矢量图像通常叫做图形。 7.1.1 多媒体技术的基础知识 对于复杂的图像，很难用数学方法对其进行对于复杂的图像，很难用数学方法对其进行描述，比如一幅照片，这时就使用记录每一个描述，比如一幅照片，这时就使用记录每一个离散点的颜色的方法离散点的颜色的方法( (就是前面介绍的采

18、样、量就是前面介绍的采样、量化和编码化和编码) )来描述图像，这种图像叫位图图像。来描述图像，这种图像叫位图图像。位图图像把一幅图分成许许多多的像素，每个位图图像把一幅图分成许许多多的像素，每个像素用若干个二进制位来表示该像素的颜色和像素用若干个二进制位来表示该像素的颜色和亮度。亮度。 7.1.1 多媒体技术的基础知识 位图图像按颜色又分为灰度图像和彩色图位图图像按颜色又分为灰度图像和彩色图像，灰度图像的颜色只有黑白和浓淡之分，只像，灰度图像的颜色只有黑白和浓淡之分，只有黑白两种颜色的称为单色图像。灰度图像还有黑白两种颜色的称为单色图像。灰度图像还有有1616级、级、256256级灰度。彩色图

19、像有红、绿、蓝级灰度。彩色图像有红、绿、蓝等丰富的色彩，有等丰富的色彩，有1616色、色、256256色和色和2424位真彩色位真彩色之分。之分。 7.1.1 多媒体技术的基础知识 4. 4. 图像文件格式图像文件格式（1 1）BMPBMP（bitmap-filebitmap-file）位图文件位图文件 位图文件后缀名以位图文件后缀名以bmpbmp结尾，是微软公司为其结尾，是微软公司为其WindowsWindows环境环境设置的标准图像格式，在设置的标准图像格式，在WindowsWindows系统中提供了一系列系统中提供了一系列支持支持BMPBMP图像处理的图像处理的APlAPl函数。随着函数

20、。随着WindowsWindows在世界范围在世界范围内的不断普及，内的不断普及，BMPBMP文件格式无疑也已经成为文件格式无疑也已经成为PCPC机上的机上的流行图像文件格式。流行图像文件格式。 在每个在每个BMPBMP文件中只能存放一幅图像。文件中只能存放一幅图像。BMPBMP图像质量较图像质量较高，没有数据损失。高，没有数据损失。BMPBMP图像文件格式可以存储单色、图像文件格式可以存储单色、1616色、色、256256色以及真彩色四种图像数据。色以及真彩色四种图像数据。 7.1.1 多媒体技术的基础知识 （2 2）GIF(graphics interchangeGIF(graphics

21、interchange format format图形交换格式图形交换格式) ) GIF GIF是一种常用的跨平台的位图文件格是一种常用的跨平台的位图文件格式，存储的是式，存储的是8 8位图像文件，最多为位图像文件，最多为256256色，色，常用于网络传输。常用于网络传输。GIFGIF是是CompuServeCompuServe公司公司开发的图像文件存储格式。开发的图像文件存储格式。 7.1.1 多媒体技术的基础知识（3 3）JPEG(Joint Photographic Experts Group)JPEG(Joint Photographic Experts Group) JPEG JPE

22、G是一个由是一个由ISO(International Standard ISO(International Standard O r g a n i z a t i o nO r g a n i z a t i o n 国 际 标 准 化 组 织国 际 标 准 化 组 织 ) ) 和和 I E C I E C (International Electrotechnics Committee(International Electrotechnics Committee国际电工委员会国际电工委员会) )联合组成的一个专家组，负责联合组成的一个专家组，负责制定静态的数字图像数据压缩编码标准，这个制

23、定静态的数字图像数据压缩编码标准，这个专家组开发的算法称为了专家组开发的算法称为了JPEGJPEG算法，并且成为算法，并且成为国际上通用的标准，因此又称为国际上通用的标准，因此又称为JPEGJPEG标准，相标准，相应的文件存储格式为应的文件存储格式为. .jpgjpg格式。格式。JPEGJPEG是一个适是一个适用范围很广的静态图像数据压缩标准，既可用用范围很广的静态图像数据压缩标准，既可用于灰度图像又可用于彩色图像。于灰度图像又可用于彩色图像。 7.1.1 多媒体技术的基础知识 5. 5. 视频文件格式视频文件格式（1 1）AVI (audio video interleave)AVI (au

24、dio video interleave) AVI AVI是一种音频视像交插记录的数字视频文件格式。是一种音频视像交插记录的数字视频文件格式。 （2 2）RMRM RM RM格式是格式是Real NetworksReal Networks公司开发的一种流媒体视频公司开发的一种流媒体视频文件格式，它主要包含文件格式，它主要包含RealAudioRealAudio，Real VideoReal Video和和Real Real Flash 3Flash 3部分。部分。Real MediaReal Media可以根据网络数据传输的不可以根据网络数据传输的不同速率制定不同的压缩比率，从而实现在低速率的

25、同速率制定不同的压缩比率，从而实现在低速率的InternetInternet上进行视频文件的实时传送和播放。上进行视频文件的实时传送和播放。 （3 3）ASF(advanced streaming format)ASF(advanced streaming format) ASF ASF是由是由MicrosoftMicrosoft公司推出的一种高级流媒体格式，公司推出的一种高级流媒体格式，也是一个可以在也是一个可以在InternetInternet上实现实时播放的标准，上实现实时播放的标准， 7.1.1 多媒体技术的基础知识 （4 4）DV(digital video)DV(digital v

26、ideo) DV DV格式是一种国际通用的数字视频标格式是一种国际通用的数字视频标准，由准，由SONYSONY和和PanasonicPanasonic等等1010余家公司共余家公司共同开发的，可以在一盘同开发的，可以在一盘1/41/4英寸的金属蒸英寸的金属蒸镀带镀带( (MiniDVMiniDV格式格式) )上记录高质量的数字视上记录高质量的数字视音频信号。音频信号。 7.1.2 多媒体计算机系统的组成 多媒体系统是一个能处理多媒体信息的计算多媒体系统是一个能处理多媒体信息的计算机系统。它是在现有机系统。它是在现有PCPC计算机基础上加上硬件计算机基础上加上硬件板卡和相应的软件，使其具有综合处

27、理声音、板卡和相应的软件，使其具有综合处理声音、文字、图像、视频等多种媒体信息的多功能计文字、图像、视频等多种媒体信息的多功能计算机。可见，多媒体系统是计算机和视觉、听算机。可见，多媒体系统是计算机和视觉、听觉等多种媒体系统的综合。多媒体计算机系统觉等多种媒体系统的综合。多媒体计算机系统与普通计算机一样，也是由多媒体硬件和多媒与普通计算机一样，也是由多媒体硬件和多媒体软件两部分组成。体软件两部分组成。 7.1.2 多媒体计算机系统的组成 1 1多媒体系统的硬件结构多媒体系统的硬件结构 多媒体计算机的硬件系统是由主机、视多媒体计算机的硬件系统是由主机、视频部分、音频部分、基本输入频部分、音频部分

28、、基本输入/ /输出部分、输出部分、高级多媒体设备等高级多媒体设备等5 5部分组成，如图部分组成，如图7.6 7.6 所示所示: :图7.6 多媒体系统的硬件结构7.1.2 多媒体计算机系统的组成 (1)(1)主机主机 (2) (2)视频部分视频部分 (3) (3)音频部分音频部分 (4) (4)基本输入基本输入/ /输出设备输出设备 (5) (5)高级多媒体设备高级多媒体设备主机是多媒体计算机的核心，可以是大/中型计算机，也可以是工作站，用的最多的还是微机。目前主机主板上可能集成有多媒体专用芯片。 视频部分负责多媒体计算机图像和视频信息的数字化摄取和回放。主要包括视频压缩卡(也称视频卡)、电

29、视卡、加速显示卡等。完成视频信号的A/D和D/A转换及数字视频的压缩和解压缩功能。音频部分主要完成音频信号的A/D和D/A转换及数字音频的压缩、解压缩及播放等功能，主要包括声卡、外接音箱、话筒、耳麦、MIDI设备等。 多媒体输入/输出设备十分丰富，按功能分为视频/音频输入设备、视频/音频输出设备、人机交互设备、数据存储设备。 随着科技的进步，出现了一些新的输入/输出设备，比如用于传输手势信息的数据手套，用于虚拟现实能够产生较好的沉浸感的数字头盔和立体眼镜等设备。7.1.2 多媒体计算机系统的组成 2 2多媒体软件系统多媒体软件系统 多媒体软件系统按功能可分为系统软件和应多媒体软件系统按功能可分

30、为系统软件和应用软件。用软件。 系统软件是多媒体系统的核心，它不仅具有系统软件是多媒体系统的核心，它不仅具有综合使用各种媒体、灵活调度多媒体数据进行综合使用各种媒体、灵活调度多媒体数据进行媒体传输和处理的能力，而且要控制各种媒体媒体传输和处理的能力，而且要控制各种媒体硬件设备协调地工作。多媒体系统软件主要包硬件设备协调地工作。多媒体系统软件主要包括多媒体操作系统、媒体素材制作软件及多媒括多媒体操作系统、媒体素材制作软件及多媒体函数库、多媒体创作工具与开发环境、多媒体函数库、多媒体创作工具与开发环境、多媒体外部设备驱动软件和驱动器接口程序等。体外部设备驱动软件和驱动器接口程序等。 7.1.2 多

31、媒体计算机系统的组成 应用软件是在多媒体创作平台上设计应用软件是在多媒体创作平台上设计开发的面向应用领域的软件系统，通常由开发的面向应用领域的软件系统，通常由应用领域的专家和多媒体开发人员共同协应用领域的专家和多媒体开发人员共同协作、配合完成。开发人员利用开发平台、作、配合完成。开发人员利用开发平台、创作工具，制作组织各种多媒体素材，生创作工具，制作组织各种多媒体素材，生成最终的多媒体应用程序，并在应用中测成最终的多媒体应用程序，并在应用中测试、完善，形成最终的多媒体产品。例如，试、完善，形成最终的多媒体产品。例如，教育软件、电子图书等。教育软件、电子图书等。 7.1.2 多媒体计算机系统的组

32、成 3 3多媒体系统的层次结构多媒体系统的层次结构 多媒体系统的层次结构与计算多媒体系统的层次结构与计算机系统的结构在原则上是相机系统的结构在原则上是相同的，由底层的硬件系统和同的，由底层的硬件系统和其上的各层软件系统组成，其上的各层软件系统组成，只是考虑多媒体的特性各层只是考虑多媒体的特性各层次的内容有所不同，如图次的内容有所不同，如图7.77.7所示。所示。 7.1.3 多媒体关键技术 多媒体技术的研究涉及到诸多问题，其中主要有以下几多媒体技术的研究涉及到诸多问题，其中主要有以下几个方面个方面: : 1 1 1. 1. 数据压缩数据压缩2 2数据的组织与管理数据的组织与管理 3 3多媒体信

33、息的展现与交互多媒体信息的展现与交互 4 4多媒体通信与分布处理多媒体通信与分布处理 5 5虚拟现实技术虚拟现实技术 7.2 多媒体数据编码及压缩 编码是指将语音或视频模拟信号改编成数字信号的编码是指将语音或视频模拟信号改编成数字信号的过程。解码是指将数字信号转换成模拟信号的过程。过程。解码是指将数字信号转换成模拟信号的过程。 数据编码的前提是数字化，它包括空间、时间采样数据编码的前提是数字化，它包括空间、时间采样和幅度量化。数据压缩的目的是为了便于存储和传输，和幅度量化。数据压缩的目的是为了便于存储和传输，而为了对数据进行还原，还必须进行解压缩，因此，数而为了对数据进行还原，还必须进行解压缩

34、，因此，数据压缩通常包含对数据的编码和解码。据压缩通常包含对数据的编码和解码。 随着多媒体技术的发展，数据压缩技术的研究受到随着多媒体技术的发展，数据压缩技术的研究受到人们越来越多的重视。在计算机系统中，大量信息需要人们越来越多的重视。在计算机系统中，大量信息需要在有限的硬盘上存储；在计算机网络中，这些海量信息在有限的硬盘上存储；在计算机网络中，这些海量信息需要在较窄的信道中传输。如何有效地减少存储量和提需要在较窄的信道中传输。如何有效地减少存储量和提高传输速度就成为一个关键问题。数据压缩是解决这一高传输速度就成为一个关键问题。数据压缩是解决这一问题的有效方法。问题的有效方法。 7.2.1 数

35、据压缩的必要性 为什么数据需要压缩呢为什么数据需要压缩呢? ? 这是因为多媒体技术是面向三维图像以及动画、音频、视频等的处理技术，为了达到令人满意的视频画面质量和音频的听觉效果，必须对视频和音频做到实时处理。而实时处理技术的首要问题便是如何解决计算机系统对庞大的视频、音频等数据的获取、传输和存储问题。也就是庞大的数据量要求人们必须对数据进行压缩。 下面的几个例子说明了不压缩时，数据存储所需要的空间。下面的几个例子说明了不压缩时，数据存储所需要的空间。 【例【例7.17.1】 计算存储计算存储3 3分分3030秒的一首秒的一首CDCD音质的立体声歌音质的立体声歌曲所需的存储空间。曲所需的存储空间

36、。解解: :在在CDCD的音质下采样频率为的音质下采样频率为44.144.1KHzKHz，振幅量子化为振幅量子化为2 2B B，再再考虑立体声，考虑立体声，1 1秒钟的数据量为秒钟的数据量为: : 44.144.1KHzKHz2B2B2 2176.4KB176.4KB3 3分分3030秒的一首歌需要的存储空间为秒的一首歌需要的存储空间为: : 176.4 176.4KBKB210210秒秒3704437044KBKB36.2M36.2M7.2.1 数据压缩的必要性【例【例7.27.2】 计算存储一幅计算存储一幅352352288288的静态真彩色图像的静态真彩色图像需要的存储空间。需要的存储空

37、间。 解解: :存储时，记录每一个像素点的存储时，记录每一个像素点的RGBRGB值，对真彩值，对真彩色来讲，每一个像素用色来讲，每一个像素用3 3B B来记录，因此该图像需要的来记录，因此该图像需要的存储空间为存储空间为: : 352 3522882883 3B B304.13KB304.13KB【例例7.37.3】 计算计算1 1分钟视频所需的存储空间。分辨率为分钟视频所需的存储空间。分辨率为352352288288，每秒，每秒2525帧。不含音频数据。帧。不含音频数据。 解解: :由上题，所占有的存储空间为由上题，所占有的存储空间为 304.13 304.13KBKB25256060456

38、195KB456195KB456.2MB456.2MB7.2.2 数据压缩与编码 1 1无损压缩无损压缩 多余的信息，在技术上称为信息冗余。能够对多媒体信多余的信息，在技术上称为信息冗余。能够对多媒体信息进行压缩的前提就是因为数据中存在大量的冗余，尤其是息进行压缩的前提就是因为数据中存在大量的冗余，尤其是声音和图像。数据压缩的目的就是尽可能地消除这些冗余。声音和图像。数据压缩的目的就是尽可能地消除这些冗余。【例【例7.47.4】 在静态图像中存在的空间冗余。在静态图像中存在的空间冗余。 如大部分区域是白色的背景。当连续出现如大部分区域是白色的背景。当连续出现80008000个白色像素个白色像素

39、时，原始信息要连续记录时，原始信息要连续记录80008000个白色的个白色的RGBRGB值值（255.255.255255.255.255）。如果改用一个简单的记法）。如果改用一个简单的记法: :用用“8000“8000个白个白色像素色像素”这样一句话来替代这样一句话来替代80008000个白色的个白色的RGBRGB值，信息量将值，信息量将会大大减少。会大大减少。80008000个白色的个白色的RGBRGB值：值：3 3B B8000800024000B24000B24KB24KB80008000个白色像素：个白色像素：2 2B B3B3B5B5B 7.2.2 数据压缩与编码 【例【例7.57

40、.5】 在动态视频中存在的时间冗余。在动态视频中存在的时间冗余。 视频序列中相邻的帧具有相同的画面或者几乎视频序列中相邻的帧具有相同的画面或者几乎相同的画面，此时就没有必要记录同样的画面，或相同的画面，此时就没有必要记录同样的画面，或者只记录两幅画面之间的差别即可。者只记录两幅画面之间的差别即可。【例【例7.47.4】和【例】和【例7.57.5】中，数据的压缩利用了原始】中，数据的压缩利用了原始信息中的相关性。具有相关性是信息可以压缩的一信息中的相关性。具有相关性是信息可以压缩的一个重要的原因。利用信息相关性进行的数据压缩，个重要的原因。利用信息相关性进行的数据压缩，并不损失原信息的内容，因此

41、可实现无损压缩。无并不损失原信息的内容，因此可实现无损压缩。无损压缩是一种可逆压缩，即经过压缩后可以将原来损压缩是一种可逆压缩，即经过压缩后可以将原来文件中包含的信息完全保留的一种数据压缩方式。文件中包含的信息完全保留的一种数据压缩方式。 7.2.2 数据压缩与编码 2. 2. 行程编码行程编码RELREL RLE RLE是无损压缩的编码。现实中有许多这样的图像，在是无损压缩的编码。现实中有许多这样的图像，在一幅图像中具有许多颜色相同的像素。连续许多行上都具一幅图像中具有许多颜色相同的像素。连续许多行上都具有相同的颜色，或者在一行上有许多连续的像素都具有相有相同的颜色，或者在一行上有许多连续的

42、像素都具有相同的颜色值。在这种情况下就不需要存储每一个像素的颜同的颜色值。在这种情况下就不需要存储每一个像素的颜色值，实际上，仅存储一个像素的颜色值，以及具有相同色值，实际上，仅存储一个像素的颜色值，以及具有相同颜色的像素数目就可以了，或者存储一个像素的颜色值，颜色的像素数目就可以了，或者存储一个像素的颜色值，以及具有相同颜色值的行数。这种压缩编码称为行程编码以及具有相同颜色值的行数。这种压缩编码称为行程编码( (run length encodingrun length encoding，RLE)RLE)。 7.2.2 数据压缩与编码原来所需的存储空间为:503B+23B+13B+93B+7

43、23B402B编码后需要的存储空间为(假设行程的长度值用2B来存储):2B+3B+2B+3B+3B+2B+3B+2B+3B23B编码前后的数据量之比大约为17.5:1。7.2.2 数据压缩与编码3. 3. 音频波形的音频波形的PCMPCM编码编码PCMPCM是概念上最简单，理论上最完善的编码是概念上最简单，理论上最完善的编码系统。采样和量化本身就是一个编码和压系统。采样和量化本身就是一个编码和压缩的过程。将音频数字化，最常见的方式缩的过程。将音频数字化，最常见的方式是脉冲编码调制是脉冲编码调制PCM(pulse code PCM(pulse code modulation)modulation

44、)。在图在图7.97.9中的曲线表示了原中的曲线表示了原始的音频波形。始的音频波形。7.2.2 数据压缩与编码【例【例7.77.7】 在图在图7.97.9中，采用了中，采用了2020个采样点；使用了个采样点；使用了4 4位量化。各采样点的数据如表位量化。各采样点的数据如表7.27.2所示。所示。表表7.2 7.2 PCMPCM编码后的数据编码后的数据 7.2.3 多媒体数据压缩标准 前面介绍了数据压缩的基本概念和基本方法，随前面介绍了数据压缩的基本概念和基本方法，随着数据压缩技术的发展，一些经典编码方法趋于成着数据压缩技术的发展，一些经典编码方法趋于成熟，为使数据压缩走向实用化和产业化，近年来

45、一熟，为使数据压缩走向实用化和产业化，近年来一些国际标准组织成立了数据压缩和通信方面的专家些国际标准组织成立了数据压缩和通信方面的专家组，制定了几种数据压缩编码标准，并且很快得到组，制定了几种数据压缩编码标准，并且很快得到了产业界的认可。了产业界的认可。 目前已公布的数据压缩标准有目前已公布的数据压缩标准有: :用于静止图像压用于静止图像压缩的缩的JPEGJPEG标准；用于视频和音频编码的标准；用于视频和音频编码的MPEGMPEG系列标系列标准准( (包括包括MPEG-1MPEG-1、MPEG-2MPEG-2、MPEG-4MPEG-4等等) )；用于视频和；用于视频和音频通信的音频通信的H.2

46、61H.261标准；用于二值图像编码的标准；用于二值图像编码的JBIGJBIG标标准等。准等。 7.3 多媒体硬件基础 多媒体系统在硬件方面，根据应用不同，多媒体系统在硬件方面，根据应用不同，其配置也各异，基本配置见图其配置也各异，基本配置见图7.57.5。其中有些。其中有些设备是多媒体系统必需的，如光盘、光盘驱设备是多媒体系统必需的，如光盘、光盘驱动器、视频、音频信息数字化、压缩及还原动器、视频、音频信息数字化、压缩及还原设备、设备、AGPAGP适配器、音乐设备数字接口适配器、音乐设备数字接口MIDIMIDI等。等。有的尚可配置触摸屏、话筒、摄像机、录像有的尚可配置触摸屏、话筒、摄像机、录像

47、机、扫描仪等设备。对于多媒体创作系统，机、扫描仪等设备。对于多媒体创作系统，则应配置可读写的光盘等等则应配置可读写的光盘等等。 7.3.1 音频卡 7.3.1 音频卡 工作过程如下工作过程如下: : (1) (1)MICMIC输入的音频信号经放大器进行放大，或由线路输入的音频信号经放大器进行放大，或由线路输入输入( (Line in)Line in)的信号经的信号经A/DA/D以设置的速率进行采样并量化以设置的速率进行采样并量化变成数字信号，然后将该信号送数字声音处理器进行处理。变成数字信号，然后将该信号送数字声音处理器进行处理。 (2) (2)数字声音处理器对数字音频信号进行数字声音处理器对

48、数字音频信号进行PCMPCM、DPCMDPCM或或ADPCMADPCM压缩，在压缩，在WindowsWindows下形成后缀为下形成后缀为wavwav的文件，经总线接的文件，经总线接口和控制器进行存盘。当播放存盘的口和控制器进行存盘。当播放存盘的wavwav文件时，再通过文件时，再通过PCPC总线经总线接口和控制器送入数字声音处理器进行解压缩，总线经总线接口和控制器送入数字声音处理器进行解压缩，将解压缩后的数字音频信号送将解压缩后的数字音频信号送D/AD/A转换器。转换器。(3)(3)由由D/AD/A转换器将数字音频信号转换成模拟音频信号，再转换器将数字音频信号转换成模拟音频信号，再经功率放大

49、器放大后，送扬声器放音。经功率放大器放大后，送扬声器放音。 7.3.1 音频卡 工作过程如下工作过程如下: : (4) (4) MIDIMIDI乐器接口乐器接口 ( (MIDIMIDI，Musicallnstrument Device Musicallnstrument Device Interface)Interface)可传送可传送MIDIMIDI消息，使音乐合成器根据消息，使音乐合成器根据MIDIMIDI消息合成音消息合成音乐，也可将由乐，也可将由MIDIMIDI设备产生的音乐以设备产生的音乐以MIDIMIDI文件形式存盘，文件形式存盘，MIDIMIDI文文件所占的存储量比对同一音乐进行

50、采样并以件所占的存储量比对同一音乐进行采样并以wavwav文件存盘所占存文件存盘所占存储量要少得多。储量要少得多。 (5) (5)音乐合成器有两种，合成器分为基本型合成器和扩展合成音乐合成器有两种，合成器分为基本型合成器和扩展合成器。从器。从MIDIMIDI文件或文件或MIDIMIDI键盘来的键盘来的MIDIMIDI消息，由合成器将其转换成消息，由合成器将其转换成合成音乐送扬声器放音。合成音乐送扬声器放音。 (6) (6)通过游戏杆可玩游成，并配合音响效果，使得游戏更能吸通过游戏杆可玩游成，并配合音响效果，使得游戏更能吸引人。引人。(7)(7)在在CD-ROMCD-ROM中的音频信号，也可直接

51、由声卡放大送扬声器放音。中的音频信号，也可直接由声卡放大送扬声器放音。 7.3.1 音频卡 2. 2. 音频卡的性能指标音频卡的性能指标（1 1）数据转换位数）数据转换位数 分为分为8 8位、位、1616位、位、3232位等，配置位等，配置多媒体计算机时，最好采用多媒体计算机时，最好采用1616位以上声卡。位以上声卡。（2 2）采样频率）采样频率 指单位时间对声音信号的采样次数。指单位时间对声音信号的采样次数。采样频率越高，声音失音度越小，但产生的数据量越采样频率越高，声音失音度越小，但产生的数据量越大。配置多媒体计算机时，最好采支持大。配置多媒体计算机时，最好采支持44.144.1kHZkH

52、Z采样频采样频率的声卡。率的声卡。 （3 3）兼容性）兼容性 兼容性好的声卡可以与更多的软件较兼容性好的声卡可以与更多的软件较好地配合工作。好地配合工作。7.3.2 视频卡 基于视频处理器基于视频处理器VxP500VxP500的视频采集卡的功能模块主要包的视频采集卡的功能模块主要包括括: :VxP500VxP500视频处理模块、视频处理模块、A/DA/D转换模块、转换模块、D/AD/A转换模块、转换模块、DRAMDRAM缓存、缓存、VGA FeatureVGA Feature连接器、连接器、ISAISA总线接口等，如图总线接口等，如图7.117.11所示所示 ：7.3.2 视频卡 视频解码器视

53、频解码器( (A/D)A/D)接口视频源可以是摄像接口视频源可以是摄像机、录像机、摄像头等所输出的视频信号，机、录像机、摄像头等所输出的视频信号，它们可分别插在视频采集卡的输入插孔上，它们可分别插在视频采集卡的输入插孔上，通过软件选中所需的视频源，送到视频解码通过软件选中所需的视频源，送到视频解码器接口。视频输入解码器有一个模数转换器，器接口。视频输入解码器有一个模数转换器，其任务是对视频信号解码和数字化。其任务是对视频信号解码和数字化。7.3.3 显示卡 显示卡是工作在显示卡是工作在CPUCPU和显示器之间的显示适配器和显示器之间的显示适配器的简称。通常显示卡是以附加独立卡的形式安装的简称。

54、通常显示卡是以附加独立卡的形式安装在电脑主板的扩展槽中，或集成在主板上。与集在电脑主板的扩展槽中，或集成在主板上。与集成在主板上的显示卡相比，独立显示卡性能优越、成在主板上的显示卡相比，独立显示卡性能优越、工作稳定。工作稳定。 7.3.3 显示卡 1 1显示卡的显示模式与接口显示卡的显示模式与接口 显卡的接口是连接显卡和显卡的接口是连接显卡和CPUCPU的通道，按照图像显示模的通道，按照图像显示模式，显示卡可分为式，显示卡可分为2 2类类, ,PCIPCI模式和模式和AGPAGP模式。模式。 PCI PCI模式：模式：PCIPCI总线结构，以总线结构，以1/21/2或或1/31/3的系统总线频

55、率工的系统总线频率工作，通常为作，通常为3333HzHz。如果要在处理图像数据的同时处理其它如果要在处理图像数据的同时处理其它数据，那么流经数据，那么流经PCIPCI总线的全部数据就必须分别第进行处总线的全部数据就必须分别第进行处理，这样势必存在数据滞留现象。理，这样势必存在数据滞留现象。 AGP AGP模式：模式：AGPAGP接口是一种显示接口，具有独占总线的特接口是一种显示接口，具有独占总线的特性。只有图像数据才能通过性。只有图像数据才能通过AGPAGP接口，有效地解决了在数接口，有效地解决了在数据量大时据量大时PCIPCI模式的数据滞留问题。模式的数据滞留问题。 7.3.3 显示卡 2

56、2显示卡的功能分类显示卡的功能分类显示卡按功能分类显示卡按功能分类: : (1) (1) 一般显示卡一般显示卡 完成显示基本功能，其性能由品牌、完成显示基本功能，其性能由品牌、工艺质量、显存容量等因素确定。工艺质量、显存容量等因素确定。(2) (2) 图形加速卡图形加速卡 目前以目前以AGPAGP显示卡为主，带有图形加速器，显示卡为主，带有图形加速器，显示复杂图像、三维图像速度快。显示复杂图像、三维图像速度快。(3) 3(3) 3D D图形卡图形卡 专为带有专为带有3 3D D图形的应用开发的显示卡图形的应用开发的显示卡( (如高如高档游戏档游戏) )，三维坐标变换速度快，图形动态显示反应灵敏

57、、，三维坐标变换速度快，图形动态显示反应灵敏、清晰。清晰。7.3.4 多媒体I/O设备 触摸屏触摸屏 触摸屏作为多媒体输入设备，已被广泛用于各个行业的触摸屏作为多媒体输入设备，已被广泛用于各个行业的控制、信息查询及其他方面。用手指在屏幕上指点以获取所控制、信息查询及其他方面。用手指在屏幕上指点以获取所需的信息，具有直观、方便的特点，就是从未接触过计算机需的信息，具有直观、方便的特点，就是从未接触过计算机的人也能立即使用。触摸屏引入后可以改善人机交互方式，的人也能立即使用。触摸屏引入后可以改善人机交互方式，同时提高人机交互效率。同时提高人机交互效率。(1)(1)触摸屏的适用领域触摸屏的适用领域(2)(2)触摸屏基本原理触摸屏基本原理(3)(3)触摸屏组成触摸屏组成(4)(4)触摸屏种类触摸屏种类 自动控制及检测，用于管理或控制系统中最低层、最高层人员的人机接口；展示与演示系统，用于大型博览会、展销会的产品演示、介绍；信息检索和查询，用于银行、医疗、交通、商场、酒店等公共场所的各种信息查询；培训和教育，提供直观、快速的学习方式。 触摸屏是一种定位设备，当用户用手触摸安装在计算机显示器前的触摸屏时，触摸到的位置被触摸屏控制器检测到，并通过串行口或其它接口送到CPU，从而确定用户所输入的信息。 传感器、控制器、驱动程序。传感