第6章多媒体基础

16.1多媒体技术概述6.2音频信息的表示和处理6.3图形图像的表示和处理6.4视频信息处理6.5动画（了解）6.6多媒体数据压缩标准（选讲）第6章多媒体基础第一页，共六十六页。2一、多媒体的概念

媒体：即信息的载体两种含义：（1）存储信息的载体，如磁盘、存储器等（2）传递信息的载体，如数字，声音等其中（2）为主要学习范畴。6.1多媒体技术概述第二页，共六十六页。3媒体分类:

视觉、听觉、触觉等多媒体：直接作用于人的感官的文字、图形、图像、动画、声音和影像等各种媒体的统称，是多种信息载体的表现形式和传递方式。多媒体技术：把文字、图形、图像、动画、音频和视频等各种媒体通过计算机进行数字化的采集、获取、加工处理、存储和传播而综合为一体化的技术。第三页，共六十六页。4二、多媒体技术的特性多样性集成性

多媒体信息的集成设备和软件的集成交互性数字化第四页，共六十六页。5三、多媒体信息的类型

文本、图形、图像、动画、视频和音频

文本

（计算机中基本的信息表示方式，包括字母、数字及各种符号）

图形（通过绘图软件绘制的直线、圆、圆弧、曲线等组成的画面，以矢量图形文件保存，保存其生成图形的指令）第五页，共六十六页。6三、多媒体信息的类型图像（通过扫描仪等输入设备捕捉的真实场景的画面，数字化后以位图格式存储。）动画（制作软件有flash、3DSMAX等）视频（来自摄像机等视频信号源的影像，数字化后以视频文件格式存储）音频（包括语音、音乐及各种动物和自然界发出的声音等）第六页，共六十六页。7四、多媒体技术的发展历史1984年Apple公司Macintosh机bitmap1986年Philips、Sony推出650M光盘1989年Intel的DVI(交互数字视频)1992年Intel将DVI用于主板1990S，图像压缩/解压方案MPEG第七页，共六十六页。8五、多媒体技术的应用领域多媒体教育电子出版物报纸，教材，辞典，数据库文献1张光盘可存储600本50万汉字的书多媒体网络应用互联网的直播、视频点播、远程教育、视频会议系统第八页，共六十六页。96.2音频的表示和处理6.2.1音频的数字化（重点）6.2.2声音合成技术6.2.3常用的音频文件格式6.2.4声音处理软件第九页，共六十六页。10声音：具有振幅周期性的声波3个量描述：振幅、周期、频率人耳听觉范围：20~20kHz蚊子声音说话频率：300Hz~3400Hz音频（Audio）音频技术包括：音频信息采集、编码/解码、编辑、传输；音乐合成、语音识别理解、音频视频同步6.2音频信息的表示与处理第十页，共六十六页。116.2.1音频的数字化

多媒体信息在计算机中进行处理，其核心问题是数字化，即转化为二进制数字进行处理，处理后在输出。在其过程中要经过“模数”转换或“数模”转换。音频信号转为数字信号的过程如下：第十一页，共六十六页。12

实现音频的数字化就是将模拟音频信号转换成有限个数字表示的离散序列。音频数字化涉及音频的采样、量化和编码。模拟声音信号采样量化编码数字声音1……6.2.1音频的数字化

选择采样频率，进行采样；选择分辨率，进行量化；形成数字化声音。第十二页，共六十六页。13声音采样计算机并不直接使用连续平滑的波形来表示声音。它是以固定的时间间隔对波形的幅值进行采样，用得到的—系列数字量来表示声音。6.2.1音频的数字化第十三页，共六十六页。14奈奎斯特采样定理：采样频率只要高于被采样信号最高频率的2倍，就能获得满意的声音还原效果。采样频率：单位时间内的采样次数。常用的采样频率：11.025kHz(语言效果)、22.05kHz(音乐效果)和44.1kHz(高保真效果)6.2.1音频的数字化第十四页，共六十六页。15量化6.2.1音频的数字化

采样得到的数据只是一些离散的值，将这些离散的值用计算机中的若干二进制位来表示，这一过程称作量化。显然，量化的过程中要损失一些精度。

量化精度：若采样位数为R，则有2R个量化级；量化级分得越细，对声音信号的反应越灵敏，即量化精度越高，存储的数据量也就越大。第十五页，共六十六页。166.2.1音频的数字化

3位量化只能表示8个值；o．75，0．5，0．25，0，-0．25，-0．5，一0．75和-1，可以看出量化位数越少，波形就越难辨认，还原后的声音质量也就越差。第十六页，共六十六页。17

对声音进行数据压缩，减少数据量，并组织数据，便于存储和处理。（3）编码6.2.1音频的数字化（重点）第十七页，共六十六页。186.2.1音频的数字化

声道数:指声音通道的个数。单声道只记录和产生一个波形，双声道记录和产生两个波形，即立体声，存储空间是单声道的两倍。第十八页，共六十六页。196.2.1音频的数字化

波形声音的主要参数包括：取样频率，量化位数，声道数目，使用的编码方法及码率。码率几即每秒中的数据量，数字声音未压缩前，码率的计算机公式为：

码率（b/s）=采样频率×量化位数×声道数

（要会计算）

例：双声道立体声，采样频率为11.025kHz，8位量化，其码率=11.025*8*2=176.4(kb/s)=22.05(kB/s)

存储1分钟这样的声音数据，容量=22.05(kB/s)×60(s)=1323kB1292KB1.262MB第十九页，共六十六页。20

（1）乐器数字接口MIDI（了解）

MIDI是多媒体计算机所支持的一种声音产生方法，与波形音频产生和记录声音的方法不同，它不支持记录声音的波形信息，而是说明音乐信息的一系列指令，如音符序列、节拍速度等，即它通过描述声音产生数字化的乐谱。

6.2.2声音合成技术第二十页，共六十六页。21

MIDI声音特点：（1）占用数据量小。30分钟的音乐，用MIDI文件记录只需200KB，用16位CD品质的未压缩WAV文件记录需317MB。（2）编辑修改方便灵活。配音比较方便。因为MIDI文件存储的是命令，而不是声音波形；容易编辑。（3）配音比较方便。用作背景音乐，和其它媒体如数字电视、图形、动画、话音等一起播放，加强演示效果。（4）处理语音能力较差，并且受合成器中乐器组合限制，不能保证一个MIDI文件在不同声音卡上播放时效果一样6.2.2声音合成技术第二十一页，共六十六页。22（2）语音合成（Speechsynthesis）语音合成：使计算机模仿人的发声，自动生成语音的过程。合成的语音必须是可理解的，听上去要尽量自然，可理解是一个基本的前提。例如：在股票交易、航班等动态查询，电话中相关信息的查询等就要用到该技术。6.2.2声音合成技术第二十二页，共六十六页。23例：计算机合成的语音和音乐你好，我是贝尔实验室的中文语音合成系统（BellTTS1）南京大学计算机系2002年招收了202名本科生，15名（22名）博士生，130多名硕士生。（中科大讯飞）

（Bell）我们都是同行，我们一路同行，去参加人参培植研讨会（Bell）

（讯飞）计算机合成的MIDI音乐军港之夜（6KB）

需要进一步提高之处：发音和断句要正确，提高自然度，丰富表现力第二十三页，共六十六页。24WAV特点：真实采样，文件大MP3特点：压缩比高，文件小RA、RAM、RM：网络在线收听MIDMIDI格式文件RMIMIDI格式文件（微软）MOD自带波形表，比MID文件大6.2.3常见音频文件格式第二十四页，共六十六页。25波形的剪辑声音强度调节添加声音的特殊效果格式转换功能6.2.4声音处理软件声音处理软件可以对波形音频数据进行加工处理，编辑处理功能主要包括：第二十五页，共六十六页。26超级解霸GoldWaveAudioEditerSoundEditWaveStudioCoolEditPro6.2.4声音处理软件第二十六页，共六十六页。27•图像的数字化•矢量图形表示•图形图像文件格式•图形、图像处理软件6.3图形、图像的表示与处理第二十七页，共六十六页。28

图形:即矢量图形或几何图形，基本元素是图元,即图形命令,用来描述构成画面的直线、矩形、圆、圆弧、曲线等的形状、位置、颜色等各种属性和参数。

图像：点阵图像或位图图像(Bitmap),基本元素是像素。通过描述画面中每一个像素的亮度或颜色来表示画面。图像更逼真；图形是对图像的抽象，图形变换不失真。第二十八页，共六十六页。29

（1）图像的获取计算机获取图像的过程称为图像的获取，其步骤为：

采样量化6.3.1图像的数字化第二十九页，共六十六页。30采样：对图像进行离散化处理。经采样得到N*M的离散样本阵列，整个样本阵列构成位图，每个采样点称为一个像素。量化：对每个采样点的灰度或颜色进行数字化处理，即用二进制进行编码，表示图像的颜色。6.3.1图像的数字化第三十页，共六十六页。31

描述图像的重要属性是：

图像分辨率彩色空间图像颜色深度和最大颜色数图像的数据量（2）图像的表示6.3.1图像的数字化第三十一页，共六十六页。32

图像的分辨率：指图像的尺寸，即水平方向上与垂直方向上所包含的像素个数。

与屏幕分辨率未必相同。

彩色空间：即颜色模型，指图像所使用的彩色描述方法，如：RGB模型、CMYK(青橙黄黑)模型、YUV(亮度、色差)模型。6.3.1图像的数字化第三十二页，共六十六页。33举例：分辨率与图像尺寸的关系520x376260x188130x94

在显示比例相同时，显示在屏幕上的图像尺寸与图像分辨率成正比第三十三页，共六十六页。34

图像颜色深度和最大颜色(灰度)数：

图像颜色深度----组成该图像的所有颜色分量的位数之和，如8位或24位，即表达彩色的所有二进制位数。

最大颜色(灰度)数----指图像中可能出现的不同颜色(灰度)的最大数目。图像颜色深度决定最大颜色(灰度)数6.3.1图像的数字化第三十四页，共六十六页。35

注意：

1位所表示的颜色数为2（黑白）；

8位所表示的颜色数为256（灰色）；

RGB使用24位来表示彩色。6.3.1图像的数字化第三十五页，共六十六页。36

图像数据量：一幅图像的数据量(字节)

图像数据量＝图像宽度×图像高度×图像深度/8几种常用图像的数据量见P1606.3.1图像的数字化第三十六页，共六十六页。37（1）矢量图形的组织

图元：指一些形状简单的物体，如点、直线、曲线、圆、多边形、球体、立方体、矢量字体等。用一组命令和数学公式描述这些图元，包括它们的形状、位置、颜色等信息。

用简单的图元可以构成复杂的图形。6.3.2矢量图形的表示第三十七页，共六十六页。38（2）矢量图形的特点尺寸可以任意变化而不损失图像的质量；快速打印和屏幕显示；文件较小；高度的可编辑性；缺乏真实感。6.3.2矢量图形的表示第三十八页，共六十六页。39(1)位图类图像文件

BMP、GIF、PNG、JPEG、TIFF、RAW等(2)矢量图形文件

SVG、WMF、EPS、CDR等6.3.3常用的图形图像文件格式第三十九页，共六十六页。401.位图类文件格式

BMP

是与设备无关的通用图形图像存储格式，该格式保存时不经过压缩，因此图像质量高，但文件比较大。

JPEG简称为JPG，是一种流行的图像文件压缩文件，是有损压缩，起压缩比为2:1到50:1，适合网上传播。缺点：压缩和还原的速度比较慢。6.3.3静态图像文件格式第四十页，共六十六页。411.位图类文件格式

GIF

是一种与硬件无关的8位彩色文件格式，其文件的大小取决于实际使用的颜色数，压缩时有颜色数量上的压缩，因此，该格式保存时可能有颜色的丢失。Internet上的彩色动画文件多采用该格式。

PNG(便携式网络图片)

是一种位图类型的文件格式，使用无损压缩，该标准允许在一个文件中存储多幅图像，正在网络中广泛应用。6.3.3静态图像文件格式第四十一页，共六十六页。42

2.矢量图形格式

EPS

是与分辨率无关的PostScript文件，该格式的文件可以包括矢量和位图图形，常用在程序间传输PostScript语言编码的图稿。

WMF

广泛应用于Windows平台中，如：剪贴画。

EMF

该格式是WMF格式的增强版。6.3.3静态图像文件格式第四十二页，共六十六页。436.3.4图形、图像处理软件功能：文件处理编辑、绘制：旋转、缩放、cut/paste、填充等效果处理：颜色、纹理、滤镜、锐化、柔化画图工具(mspaint)我行我速；光影魔术手ACESee；FlashPhotoShop；CorelDrawAutoCAD第四十三页，共六十六页。446.4.1视频信息采集6.4.2视频信息主要技术参数6.4.3常见视频文件格式6.4.4视频信息处理软件6.4视频信息处理第四十四页，共六十六页。45

视频：随时间变化的一组活动图像。25,30帧/秒视频信息的采集，目的模拟信号数字信号。设备：视频采集卡（信号转换），如DV卡(1394卡)

视频采集卡包括：视频信号采集模块；音频信号采集模块；总线接口模块。视频采集卡工作方式：静态：单帧采集动态：连续采集

摄像头、数字摄像机等不需视频采集卡。6.4.1视频信息采集第四十五页，共六十六页。46帧速：每秒播放多少幅图像例：30帧/s、25帧/s，连续图像至少>12帧/s视频信息数据量=

每幅图像的数据量*帧速*播放时间例：1280*1024真彩色、30帧/s、1分钟1280*1024*（24/8）*30*60=6.6GB如果不压缩，1张650M的光盘只能播放6秒钟6.4.2视频信息主要技术参数第四十六页，共六十六页。47

1.AVI（AudioVideoInterleaved）该格式是对音频/视频采用有损压缩的方式，其压缩率较高，并可将音频和视频混合在一起。目前，AVI主要应用于多媒体光盘上，保存影像信息。

缺点：不适应在网络上对视频流的实时播放2.MOV

QuickTime的文件格式，图像质量比AVI好。6.4.3动态图像文件格式第四十七页，共六十六页。483.MPEG

以MPEG压缩和解压缩技术为基础图像格式，后缀：MPG4.SWFFlash软件支持的矢量动画格式。5.DATVCD专用格式，是基于MPEG压缩算法的一种格式。。6.RM流式视频格式，可以边下载边播放，是网络中最为流行的视频格式之一。6.4.3动态图像文件格式第四十八页，共六十六页。49视频信息播放软件代替解压缩卡超级解霸WindowsMediaPlayer视频信息编辑制作软件剪辑、合成QuickTimeAdobePremiereProWindowsMediaEncode6.4.4视频信息处理软件第四十九页，共六十六页。506.5.1动画的概念6.5.2动画的种类6.5.3动画的实现方法6.5.4二维动画和三维动画（自学）6.5.5动画制作软件（自学）6.5动画第五十页，共六十六页。51

动画

即运动的图画，就是将一幅幅静止图像进行连续播放。

连续体现在播放时间上的连续和播放图像上的连续。6.5.1动画的概念第五十一页，共六十六页。521.过程动画

强调控制物体运动变化的过程，相对于空间环境的位置变化或环境本身的变化，也就是要么环境变，要么物体变。2.变形动画

通过计算机的运算，实现物体自身形态的变化，如确定第一幅画面，然后在此基础上通过一些算法生成后续的动画画面。6.5.2动画的种类第五十二页，共六十六页。531.逐帧动画

其核心在产生关键帧画面，然后在此基础上利用相关算法生成中间帧，再利用缓冲技术产生动画。在播放前已经生成所有的每一帧画面。2.实时动画

在动画的实现过程中即时绘制每一帧画面，边播放边生成画面。6.5.3动画的实现方法第五十三页，共六十六页。54FlashDirector3DStudioMAXAnimatorStudio，AnimatorPro6.5.5动画制作软件endof6.5第五十四页，共六十六页。556.6.1多媒体数据压缩的概念6.6.2多媒体数据压缩的可能性和必要性6.6.3数据压缩方法概述6.6.4多媒体数据压缩的标准6.6多媒体数据压缩标准第五十五页，共六十六页。566.6.1多媒体数据压缩的概念

数据压缩是通过编码技术/数学运算将原来较大的文件变为较小文件的数字处理技术，以降低数据存储时占用的存储空间。

数据压缩的前提是无失真或允许一定失真，以尽可能少的数据表示信号。

数据解压缩是把压缩数据还原成原始数据或与原始数据相近的数据的技术。第五十六页，共六十六页。576.6.2

多媒体数据压缩的必要性与可能性

必要性数据量庞大存储容量和通信带宽的限制

可能性多媒体信息有大量的冗余相邻数据之间存在相关性第五十七页，共六十六页。58常用数据压缩方法：

无损压缩方法特点：能确保解压缩后的数据不失真，一般用于文本数据、程序以及重要图片和图像的压缩，压缩比一般为2:1-5:1。

无损压缩软件有：WinZip、WinRar等。

无损压缩的编码方法有：行程编码、哈夫曼编码、二进制算术编码等。6.6.3数据压缩方法概述第五十八页，共六十六页。59

有损压缩方法是以牺牲某些信息为代价，换取较高的压缩比，一般用于图像、视频和音频数据的压缩，压缩比高达几十到几百倍。

大多数常用的图像压缩标准，总是上述2类方法的混合使用，例如JPEG，MPFG等。6.6.3数据压缩方法概述第五十九页，共六十六页。60衡量数据压缩方法优劣需考虑的因素：信息的压缩比；实现压缩/还原算法的难易程度；重现精度。6.6.3数据压缩方法概述第六十页，共六十六页。61

联合图像专家组（JointPhotographicExpertsGroup,JPEG

）,静止图像压缩标准运动图像专家组（MovingPictureExpe