第七章多媒体技术讲义

第七章多媒体技术讲义

6.1多媒体技术概述1.什么是多媒体2.多媒体技术及其特点3.多媒体技术的应用4.多媒体计算机系统的组成1.什么是多媒体媒体（media）—信息的载体通常意义上的媒体：如报纸、电视、杂志、广播等计算机领域中有三种不同的分类方式：一、指用于存储信息的物理实体，如磁盘、光盘二、指传输信息的介质，如、电缆、无线电波、通信卫星、光等三、指信息的表现形式或载体，如文字(Text)、声音(Audio)、图形(Graphic)、图像(Image)、动画(Flash)、视频（Video)文字媒体图形媒体图形是用绘图软件绘制的画面图像媒体图像指用照相机、扫描仪捕捉自然景色的画面声音媒体动画媒体动画实质是一幅幅静态图像的连续播放。所以其生成的实质是若干幅动画页面的生成。动画的连续播放既包括时间上的连续，更要求动画内容上的连续视频媒体视频(videofrequency)：由摄像机、摄影机等拍摄的反映真实场景的活动画面。1.什么是多媒体（续）多媒体（Multimedia）就是文字、图形、图像、声音、动画、视频等多种媒体信息的集合。多媒体技术是指利用计算机技术（且综合了声音处理技术、图形图像处理技术、视频处理技术、数据存储等技术）将各种媒体以数字化的方式集成在一起，并能够对它们进行加工处理的技术。加工处理指媒体录入、压缩与解压缩、存储、显示、传输。2.多媒体技术及其特点多媒体的主要特性：集成性：信息的集成——综合处理多种信息媒体，在有限的区域内表达出更多更丰富的信息。设备和技术的集成—处理多媒体信息的硬件和软件能够组成一个有机的统一体。交互性：是指用户可以通过与计算机内的多种媒体信息进行交互的方式，来更有效地控制和使用多媒体信息。实时性：声音媒体和视频媒体是与时间因子密切相关的。多样化：媒体多样化和媒体处理方式多样化，信息处理方式一维、二维、三维多媒体数据的特点（1）数据量巨大（2）数据类型多（3）数据类型间区别大（4）多媒体数据的输入和输出复杂。3.多媒体技术的应用（1）多媒体在通信系统中的应用可视、视频会议、多媒体信息资源的检索、多媒体邮件及知识传播等领域（2）多媒体在编著系统中的应用（3）多媒体在工业领域中的应用多媒体培训系统、监视、存储、管理系统（4）多媒体在医疗影像诊断系统中的应用医学成像、远程会诊、信息存储（5）多媒体在教学中的应用（6）多媒体过程模拟领域中的应用设备运行、化学反应、天气预报、生物进化、天体运行、航天模拟、军事训练4.多媒体计算机系统的组成多媒体计算机（MultimediaComputer）是具有多媒体处理能力的计算机系统包括多媒体硬件系统和多媒体软件系统多媒体硬件系统声／像输入设备主要用于将多媒体信息输入计算机：光驱、声卡、视频采集卡、麦克风、电子琴、扫描仪、录音机、VCD/DVD、数字照相机、摄像机等。功能卡用于对多媒体信息进行处理：电视卡、Modem卡、视频编辑卡、VCD压缩卡、网卡等。声／像输出设备用于输出多媒体系统：光盘刻录机、声卡、视频转换卡、音箱、立体声耳机、录音机、录像机、打印机等。4.多媒体计算机系统的组成(续)多媒体软件系统操作系统的多媒体功能(多任务功能，大容量存储器的管理功能，虚拟内存功能，即插即用功能)多媒体处理工具(文字处理，声音处理，图像处理，动画处理等)多媒体应用软件(教学软件，游戏软件等)下一页上一页停止放映多媒体计算机系统示意图

6.2数字声音基础1.声音的特性2.声音信号的数字化与数字音频3.数字声音的处理1.声音的特性(6个概念)⑴声波：当物体在空气中振动时，便会发出连续的波，叫声波（SoundWave）⑵声音：大脑对声波的感知就是声音（Sound）⑶幅度（Amplitude）：指声音的大小、强弱程度。⑷频率（Frequency）是指信号每秒钟变化的次数，用赫兹（Hz）表示。(5）带宽声音信号的频率范围称为带宽人的发音器官发出的声音频率大约是80～3400Hz频率范围为20Hz～20kHz的信号称为音频信号频率小于20Hz的信号称为亚音信号高于20kHz的信号称为超音频信号，或称超声波信号（6)音质：声音的质量简称音质用声音信号的带宽来衡量，带宽越宽，产生的音质越好男生——100Hz～9kHz女生——150Hz～10kHzCD（CompactDisc）——20Hz～20kHzFM（FrequencyModulation）——20Hz～15kHzAM（AmplitudeModulation）——50Hz～7kHz数字——200Hz～3.4kHz2.声音信号的数字化与数字音频音频数字化模拟信号数字信号转换音频信号处理过程流程音频数字化的三个过程：

采样、量化、编码声音模拟信号采样量化声音数字信号编码

模拟信号与数字信号

时间和幅度上都是连续的信号称为模拟信号。时间和幅度上都是离散的信号称数字信号。采样（Sampling）采样在某些特定的时刻对这种模拟信号进行测量叫做采样，得到的信号称为离散时间信号如何采样使声音信号不失真？量化量化把信号幅度取值的数目加以限定，由有限个数值来表示信号或者对幅值加以近似的过程，得到的的信号就称为离散幅度信号举例例：假设输入电压的范围是0.0～0.7V，而它的取值仅限定在0，0.l，0.2，…，0.7V共8个值。如果采样得到的幅度值是0.123V，则近似取值为0.1V，如果采样得到的幅度值是0.271V，它的取值就近似为0.3V

数字化实际上就是采样和量化。影响音频数字化质量的三个主要因素：采样频率、采样精度、通道数采样频率采样频率：单位时间的采样次数，单位是Hz。等于波形被等分的份数，份数越多，质量越好。（采样频率越高，越接近源音质）根据奈奎斯特理论（Nyqusttheory）：如果采样频率不低于信号最高频率的两倍，就能把以数字表达的声音还原成原来的声音。

对于话音信号，最高频率为3400Hz，采样频率为8000Hz，能以数字声音还原原来的声音

对于一般音频信号，最高频率为20kHz，采样频率为40kHz以上时，就能无失真地还原出原来的声音。采样频率越高，得到的数据占用的存储空间越大采样精度用以表示量化级别的二进制数据的位数，称为采样精度（Samplingprecision），也叫样本位数，用每个声音样本的位数（bit或b）表示。位数越少，声音质量越低，需要存储空间越少。采样频率和采样精度是数字声音质量的两项重要指标。声道数是数字声音的第三项指标声音的采样和量化（线性量化）

幅度的划分是等间隔的，是线性量化。声音文件的数据量计算（存储空间）存储空间=采样频率（Hz）×采样精度（位）/8×时间长度（秒）立体声（双声道）加倍例:要存储一分钟采样频率为44.1K、量化位数为16位立体声的一段音乐，在不压缩的情况下，需要的存储量为44.1K×16/8×60×2≈10.5MB质量采样频率（kHz）样本精度（b/s）声道数据率（kb/s）频率范围（Hz）电话88单声道64.0200～3400AM11.0258单声道88.250～7000FM22.05016立体声705.620～15000CD44.116立体声1411.220～20000DAT4816立体声1536.020～20000不同质量的声音的性能指标数字信号的编码采样和量化后的数据需要按一定的规则进行编码，以便于计算机存储和处理。编码：将采集到的物理量转换为在计算机中表示的代码的过程。数据编码举例：设量化值20、30、40、…170（间隔10），有16种不同的数据，相当于16种符号，在计算中可以用4位二进制数表示，如用0000表示20,0001表示30,0010表示40，…,1111表示170编码方法：自然码编码、哈夫曼编码、算术编码非压缩编码、压缩编码声音文件的存储格式

文件格式是数据在存储器中的存放形式。相同的数据，可以有不同的存放形式，所以也就有多种文件格式。WAV是Windows采用的波形声音文件存储格式，主要用于自然声的保存与回放，其特点是声音层次丰富，还原性好，表现力强。MP3是MPEG（MovingPictureExpertGroup运动图像专家组）第三层压缩文件格式，提供8kb/s到128kb/s的数据率和高达96:1的压缩比，有较好的音质。主要应用于因特网上的声音传输。常见的MP3音乐就使用了该压缩标准，是MP3播放器的主要格式。RM、RA是RealNetworks公司制定的声音文件格式，有较高的压缩比，可以采用流媒体的方式在网络上实时播放，主要使用RealNetworks公司的播放器播放。MIDI合成音乐MIDI（musicalinstrumentdigitalinterface）乐器数字接口标准的多媒体PC平台能够通过内部合成器或连接到计算机MIDI端口的外部合成器播放MIDI文件。与波形文件不同的是，MIDI文件不对音乐进行采样，而是将音乐的每个音符记录为一个数字，所以比波形文件要小，但缺乏重现真实自然声音的能力。3.数字声音的处理数字音频的处理实际上是对采集到的数据进行计算、变换等加工的过程。⑴基本编辑最基本的编辑是删除声音文件中不需要的声音片段，如噪声、杂音、口误、过长的停顿、重复等。一般的方法是确定片段的起点和终点，然后把它删掉。在编辑软件中可以将声音分成一个个片段，可以删除其中一个片段，可以改变片段的顺序，也可以用一个片段替换另一个片段，这样就可以改变声音的内容和语序。⑵声道编辑可以将单声道的声音变成双声道的声音，在其中一个声道上放置音乐，或将双声道的声音变成单声道声音以节省存储空间。甚至可以让声音交替地从左右声道上发出，产生声的立体效果，称为摇动（Pan,平底锅）。⑶淡入淡出效果淡入指声音从无到有，逐渐增强，直到正常，有逐渐走近的效果。淡出指声音慢慢变小，直到完全无声，有渐渐远去的效果。淡入淡出常用于节目的开始、结尾和两段声音之间的过渡，使声音的出现和消失不太突然。⑷频率均衡和混响

均衡控制指对不同频段的声音音量的调整，可以使声音产生清脆、低沉、柔和等效果。混响是乐器或话音及从物体表面反射回来的声音的混合，用软件模拟混响的原理是将滞后一段的声音提前加到原声音上播放。混响时间的长短可以改变音色，混响时间短，声音干涩；混响时间长，声音圆润，具有空旷感。6.3数字图像基础1.人类视觉对图像的感知2.图像的数字化和数字图像3.图像的颜色模型4.图像文件格式5.数字图像处理1.人类视觉对图像的感知

自然界多姿多彩的景物通过人们的视觉器官在大脑中留下印象，这就是图像。空间坐标位置和景物明暗程度均是连续变化的，称为连续图像。图像是二维平面上的模拟信号将连续模拟图像转换成离散的数字图像。图像的数字化与声音的数字化的步骤相似。将真实图像转换成计算机能表示的形式采样量化编码

2.图像的数字化和数字图像

整量采样和整量的含义：(1)图像的采样（ImageSampling）:将空间连续坐标（x，y）的离散化，称为图像的采样。即将平面区域分割成若干较小区域，以便测量小区域的值。(2)图像的整量（DensityMeasuring）将幅值f（x，y）的离散化，称为图像的整量或灰度级整量。

图像的数字化对图像进行采样和灰度级的整量称为图像的数字化。数字化图示图像采样量化数字图像空间上和灰度级上都离散的图像称为数字图像采样和整量的方法：如果对连续图像f（x，y）的坐标，按一定顺序进行等间隔的采样，就将图像划分成N×N个小方块图像，当N很大时，小方块就可以近似看成小圆点；若对每一点的灰度（或色彩）值也用等间隔整数值来表示，即进行整量（量化），那么就可以得到一个N×N的数组（即N×N个数据值）。数组中的每一个数据都是数字图像的一个元素，称为图像元素，简称像素（Pixel）或者像元数字图像的性能指标图像分辨率扫描分辨率显示分辨率像素深度图像分辨率图像采样的点数，称为图像分辨率用点的“行数×列数”表示如数码像机常用的图像分辨率为640×480、1024×786、1128×764等。对相同尺幅的图像，如果组成该图的像素数目越多，则说明图像的分辨率越高，看起来就越逼真。相反，图像显得越粗糙。图像分辨率越高，图像文件占用的存储空间越大。扫描分辨率

用每英寸多少点（dotsperinch，DPI）表示。如果用300DPI来扫描一幅8“×10”的图像，就得到一幅2400×3000个像素的数字图像。

分辨率越高，像素就越多，获得的图像越细腻。扫描分辨率是采样时，单位尺寸内采样的点数，而图像分辨率是组成数字图像的像素数。像素深度（PixelDepth）

数字图像中表示每个像素的颜色使用的二进制位数称为像素深度或位深度。像素深度值越大，图像能表示颜色数越多，色彩越丰富逼真，占用的存储空间越大。常见的像素深度有1位、4位、8位和24位，分别用来表示：黑白图像16色或16级灰度图像256色或256级灰度图像真彩色（224—16777216种颜色）图像。图像的显示分辨率数字图像的视觉效果与图像输出设备有关，图像在屏幕上的显示尺幅称为图像的显示分辨率分辨率低的图像可以以高的分辨率显示，分辨率高的图像也可以以低的分辨率显示，但只要不是以图像的正常分辨率显示图像，都会引起图像的失真。使用图像时应按需要设置图像的分辨率和像素深度举例图像的分辨率和像素位深度决定了图像文件的大小。例:图像文件的大小估算一幅640×480的图像，位深度是24位（真彩色图像），则文件大小为：24(bit)/8（bit/Byte）×640(列)×480（行）=921600B(Bytes)约900kB图像按颜色分类位图图像按颜色又分为灰度图像（Grayimage）彩色图像（Colorimage）灰度图像的颜色只有黑白和浓淡之分只有黑白两种颜色的称为单色图像灰度图像还有16级、256级灰度彩色图像有红、绿、蓝等丰富的色彩，有16色、256色和24位真彩色之分。黑白图像16色图像256色图像24位真彩色图像不同位深度的图像对比

(Windows画图)其他颜色模型见教材，请自学。理论上，任何一种颜色都可用红（Red）、绿（Green）、蓝（Blue）三种基本颜色按不同的比例混合得到，称为相加混色。在计算机中，将红、绿、蓝三种颜色分别按光强度（深浅）的不同分为256个级别，0级实际上是黑色，255级是纯色（红、绿或蓝），分别用8位二进制数表示，每个像素占24位。3.

RGB相加混色模型

数字图像的表示形式矢量图矢量图像实际是用数学方法描述一幅图。优点：容易进行移动、缩放、旋转和扭曲等变换；矢量图与分辨率无关，放大不会产生马赛克现象。缺点：由于计算机实现矢量图要进行大量的计算,故不适合表现复杂的彩色照片。常用软件：CorelDraw/Flash/Fireworks/3DMAX位图用记录每一个离散点的颜色的方法（就是前面介绍的采样、量化和编码）来描述图像，这种图像叫位图图像一幅彩色图像可以看成由许许多多的点组成的，图像中的单个点称为像素。一个像素值往往用R(Red)、G(Green)、B(Blue)三个分量表示。多媒体应用中推荐至少用8位256种颜色。位图与分辨率有关，放大会产生马赛克现象。位图图像用于描述复杂图像，占用空间较大。4.图像文件格式

图像文件格式是图像数据在文件中的存放形式，不同的软硬件厂商可能定义不同的文件格式。(1)位图文件(Bitmap-File，BMP)bmp格式是Windows采用的图像文件存储格式，在Windows环境下运行的所有图像处理软件都支持这种格式，是一种不压缩的格式，因此占有较大的存储空间，但图像质量较高，没有数据损失。(2)GIF格式

GIF(GraphicsInterchangeFormat)是CompuServe公司开发的图像文件存储格式压缩效率、占用的存储空间很小支持透明图像属性和动画图像属性但表示的颜色数量有限，适合存储颜色较少的卡通图像、徽标等手绘图像。背景透明背景不透明GIF动画(3)JPEG专家组开发的算法称为JPEG算法相应的文件存储格式为jpg格式选择有损压缩技术适合存储色彩丰富的照片

JPEG(JointPhotographicExpertsGroup)负责制定静态的数字图像数据压缩编码标准数字图像数据压缩无损压缩：在源文件中找重复部分，只存储一些区域的信息以及重复命令，以便重建文件有损压缩：通过对源文件进行数学分析，寻找需要保存的信息，会丢失一些数据。5.数字图像的处理数字图像的获取图像数字化的手段：扫描、数字摄影、图形数字画板绘图扫描仪：最常用，根据外形和产生图像方式分为手持式、平板式、滚筒式。滚筒式多用于输入工程图纸等特大尺寸图像。数码相机：将所拍摄的画面以数字形式保存在内部存储器中，然后通过计算机的通信口将数据传送到硬盘上。图像捕捉卡：采集视频图像帧或静止画面以获得数字图像。质量一般，不如扫描效果。数字图像的处理主要操作：图像颜色模式变换；部分图像对像选择；大小缩放、剪切、翻转、旋转、扭曲；多幅图像的编辑、合成；添加马赛克、模糊、玻璃化、水印等特殊效果；图像文件格式转换和打印输出。常用软件：Photoshop/PhotoDraw/CorelDraw/Freehand/Illustrator视频（video）是由一幅幅单独的画面序列组成的，每一幅画面称为一帧，帧运动速率单位fps，当达到12fps以上时，人们才能看到比较连贯的视频图像，通常，伴随视频图像还有一个或多个音频轨道，以提供配套的声音，通常电影为每秒24张胶片，电视为每秒25帧。高速摄影，正常播放就成了慢镜头，如子弹打穿苹果。视频信息数字化原理对电视模拟信号数字化:包括采样、量化、模数转换、色彩空间转换等过程。视频信息的采集与数字化是通过视频采集卡完成的。视频采集的模拟信号源可以是录像机、摄像机、影碟机等，保存在录像带、激光视盘中的亦可利用视频采集卡转录，另外有专门的软件可以捕捉计算机上的视频信号并加以编辑。6.4视频信息处理基础数字视频文件格式AVI——windowsMOV——appleQuickTimeMPG——MPEG格式DAT——VCDSWF——shockwaveflashDIR——MacromediaDirector视频信息压缩基本原理视频信息计算24位量化的640×480分辨率的图像按25fps播放，40秒24×640×480×25×40/8≈0.92GB计算：一部标准电影为100分钟，采用SVGA的分辨率（800×600）.

每秒25帧标准速度。需要216G所以只有采用了MPEG技术进行压缩后才能在一张DVD上存储，最大压缩比200：1视频信息处理视频信息源于摄像机和录像机信号，经压缩后形成多媒体数据文件。视频信息获取(视频捕捉卡）常用视频处理软件：VideoForWindows/AdobePremiere/QuickTime/UleadVideoEditor采样频率在25帧以上，被认为是全动态的捕捉。视频信息处理：视频画面的剪辑、合成、叠加、转换、配音等动画技术

动画实质是一幅幅静态图像的连续播放。所以其生成的实质是若干幅动画页面的生成。动画的连续播放既包括时间上的连续，更要求动画内容上的连续。计算机设计动画方法有两种：造型动画和帧动画。

造型动画(过渡动画)是要求建立动画过程的首尾两个关键帧的内容，中间的过渡帧则由计算机通过首尾帧的特性以及动画属性要求得到。根据运动性质的不同，分为变形动画和运动动画。

帧动画是由一幅幅位图组成的连续的画面，就像电影胶片或视频画面一样，要分别设计每屏要显示的画面。目前主要通过下载和流式传输两种方式，实现音频、视频等多媒体信息在网络中传播。采用下载方式时，必须考虑：用户端的存储空间需求和播放的延时问题。数据流传输技术流媒体概念：表示声音、影像或动画等媒体，由媒体服务器向用户计算机的连续、实时传送，由于数据发送过程一开始，所传输的媒体几乎可以立即开始播放，从而不存在下载延时问题。原理：流媒体是应用流技术实现在网络中传输的多媒体文件，流媒体技术是把连续的影像和声音经过数据压缩处理后放到网络媒体服务器中，让用户可以边下载边收看、收听，不需要等待整个媒体文件下载到自己机器后才可以观看的网络传输技术。关键是：用户使用媒体播放器需要在用户的电脑上建一个数据缓冲区，在播放前预先下载一小段资料作为缓冲，当网络实际连接速度小于播放所需速度时，播放程序就在这一块缓冲区内取资料，