《多媒体技术应》PPT课件.ppt

1,第 3 章 多媒体技术应用,2,本章概要,多媒体技术的基本含义、组成 音频、视频信号的处理 图像处理技术 动画处理技术 视频信息处理技术,3,多媒体技术使计算机具备了综合处理文字、声音、图像和视频等信息的能力。它以形象丰富的文、声、图等信息以及方便的交互性，极大的改善了人机界面，改变了人们使用计算机的方式，从而为计算机进入人类日常生活和生产领域打开了方便之门，给人们的工作、生活和娱乐带来了深刻的变化。,4,多媒体定义、特性,媒体（Medium） 在计算机领域中有两种含义，既可理解为存储信息的实体，如磁带、磁盘、光盘等；也可理解为信息的载体，如数字、文字、声音、图像、动画、视频等。 多媒体技术中的“媒体”是指后者。,多媒体（ Multimedia） 多媒体是指能够同时获取、处理、编辑、存储和展示两个以上不同类型信息媒体（文字、图形、图像、声音、动画和影视 ）的技术 。,5,多媒体计算机技术（ mpc）,多媒体计算机一般是指能够综合处理文字、声音、图形、图像、动画和视频等多种媒体信息，并在它们之间建立逻辑关系，使之集成为一个交互式系统的计算机。 它融高质量的视频、音频、图像等多种媒体信息的处理于一身，并具有大容量的存储器，能给人们带来一种文、声、图、像并茂的视听感受。,6,MPC的基本结构,主机,触摸屏,键盘,鼠标,视频输出 外部存储 摄像机 CD-ROM,视频适配卡 音频适配卡 图形卡 压缩卡,音频微信号输入： 麦克风，唱机拾音器,音频、视频输入 CD-ROM盘 激光视盘 摄像机、录像机,音频输出： 耳机、音箱 音响设备,显示器,通信网络 局域网络 电话网络,7,本节要点： 波形声音、MIDI声音的特征 如何使用Windows中的工具录制和编辑波形声音 声音压缩的基本原理 各种声音文件格式 语音合成与语音识别的基本原理,31 音频信号的处理,8,多媒体计算机中产生声音的方式主要有三种： 外部声音源进行录制和重放 MIDI音乐 CD-Audio,在Windows中称为,Wave波形音频,MIDI音频,CD音频,不同的音频数字信息存储在计算机中时，所使用的格式是不同的，常见的声音文件格式有： WAVE文件、MIDI文件和MP3文件等。 其中Wave是波形文件，MP3是压缩格式的音频文件。,9,3.1.1 Wave音频文件 1波形音频的特征 波形音频是多媒体计算机获得声音最直接、最简便的方式。 工作原理是：麦克风（或立体声录音机或CD激光唱盘）等作为声音信号的输入源，声卡以一定的采样频率和量化级别对输入的声音进行数字化采样，将其从模拟信号转换为数字信号，以适当的格式存在硬盘上，由于扬声器只能接受模拟信号，记录下来的声音在重放时，需要由声卡将文件中的数字信号还原成模拟信号，经混音器混合后由扬声器输出。,10,工作原理如图,图3-1-1 模拟声音转换为数字声音,模拟声音转换为数字声音,11,采样频率：是指每秒从模拟声波中选择多少个点 的声音样本。 一般为：11.025kHz(指每秒采集声音样本11025 次）、22.05kHz、44.1 kHz和48kHz。 单位时间内的采样数Hz，（至少为波形频率的两倍）. 11.025 kHz的采样频率获得的声音称为电话音质； 22.05 kHz 称为广播音质； 44.1kHz 称为CD音质。 采样频率越高，获得的声音质量越好，相应占用的存储空间也就越大。,12,声音采样的量化 量化：采样数据按大小存储的过程 量化级别： 8位、16位、32位等 声道数 单声道和立体声 单声道：声音只能使一路喇叭发声每次生成一个 声波数据 立体声（双声道）：声音可以使两路喇叭都发声， 更能感受到空间效果每次生成两个声波数据.,13,Wave文件所占存储容量的公式： 存储量(采样频率X量化位数X声道)X时间8 (单位：字节数) 在Windows“录音机”里，用最低的8kHz、8位、单声道来保存，一秒钟的声音占的存储空间为8KB。 若用48kHz、16位、立体声来保存，一秒钟的声音需要188KB的存储空间。 综上所述，要使所录制的声音音质好；其所占存储量也会相应大。,例,例,14,2Wave音频文件,Windows所使用的标准数字音频是Wave波形文件，记录了对实际声音进行采样的数据。 Wave音频文件的主要缺点是产生的文件太大，不适合长时间记录。如果应用系统使用CD音质的Wave音频文件配音，声音内容应尽可能简洁。 由于原始声音数据量太大，有必要采用硬件或软件的方法进行压缩处理，常用的软件压缩方法主要有ACM和PCM等。另一方面，一般人的讲话声音使用8位量化级、11025 kHz采样频率就能较好地还原，因此这种质量较低的波形文件在应用中也不少见。,15,3. Wave音频文件的制作工具,Windows中的“录音机具有最基本的声音录制和编辑功能。 Windows本身所携带的“录音机”软件，是Wave音频文件录制、播放和进行一些简单处理的基本工具。 启动Windows “录音机”,并打开一个Wave音频文件后的界面，在其窗口的中间便可看到所打开声音文件的波形。,16,录音机,由于波形文件记录的是数字化的音频信号，可由计算机对其进行处理和分析，如删除、插入混音等，又如加快、放慢声音的播放速度，反向播放，将声音重新组合等，如图所示，从“效果”菜单中可以看到有关的操作命令，使用这些命令后，可以从波形上看到声音的变化。,17,在录音前，一般需要设定录音时的采样频率和量化位数，这可通过声音的“格式转换”来设置，先在“选自”下拉列表中选择“录音格式”，然后单击旁边的“立即转换”按钮，出现如图所示的对话框，用于设定不同的采样频率和量化位数。 另外不可忽略的是在进行录音之前，还必须在系统“音量控制”的“选项”属性中将调节音量设置为“录音”方式。（具体操作见3.1.3）,有关录音,18,如果想知道某个Wave音频文件的数字声音指标，可以选中该声音文件后，通过使用“文件/ 属性”命令打开“声音属性”对话框来可以了解。,19,3.1.2 MIDI合成音乐,MIDI（Musical Instrument Digital Interface） MIDI是音乐与计算机结合的产物 MIDI是乐器数字接口的缩写，文件扩展名是 .MID，泛指数字标准，它始建于1982年。标准的多媒体PC平台能够通过内部合成器或连接端口的外部合成器播放MIDI文件。 MIDI文件的特点：是一系列指令，而不是波形，所占存储空间非常少 多媒体PC平台能够通过内部合成器或连接到计算机MIDI端口的外部合成器播放MIDI文件,20,1.合成器,合成器是利用DSP或其他芯片来产生音乐或声音的电子装置 FM合成器 采用频率调制的原理产生声音 FM合成器能发出128种乐器的声音 波表合成 对真实乐器声采样，制波表保存，由DSP查表调用处理 声音效果与真实的乐器声几乎无差别 声卡带有波形表ROM的接口 或 本身带有波形表ROM ROM的容量越大，可存储的乐器音就越多 软波形表 用CPU来实现波表合成器的部分功能降低对声卡硬件要求,21,2. MIDI音乐产生原理 MIDI标准规定了装置间连接的电缆、硬件标准和通信协议 MIDI指令信息 ： 由音符序列、定时和多达16个通道的演奏音符定义组成，演奏音符定义由键号、通道号、音长、音量和力度组成 建立MIDI文件：设备演奏时输入或软件编辑产生 MIDI文件的特点：是指令不是波形，文件小 端口 ：MIDI In（输入口）、MIDI Out（输出 口）、 MIDI Thru（转送口）,22,由于MIDI文件是一系列指令，而不是波形，所以所占的存储空间非常少，利用MIDI文件演奏音乐，所需的存储量很少。 一个8位，2205kHz的波形文件，记录18秒钟的声音需要3168KB空间，而演奏2分钟乐曲的MIDI文件，其存储空间不到8KB。 另外，预先装载MIDI文件比波形文件容易得多。这样，在设计多媒体节目时，音乐的设置就变得十分灵活。,例,23,在以下这些情况时，使用MIDI合成音乐将比波形音频更合适： 需要播放长时间高质量的音乐。 需要以音乐作为背景音响效果，同时从CD-ROM中装载其他数据，如图像、文字的显示等。 需要以音乐作为背景音响效果，同时播放波形音频，如音乐与语音同时输出。,24,Windows中的媒体播放器可直接播放MIDI音乐,视听,视听,25,3.1.3 音频处理,声音的处理包括录音、剪辑、去除杂音、混音、合成等等。 一般声音处理的软件有Ulead、 AudioEditor、Creative录音大师、CakeWalk等。 Windows中的“录音机具有最基本的声音录制和编辑功能。(见3.1.1 3.),26,3.1.4 音频数据压缩,1基本压缩原理 由于音频信号中存在着冗余，所以在计算机系统的音频数据的存储和传输中，数据压缩是必须的，要在声音质量、数据率、计算量三个方面进行综合考虑。 为了减少数据率，专家们致力于压缩编码的研究，国际电报电话咨询委员会(CCITT)先后提出了一系列语音压缩编码的建议。,27,音频信号的编码方法通常有：,基于音频数据的统计特性进行编码，其典型技术是波形编码，其目标是使重建语音波形保持原波形的形状。 基于音频的声学参数进行参数编码，可进一步提高压缩比，其目标是使重建音频保持原音频的特性。 将上述两种编码结合起来，就是混合编码的方法。 基于人的听觉特性进行编码，从人的听觉特性出发，利用掩蔽效应，设计声学心理模型。 从而实现更高效率的数字音频的压缩。其中以MPEG标准中的高频编码最有影响。,28,2MP3音乐 MP3是 MPEG layer 3 的缩写 MPEG (Moving Picture Expert Group) ，运动图像专家组，是国际标准化组织成员，专门制定MPEG压缩标准中的音频部分，也就是MPEG音频层。 MP3是MPEG音频压缩算法中压缩与解压缩计算方式的一种，用来处理高压缩率的声音信息。它所生成的声音文件音质接近CD，而文件大小却只有约其十二分之一。因此原本一张光盘上只能储存十几首CD格式的乐曲，若以MP3格式进行存储，则可储存100多首。,29,那么MP3为什么会有这样神奇的效果呢?,原理: 一方面通过先进的编码技术，让未经压缩的原始声音重新编码压缩；另一方面利用人耳的特点进行数据的缩减，由于人的耳朵对于超过15kHz的声音就不是很灵敏了，所以将一些高频的声音信息删掉不会对声音效果有很大影响，这样缩小声音存储所需占用的空间。 MP3格式的声音仍属于声波的一种，它是将原有的声波经过压缩形成MP3的文件格式。 所以一张MP3音乐光盘可以将十几张的CD音乐放到里面。若以一张音乐CD专辑可以播放60分钟来算，一张MP3音乐光盘将可以放十几小时的音乐，简直就像一个小型的音乐收藏柜一样。,30,三个层次音频的压缩比和压缩后所产生声音的数据质量,31,虽然MP3的好处很多，但由于采用压缩格式，在音质上毕竟还是有一定损失的。 音频信号的压缩方法通常分为,音频信号压缩,无损压缩,有损压缩,霍夫曼编码,游程长度编码,混合编码,参数编码,波形编码,32,3.1.5 声音文件的格式,在计算机中，声音文件也称为音频文件。根据获得的途径和存储的方式不同，声音文件也有多种文件格式，不同格式的声音文件具有不同的存储特点。 常见的声音文件格式有: WAV、MID 、MP3 CD格式、RM格式、WMA格式,33,1WAV格式 WAV格式的音频文件是Windows中最常用的波形声音文件格式，符合RIFF(resource interchange file format，资源交换文件格式)文件规范。 WAV格式支持多种压缩算法。 由于WAV格式一般存放的是未经压缩处理的音频数据，所以体积相对较大(1分钟需要10MB)，不适合于在网络上传播。 2MP3格式 MP3格式诞生于20世纪80年代的德国，MPEG压缩是一种有损压缩，MPEG3音频编码具有10：112：1的高压缩率，同时基本保持低音频部分不失真，但是牺牲了声音文件中12kHz到16kHz高音频部分的质量来换取文件的尺寸。 由于MP3文件尺寸小、音质好，因而为发展提供了良好的条件。直到现在，这种格式仍风靡全球，其作为主流音频格式的地位难以被撼动。,34,3MIDI文件 MIDI (musical instrument digital interface) MIDI文件的优点是短小，一个6分多种、包含16个乐器的文件也只是80多KB； 缺点是播放效果因软、硬件而异。 MIDI文件主要用于原始乐器作品、流行歌曲的业余表演、游戏音轨以及电子贺卡等。 4CD格式 “*CDA“格式，这就是CD音轨了，它是当今世界上音质最好的数码音频格式。标准CD格式具有441kHz的采样频率，速率88k秒，16位量化位数。CD音轨近似无损，因此它的声音基本上是忠于原声的。,35,5RealAudio格式 RealAudio 主要适用于在网络上的在线音乐欣赏。 Real文件的格式主要有：RA(RealAudio)、RM(RealMedia，RealAudio G2)和RMX(RealAudio Secured)等。这些格式的特点是可以随网络带宽的不同而改变声音的质量，在保证大多数人听到流畅声音的前提下，令带宽较富裕的听众获得较好的音质。 6WMA格式 WM