多媒体技术及应用 第二章 音频信息的获取与处理

多媒体技术及其应用第二章音频信息的获取与处理

●主要知识点2.1声音概述2.2数字化音频2.3音乐合成与MIDI2.1.1声音定义●声音概念●声音特性2.1.2声音基本特点●声音传播●声音频率●声音传播方向●声音三要素●声音连续、相关及实时2.4音频卡2.5数字音频压缩标准音频是多媒体的重要媒体之一音频Audio语音 清音/浊音言语 爆破音非语音 乐音声音 杂音（音响）认识声音声音是机械振动在弹性介质中传播的机械波，称为声波。声音转换为电信号时，声音的电信号在时间和幅度上都是连续的模拟信号。振幅周期●振幅—波的高低幅度，表示声音的强弱●周期—两个相邻波之间的时间长度●频率—每秒钟波振动的次数，单位是Hz●

声音特性空气、液体、固体

用声音录制软件记录的英文单词“Hello”的语音实际波形2.1.2声音特点●声音的传播方式声音是依靠介质(比如：空气、液体、固体)的振动进行传播的声源是一个振荡源，它使周围介质产生振动，并以波的形式传播人耳感觉到这种传播过来的振动，反映到大脑，就意味听到声音声音在不同的介质中传播，其传播速度和衰减速率都是不一样的声音的频率范围次声波人耳可听域超声波<20Hz女性语音150Hz~10,000Hz电话语音200Hz~3,400Hz调幅广播(AM)50Hz~7,000Hz调频广播(FM)20Hz~15,000Hz宽带音响放大器10Hz~40,000Hz男性语音100Hz~9,000Hz声源种类频带宽度20~20,000Hz>20,000Hz●

声音以振动波的形式从声源向四周传播●从声源直接到达人类听觉器官的声音是“直达声”人类在辨别声源的位置时，首先依靠声音到达左、右两耳的微小时间差和强度差异进行辨别，然后经过大脑综合分析而判断出声音来自何方●声音从声源发出后，经过多次反射到达人类听觉器官的声音是“反射声”声音的传播方向声音的强度(响度或音量)，与声波振幅成正比；唱盘、CD盘等声音载体中的音强不变，通过播放设备的音量控制可改变聆听时强度；音频处理软件可提高声源音强声音的特色，主要影响因素是复音；复音指具有不同频率和不同振幅的混合声音，其中最低频率是“基音”，是声音的基调，其他频率的声音为“谐音(泛音)”代表声音的高低，与频率有关；使用音频处理软件对声音的频率进行调整时，其音调也会随之发生变化●声音的三要素●音调——(高低)(高)(低)●音强——(强弱)(弱)(强)(停)●音色——(特质)钢琴吉他小号小提琴

声音的主要性质声音具有连续性。在时间轴上是连续信号，具有连续性和过程性声音具有相关性。构成声音的数据，前后之间具有强烈的相关性声音具有实时性。对处理声音的计算机硬件和软件提出很高要求连续性相关性实时性2.2数数字化音频转换模拟信号数数字字信号音频数字化需需要考虑的问问题采样、量化、、编码音频信号处理理过程流程音频信号频率采样频率采样量化保存为声音文件开始结束束数数字音频频获取●采样采样过程按固定间隔采样声音波形形采样声音波形之后的结果果声波是连续信号，或称连续时间函数x(t)。用计算机处理这些信号时应先离散化，即按一定的时间间隔(T)取值，得到x(nT)(n为整数)，T称采样周期，1/T称采样频率(每秒钟采样次数)，x(nT)称采样值(或离散信号)采样概念

离散信号x(nT)是从连续信号x(t)上取出的一部分值，那么用x(nT)能够惟一地恢复出x(t)吗设连续信号x(t)的频谱为x(f)，以采样间隔T采样得到离散信号x(nT)如果满足：当|f|≥fc

(fc是信号高端截止频率)时，有T≤1/(2fc)或fc≤1/(2T)则可由x(nT)完全确定x(t)。当fN

=1/(2T)时，称fN

为奈奎斯特频率采样定理奈奎斯特(Nyqust)采样定理：只要采样频率大于或者等于信号中所包含的最高频率的两倍；即当信号是最高频率时，每个周期至少采样两个点，则理论上就可以完全恢复原来的信号。采样方法语音信号频谱在高频处迅速下降，但非限带。应用时只对一定频率范围内的信号感兴趣，就可以对经滤波限带的音频信号采样。这样，在采样前，用一个锐截止模拟低通滤波器对音频信号进行滤波。常用音频采样样率：8kHz、11.025kHz、16kHz、22.05kHz、44.1kHz及及48kHz数数字音频频获取●采样通过采样得到的表示声音强弱的函数x(nT)是连续的，为把x(nT)存入计算机，就必须将采样值离散化，即量化成一个有限个幅度值的集合x(nT)量化概念量化原理先将整个幅度度划分成为有有限个小幅度度(量化阶距)的集合，，把落入某个个阶距内的样值归为为一类，并赋赋予相同的量量化值。如果量量化值是均匀匀分布的，称称为均匀量化。。设为量化阶距，，量化器最大范围是是Xmax，则：=2Xmax/2B小于(i+1/2)且大于(i-1/2)的样值均为i根据对人类听听觉响度感觉觉测定：8位量化位位数采样可满满足于电话通通信的要求16位量化化位数采样则则可从好的家家用立体声中中重现理想效效果，相当于于CD音音质数数字音频频获取●量化音频模拟信号经过采样与量化之后，为把数字化音频存入计算机，需对其编码，即用二进制数表示每个采样的量化值，完成整个模数转换过程编码概念一种最方便简单的编码方法是脉冲编码调制，常称为PCM(PulseCodeModulation)编码。它是一种未经压缩的数字音频信号，常作为一种参考信号，以便其他编码方法与之比较，或在此基础上作进一步压缩编码PCM编码数数字音频频获取●编码

衡量一种编码方法的性能有两个主要指标：码流速率和量化噪声

码流速率指的是音频信号编码后每秒钟产生的数据流量，以kbit/s为单位表示，也可以表示为kbps。例如对普通模拟话音用8kHz的频率采样并以8位量化和编码，所形成的音频数字信号的码率便是64kbps。

量化噪声是由量化失真引起的噪声，通常表示为量化后的音频信号噪声比，简称信噪比。每增加1位量化精度，信噪比即提高6db。例如在高保真音响系统中，要求信噪比大于90db，则量化精度必须在16位以上。数数字音频频获取●编码数数字音频频音质与数据据量音质是指声音的质量，与频率的范围成正比；频率范围越宽，音质越好音质基本概念数据的采样频率及量化位数。采样频率越低，量化位数越少，音质越差影响音质因素采样频率、采采样精度和声声道数对声音音的音质和占占用的存储空空间起着决定定性作用，如如下表所示：：采样频率、采采样精度、声声道数与存储储容量关系声音质量采样频率(KHZ)采样精度(bit)单声道/双声道存储容量（Mb/min）电话音质8810.46AM音质11.025810.63FM音质22.051625.05CD音质44.116210.09DAT音质4816210.99音质是指声音的质量，与频率的范围成正比；频率范围越宽，音质越好音质基本概念数据的采样频率及量化位数。采样频率越低，量化位数越少，音质越差影响音质因素数字化文件数据量(字节/秒)=采样频率(Hz)(量化位数(bit)/8)声道数音频数据大小数数字音频频音质与数据据量举例如果采样频率率为44.1kHz，分辨辨率为16位位，立体声，，录音时间为为10s，符符合CD音质质的声音文件件的大小是多多少？计算数字音频频文件大小44100Hz×(16/8)×2××10s=1764KByte注意几个单位位的换算细节节时间单位换算算：1分=60秒秒采样频率单位位换算：1KHz=1000Hz数据量单位换换算：1MB=1024×1024=1048576B数据的采样频率及量化位数。采样频率越高，量化位数越多，数据越大影响数据因素音质是指声音的质量，与频率的范围成正比；频率范围越宽，音质越好音质基本概念数据的采样频率及量化位数。采样频率越低，量化位数越少，音质越差影响音质因素数字化文件数据量(字节/秒)=采样频率(Hz)(量化位数(bit)/8)声道数音频数据大小数数字音频频音质与数据据量音质与数字音频参数的对应关系采样频率kHz数据位bit数据量kB/s音频质量声道形式8.000816一般质量双声道8.0001631一般质量双声道11.025822电话质量双声道11.0251643电话质量双声道22.050843收音质量双声道22.0501686收音质量双声道44.100886收音质量双声道44,10016172CD质量双声道由此可见，数数字化音频文文件所需要的的存储容量相相当可观。如如果对声音的的质量要求不高高，则可以通通过降低采样样频率和量化化位数来获取取较小的数据据数数字音频频音质与数据据量数数字音频频文件格式常见的声音文文件格式文件格式说明WAVWindows采用的波形声音文件存储格式VOCCreative公司波形音频文件格式MP3MPEGLayerIII最常见的音乐压缩文件MIDIWindows的MIDI文件存储格式WMA流式音频文件RARealNetworks公司的流式声音文件格式PCM数字音频文件●定义：一种最直接的表达声声音波形的数数字音频文件件，主要用于于自然声音的保存与重放放。●特点：声音层次丰富、还还原性好、表表现力强；如如果采样率高高，其音质极极佳；但数据量量大，与采样样频率、量化化位数、声道道数成正比。。●应用：电子幻幻灯片PowerPoint软软件、各各种算法语言言及多媒体平平台软件可直接使用，，适合多媒体体系统、音乐乐光盘制作等等。●波形音频文件WAV文件扩展名.WAV数数字音频频文件格式●波形音频文件VOC●定义：一种Creative公司司研制的波形形音频文件格格式，也是声声霸卡(SoundBlaster)使用用的音频文件件格式。●特点：由文件件头块和音频频数据块组成成。文件头包包含一个标识识、版本号和和一个指向数据据块起始的指指针；数据块块分成各种类类型的子块。。●应用：利用声声霸卡提供的的软件可实现现VOC和和WAV转换：VOC2WAV转换VOC到WAV；WAV2VOC转转换WAV到VOC。文件扩展名.VOC数数字音频频文件格式●定义：一种计计算机数字音音乐接口生成成的数字描述述音频文件，，文件中包含含音符、定时和和多达16个通道的的乐器定义。。●特点：文件不记载声声音本身波形形数据，用数数字形式记录录声音特征，，演奏MIDI乐器或重放时时，将数字描描述与声音对对位处理；数数据量小。●应用：适合应应用在对资源占用要要求苛刻的场场合，比如多媒体光盘、、游戏制作、背景音音乐等。主要要用于计算机机声音的重放放和处理。●MIDI音频文件MID文件扩展名.MID扩展名为RMI的文件是Microsoft公司的MIDI文件格式，可包括图片、标记和文本数数字音频频文件格式●定义：采用MPEG标标准音频数数据压缩编码码中层Ⅲ技术压缩之后后的数字音频文件。●特点：压缩比高、数数据量小、音音质好，压缩缩比例有10:1、17:1，甚至至70:1；数据率可可以是64kbps，，也可以是320kbps。●应用：可以在个人计计算机、MP3半导体体播放机和MP3激激光播放机上上进行播放；适合用在国际际互联网和各各个领域。●压缩音频文件MP3文件扩展名.MP3数数字音频频文件格式MP3播放器器WinampMP3是Internet上流行的的音乐格式●流式音频文件WMA●定义：Microsoft研制制的一种压缩缩离散文件或或流式文件，，它提供供了一个MP3之外外的选择机会会。●特点：相对于MP3具具有较高压压缩率和良良好音质。。当小于128kbps时时最为出色且编码码后音频文文件很小；；当大于128kbps时时音质损损失过大。。●应用：支持持WMA格式的的MP3随身听听，Internet，以及及VOIP网络络电话(VoiceOverInternetProtocol，基于IP协协议的语音音通信)。。文件扩展名.WMA2.2.4数字字音频文件件格式●流式音频文件RA●定义：Realnetworks推推出的一一种音乐压压缩格式，，其压缩比比可达到96:1因此在网上上比较流行行。●特点：经过压缩的的音乐文件件可以在通通过速率为为14.4kbps的Modem上网网的计算机中中流畅回访访。●应用：国际际互联网，，采用流媒媒体的方式式可以实现现网上实时时播放，即即边下载边播放。。文件扩展名.RA2.2.4数字字音频文件件格式●数字音频文件PCM●定义：模拟拟的音频信信号经过模模数转换（（A/D转转换）直接接形成的二二进制数字序列，该该文件没有有附加的文文件头和文文件结束标标志。●特点：音源信息完完整，但冗冗余度过大大；音源信信息保存完完整，音质质好；信息量大，体体积大，冗冗余度过大大。●应用：因为为能够达到到最高保真真水平的就就是，所以以被广泛用用于素材保保存及音乐欣赏。。比如AudioCD(72min/650MB)。文件扩展名.PCM2.2.4数字字音频文件件格式●定义：标准准激光盘文文件。●特点：音质好，但数据量大；；在Windows环境境中，用CD播播放器播放放。●使用：某些些计算机算算法语言支支持该格式式，比如VisualBasic语言。。●CD-DA音频文件CDA文件扩展名.CDA2.2.4数字字音频文件件格式2.3音音乐合成成与MIDI波形声音与与MIDI的比较MIDI的的数据量要要比波形声声音少得多多MIDI的的编辑灵活活、自由，，而波形声声音就很难难做到这一一点波形声音与与设备无关关，而MIDI与用用来回放的的特定的MIDI设设备有关音乐合成MIDI是是乐器数数字接口的的标准，它它规定了电电子乐器与与计算机之之间相互数数据通信的的协议。音乐合成的的功能和性性能依赖于于合成芯片片。音乐合成的的两种技术术：调频（FM）音乐合合成技术：：是使高频频振荡的频频率按调制制信号规律律变化的一一种调制方方式，合成成不同频谱谱分布的波波形，再现现某些乐器器的音色。波形表合成成（wavetable）音乐合成乐音必备的的三要素：：音高：指声声波的基频频，基频越越低给人感感觉越低沉沉。音色：具有有固定音高高和相同谐谐波的乐音音。响度：对声声音强度的的衡量YM3812音乐系系统框图微机或微处处理器地址数据总总线总线控制YM3812DAC音频放大系统时钟MIDI术术语的定义义1、音乐合合成器（MusicalSynthesizer）音乐合成器器用来产生生并修改正正弦波形并并叠加，然然后通过声声音产生器器和扬声器器发出特定定的声音。。泛音的合合成决定声声音音质。。MIDI术术语的定义义2、复调声声音（Polyphony））简称为复音音，指合成成器同时演演奏若干音音符时发出出的声音。。它着重于于同时演奏奏的音符数数。3、多音色色声音（Timbre）指同时演奏奏几种不同同乐器时发发出的声音音。它着重重于同时演演奏的乐器器数。MIDI系系统的组成成MIDI系系统实际就就是一个作作曲、配器器、电子模模拟的演奏奏系统。基于计算机机的MIDI音乐系系统有多种种构筑方案案，但基本本上都由以以下几部分分组成：多多媒体计算算机、合成成器、音序序器、音源源、MIDI键盘、、录音设备备和监听设设备等。这这些设备可可以是独立立的，也可可以是集成成的。利用MIDI技术将将电子合成成器、电子子音源与音音序器连接接在一起即即可演奏模模拟出音色色变化万千千的音响效效果，又可可将演奏中中的多种按按键数据存存储起来，，极大的改改善了音乐乐演奏的能能力和条件件。基于计算机机的MIDI音乐创作系系统合成器MIDI合合成器是能能够产生特特定声音的的电子装置置，其数据据传送符合合MIDI通信约定定。合成器是通通过控制面面板上的按按钮产生数数字信号来来控制的。。这些数字字信号用于于“告诉””合成器内内部的微处处理器键盘盘上哪个键键被击，哪哪个旋钮被被转动。这这些数字控控制信号还还可以同时时被记录在在合成器内内部被称作作“音序器器”的装装置中。具有USB接口的MIDI键键盘人工通过控控制面板来来调制音色色的硬件合合成器集音源、音音序器、MIDI键键盘于一身身的合成器器音源由于音乐最最终要以声声音的形式式表现出来来，所以作作为电脑音音乐系统中中产生声音音的设备，，音源音色色的数量、、品种和质质量都将对对最终音乐乐作品的效效果产生重重要的影响响。音源也分硬硬件和软件件两种。硬硬件音源是是现在专业业MIDI制作不可可缺少的设设备，因为为它们可以以提供比任任何一块声声卡上的波波表都要好好很多的音音色，这些些独立音源源基本上是是专业人士士使用的，，常见的型型号有RolandJV1080和和YamahaMU100R等。音序器(Sequencer)音序序器器是是用用来来记记录录、、编编辑辑和和播播放放MIDI文文件件的的设设备备。。音音序序器器分分硬硬件件和和软软件件的的两两种种。。最早早的的是是硬硬件件音音序序器器，，我我们们也也常常称称它它为为““编编曲曲机机””。。它它可可以以是是一一个个独独立立的的设设备备，，也也可可以以内内置置于于合合成成器器里里。。软件件音音序序器器是是安安装装在在计计算算机机中中的的多多功功能能音音乐乐创创作作、、编编辑辑软软件件，，如如我我们们常常用用的的Cakewalk就就是是一一个个软软件件音音序序器器。。YAMAHAQY700音音序序器器硬件件音音源源ROLANDJV1080采样样器器采样样器器则则是是一一种种开开放放式式的的音音源源，，它它可可以以对对任任何何声声音音进进行行取取样样，，并并把把它它们们编编辑辑成成音音色色来来供供电电脑脑音音乐乐系系统统使使用用。。使使用用采采样样器器可可以以对对各各种种音音乐乐、、其其他他电电子子乐乐器器和和各各种种自自然然界界声声响响进进行行取取样样，，或或是是通通过过读读取取现现成成磁磁盘盘来来获获取取各各种种音音色色。。其他他设设备备如录录音音设设备备、、监监听听设设备备、、音音箱箱功功放放等等，，这这里里不不加加赘赘述述。。MIDI的的工工作作过过程程MIDI电电子子乐乐器器通通过过MIDI接接口口与与计计算算机机相相连连，，MIDI靠靠这这个个接接口口来来传传递递消消息息而而进进行行彼彼此此通通信信。。这样样，，计计算算机机可可通通过过音音序序器器软软件件来来采采集集MIDI电电子子乐乐器器发发出出的的一一系系列列消消息息或或指指令令。。这这一一系系列列消消息息可可记记录录以以.MID为为扩扩展展名名的的MIDI文文件件中中。。在计计算算机机上上音音序序器器可可对对MIDI文文件件进进行行编编辑辑和和修修改改。。最后后，，将将MIDI消消息息送送往往音音乐乐合合成成器器，，由由合合成成器器将将MIDI消消息息进进行行解解释释并并产产生生波波形形，，然然后后通通过过声声音音发发生生器器送送往往扬扬声声器器播播放放出出来来。。MIDI的的工工作作过过程程FM与与波波表表合合成成方方式式合成成器器是是利利用用数数字字信信号号处处理理器器DSP或或其其他他芯芯片片来来产产生生音音乐乐或或声声音音的的电电子子装装置置。。利利用用合合成成器器产产生生MIDI乐乐音音的的主主要要方方法法是是FM合合成成法法和和波波表表合合成成法法。。FM合合成成法法FM合合成成法法生生成成乐乐音音的的基基本本原原理理是是，，用用数数字字信信号号来来表表示示不不同同乐乐音音的的波波形形，，然然后后把把它它们们组组合合起起来来，，再再通通过过数数模模转转换换器器（（ＤＤＡＡＣＣ））生生成成乐乐音音播播放放。。波表表合合成成法法为了了能能真真实实地地再再现现乐乐音音，，目目前前的的声声卡卡一一般般采采用用乐乐音音样样本本合合成成法法，，即即波波表表合合成成法法。。这种种方方法法就就是是把把真真实实乐乐器器发发出出的的声声音音以以数数字字的的形形式式记记录录下下来来，，播播放放时时根根据据命命令令生生成成各各种种音音阶阶的的音音符符，，产产生生的的声声音音质质量量比比FM合合成成方方法法产产生生的的声声音音质质量量要要高高很很多多。。MIDI标准准MIDI标准准包括下列六六个方面：①MIDI电子乐器：：能产生特定定声音的合成成器之间的数数据传送符合合MIDI的的通信约定。。②MIDI消息（message）或指令：：音乐乐谱的的一种记录格格式，相当于于乐谱语言。。③MIDI接口（interface）：：MIDI硬硬件通信协议议。④MIDI通道（channel）：MIDI标准提提供了16个个通道，每种种通道对应一一种逻辑的合合成器。⑤MIDI文件：由由控制数据和和乐谱信息数数据构成。⑥音序器（Sequencer）：：用来记录、、编辑和播放放MIDI文文件的软件。。MIDI接口口和计算机的的连接MIDI文件件一个MIDI文件包含两两部分：文件件头和音轨。。文件头描述文文件的类型和和音轨数等音轨记录MIDI数据，，其中主要是是命令序列，，每个命令包包括命令号、、通道号、音音色号和音速速等。MIDI文件件的特点同WAV文件件相比，MIDI文件有有以下特点：：1.用乐谱指指令代替声音音数据2.有效记录录和重现各种种乐器声音3.占用存储储空间极小4.适合乐曲曲创作和远距距离传输数数字音频频处理1、声音素材材的获取和播播放声音素材的获获取下载声音文件件从CD、VCD、话筒筒中录制声音音播放软件超级解霸、影影音卫士windowsmediaplayer、realplayer、、Winamp、jet-audio等等三、声音资源源的获取和处处理声音资源的获获取途径：1、网络获取取（搜索引擎擎）2、利用现有有的光盘中的的文件3、利用计算算机声卡，使使用麦克风采采集的语音转转换成wav文件（windows中的录音机机）4、抓取cd中的音乐文文件3-1、网络络获取声音资资源3-2、利用用现有光盘中中的文件现在市场上有有大量的声音音资源库光盘盘，该类型光光盘的特点就就是信息量大大，分类细致致，但是价格格较高。也可可以在网上下下载到该类声声音资源库的的光盘镜像，，然后利用刻刻录机制成光光盘使用。此此时也需要注注意到版权的的问题。3-3、利用用计算机声卡卡录制声音利用机计算机机声卡录制声声音，就是利利用计算机的的声卡和麦克克风相结合，，利用一定的的软件来录制制声音资料。。根据条件的的不同可以选选择不同的录录制设备。windows中自带的的录音机Windows自带的录录音机WindowsMediaPlayer用于播放使用用当前最流行行格式制作的的音频、视频频和混合型多多媒体文件。。此外，还可以以使用MediaPlayer收收听全世界的的电台广播、、播放和复制制CD、创创建自己的CD、播放放DVD以以及将音乐乐或视频复制制到便携设备备中。超级解霸多媒体播放、、制作的工具具软件，可以以自动播放各各种类型的光光盘，支持RM、MPEG4、DVD、VCD、DVCD、SVCD、CVD等等几十种文件件格式。1．如何播放放各种影碟超级解霸的自自动伺服器，，只需将光盘盘插入光驱，，超级解霸会会根据光盘的的不同类型自自动播放。手动播放也可可以2．如何播放放各种影视文文件视频解霸程序序3．如何播放放各种音乐音频解霸程序序超级解霸录像在超级解霸中中，想要截取取VCD中的的片段，通过过循环播放、、选择开始点点、选择结束束点、保存MPG片断这这几个按钮钮就可以轻松松实现将指定定的片断转录录为.MPG视听文件或或.MPV视视频文件用windowssoundrecorder从CD上录制音音乐1)启启动录音机（（开始-程序序-附件-娱娱乐-录音机机）2)

启动动CD播放器器（开始-程程序-附件-娱乐-CD播放器）3)

如果果一切正常，，这可在播放放CD的同时时按下录音机机的[录制]按钮。4)录录制完毕，，按下录音机机的[停止]按钮，保存存WAV声音音文件5)如如果无法录录制，按以下下步骤检查错错误：A)声卡上的的CD-ROM输入端是是否和CD-ROM的音音频输出端相相连B)在98下下，双击音量量图标，选项项-属性-录录音，确保输输入声源为CD-ROM数数字音频频处理基本编辑是删除声音文件中不需要的声音片段。处理方法是首先确定片段的起点和终点，然后把它删掉。在编辑软件中可以先将声音分成一个个片段，再改变声音的内容和语序。基本编辑可以将单声道的声音变成双声道的声音，在其中一个声道上放置音乐，或将双声道的声音变成单声道声音以节省存储空间。甚至可以让声音交替地从左右声道上发出，产生声的立体