多媒体技术ppt好资源-第04讲数字声音基础.ppt

数字声音基础,第4章,4.1基本概念声音概念声音频率分布音质与数据量数字音频文件的种类4.2声音编码方法声音编码分类LPCMP3,4.3音频编辑工具Audition单音轨形式录音音频编辑与处理多音轨混合多音轨录音,4.1,基本概念,声音定义,声音是通过空气传播的一种连续的振动波，具有振幅、周期和频率。声音用电表示时，声音信号在时间和幅度上都是连续的模拟信号，如图所示。,教学进程,4.1.1,声音的基本特点,声音三要素,(1)音调(高低)频率(2)音强(强弱)音高(3)音色(特质)泛音,教学进程,声音频率分布,4.1.2,教学进程,（1）人耳对不同频段的声音的敏感程度不同如：对低频敏感一些，3-5K最敏感。（2）不同频率有不同的听觉阈值。（3）人的听觉具有掩蔽效应。和环境有关。同样大小声音在嘈杂环境就会听不清。,听觉特性,4.1.2,4.1.3,数字化声音,教学进程,数字信号处理器(digitalsignalprocessor，DSP)DSP与通用微处理器相比，除了它们的结构不同外，其基本差别是，DSP有能力响应和处理采样模拟信号得到的数据流，如做乘法和累加求和运算。在数字域而不在模拟域中做信号处理的主要优点是：首先，数字信号计算是一种精确的运算方法，它不受时间和环境变化的影响；其次，表示部件功能的数学运算不是物理上实现的功能部件，而是仅用数学运算去模拟，其中的数学运算也相对容易实现；此外，可以对数字运算部件进行编程，如欲改变算法或改变某些功能，还可对数字部件进行再编程。,4.1.3,数字化声音,模拟信号与数字信号,教学进程,话音信号是典型的连续信号，不仅在时间上是连续的，而且在幅度上也是连续的。在时间上“连续”是指在一个指定的时间范围里声音信号的幅值有无穷多个，在幅度上“连续”是指幅度的数值有无穷多个。我们把在时间和幅度上都是连续的信号称为模拟信号。在某些特定的时刻对这种模拟信号进行测量叫做采样(sampling)，由这些特定时刻采样得到的信号称为离散时间信号。采样得到的幅值是无穷多个实数值中的一个，因此幅度还是连续的。如果把信号幅度取值的数目加以限定，这种由有限个数值组成的信号就称为离散幅度信号。例如，假设输入电压的范围是0.0V0.7V，并假设它的取值只限定在0、0.1、0.2，0.7共8个值。如果采样得到的幅度值是0.123V，它的取值就应算作0.1V，如果采样得到的幅度值是0.26V，它的取值就算作0.3，这种数值就称为离散数值。我们把时间和幅度都用离散的数字表示的信号就称为数字信号。,4.1.3,数字化声音,教学进程,4.1.3,数字化声音,声音量化声音数字化(模/数转换),教学进程,连续幅度的离散化通过量化(quantization)来实现，就是把信号的强度划分成一小段一小段，如果幅度的划分是等间隔的，就称为线性量化。,4.1.3,数字化声音,教学进程,4.1.3,数字化声音,教学进程,采样频率采样频率的高低是根据奈奎斯特理论(Nyquisttheory)和声音信号本身的最高频率决定的。奈奎斯特理论指出，采样频率不应低于声音信号最高频率的两倍，这样就能把以数字表达的声音还原成原来的声音，这叫做无损数字化(losslessdigitization)。采样定律用公式表示为fs2f或者TsT/2其中f为被采样信号的最高频率。你可以这样来理解奈奎斯特理论：声音信号可以看成由许许多多正弦波组成的，一个振幅为A、频率为f的正弦波至少需要两个采样样本表示，因此，如果一个信号中的最高频率为,采样频率最低要选择2。例如，电话话音的信号频率约为3.4kHz，采样频率就选为8kHz。,样本大小是用每个声音样本的位数bit/s(即bps)表示的，它反映度量声音波形幅度的精度。例如，每个声音样本用16位(2字节)表示，测得的声音样本值是在065536的范围里，它的精度就是输入信号的1/65536。样本位数的大小影响到声音的质量，位数越多，声音的质量越高，而需要的存储空间也越多；位数越少，声音的质量越低，需要的存储空间越少。采样精度的另一种表示方法是信号噪声比，简称为信噪比(signal-to-noiseratio，SNR)，并用下式计算：SNR10log(Vsignal)2/(Vnoise)220log(Vsignal/Vnoise)其中，Vsignal表示信号电压，Vnoise表示噪声电压；SNR的单位为分贝(db)例1：假设Vnoise1，采样精度为1位表示Vsignal21，它的信噪比SNR6分贝。假设Vnoise1，采样精度为16位表示Vsignal216，它的信噪比SNR96分贝。,4.1.3,数字化声音,采样精度,4.1.3,数字化声音,教学进程,教学进程,4.1.3,数字化声音,采样频率Hz,数据长度bit,数据量分钟,11,025,8,0.66MB,22,050,8,1.32MB,44,100,8,2.64MB,11,025,16,1.32MB,22,050,16,2.64MB,44,100,16,5.29MB,音质评价,低,一般,良好,中,良好,优秀,音质与数据量,4.1.4数字音频的,教学进程,音质与数据量,4.1.4数字音频的,2015000Hz,4.1.5,文件种类及特点,数字音频文件的种类,教学进程,用.wav为扩展名的文件格式称为波形文件格式(WAVEFileFormat)，它在多媒体编程接口和数据规范1.0(MultimediaProgrammingInterfaceandDataSpecifications1.0)文档中有详细的描述。该文档是由IBM和微软公司于1991年8月联合开发的，它是一种为交换多媒体资源而开发的资源交换文件格式(ResourceInterchangeFileFormat，RIFF)。波形文件格式支持存储各种采样频率和样本精度的声音数据，并支持声音数据的压缩。,.WAV声音文件,4.1.5,数字音频文件的种类,波形文件有许多不同类型的文件构造块组成，其中最主要的两个文件构造块是FormatChunk(格式块)和SoundDataChunk(声音数据块)。格式块包含有描述波形的重要参数，例如采样频率和样本精度等，声音数据块则包含有实际的波形声音数据。RIFF中的其他文件块是可选择的。它的简化结构如图所示。,.WAV声音文件,4.1.5,数字音频文件的种类,MIDI是MusicalInstrumentDigitalInterface的首写字母组合词，可译成“电子乐器数字接口”。用于在音乐合成器(musicsynthesizers)、乐器(musicalinstruments)和计算机之间交换音乐信息的一种标准协议。从20世纪80年代初期开始，MIDI已经逐步被音乐家和作曲家广泛接受和使用。MIDI是乐器和计算机使用的标准语言，是一套指令(即命令的约定)，它指示乐器即MIDI设备要做什么，怎么做，如演奏音符、加大音量、生成音响效果等。MIDI不是声音信号，在MIDI电缆上传送的不是声音，而是发给MIDI设备或其它装置让它产生声音或执行某个动作的指令。,MIDI简介,4.1.6,电子乐器数字接口(MIDI)系统,可以同时播放WAVE文件和MIDI文件来一起播放语音和音乐；不能同时播放两个波形文件，因为播放采样声音时要求准确的同步。,MIDI标准之所以受到欢迎，主要是它有下列几个优点：生成的文件比较小，因为MIDI文件存储的是命令，而不是声音波形；容易编辑，因为编辑命令比编辑声音波形要容易得多；可以作背景音乐，因为MIDI音乐可以和其它的媒体，如数字电视、图形、动画、话音等一起播放，这样可以加强演示效果。,MIDI文件的优点,4.1.6,电子乐器数字接口(MIDI)系统,产生MIDI乐音的方法很多，现在用得较多的方法有两种：一种是(frequencymodulation，FM)合成法，另一种是乐音样本合成法，也称为波形表(Wavetable)合成法。这两种方法目前主要用来生成音乐。,MIDI的合成方法,4.1.6,电子乐器数字接口(MIDI)系统,频率调制（FM）合成法,4.1.6,电子乐器数字接口(MIDI)系统,20世纪80年代初，美国斯坦福大学(StanfordUniversity)的一名叫JohnChowning的研究生发明了一种产生乐音的新方法，这种方法称为数字式频率调制合成法(digitalfrequencymodulationsynthesis)，简称为FM合成器。他把几种乐音的波形用数字来表达，并且用数字计算机而不是用模拟电子器件把它们组合起来，通过数模转换器(digitaltoanalogconvertor，DAC)来生成乐音。,频率调制（FM）合成法的原理,4.1.6,电子乐器数字接口(MIDI)系统,它由5个基本模块组成：数字载波器、调制器、声音包络发生器、数字运算器和模数转换器。声音包络发生器用来调制声音的电平，这个过程也称为幅度调制(amplitudemodulation)，并且作为数字式音量控制旋钮，它的4个参数写成ADSR，这条包络线也称为音量升降维持静音包络线(Attack，decay，sustain，release，ADSR)包络线。,频率调制（FM）合成法的原理,4.1.6,电子乐器数字接口(MIDI)系统,在乐音合成器中，数字载波波形和调制波形有很多种，不同型号的FM合成器所选用的波形也不同。下图是YamahaOPL-III数字式FM合成器采用的波形。各种不同乐音的产生是通过组合各种波形和各种波形参数并采用各种不同的方法实现的。用什么样的波形作为数字载波波形、用什么样的波形作为调制波形、用什么样的波形参数去组合才能产生所希望的乐音，这就是FM合成器的算法。,乐音样本合成声音的原理,4.1.6,电子乐器数字接口(MIDI)系统,这种方法就是把真实乐器发出的声音以数字的形式记录下来，播放时改变播放速度，从而改变音调周期，生成各种音阶的音符。乐音样本的采集相对比较直观。音乐家在真实乐器上演奏不同的音符，选择44.1kHz的采样频率、16位的乐音样本，这相当于CD-DA的质量，把不同音符的真实声音记录下来，这就完成了乐音样本的采集。乐音样本通常放在ROM芯片上。乐音样本合成器所需要的输入控制参数比较少，可控的数字音效也不多，大多数采用这种合成方法的声音设备都可以控制声音包络的ADSR参数，产生的声音质量比FM合成方法产生的声音质量要高。,合成器或者声音发生器的多音调(polyphony)是一次演奏多个音符(note)的能力。大多数早期的音乐合成器是单音调的，即一次仅演奏一个音符。如果在装配有单音调合成器(monophonicsynthesizer)的键盘上同时按下5个键，只能听到一个音符的声音；如果在装配有能支持4个音调的合成器的键盘上同时按下5个键，可产生4个音符的声音。许多现代的声音模块有16，24或者32个音符的复调音。如果一个合成器或者声音发生器能够同时产生2个或者2个以上的不同乐音，就说这个合成器或者声音发生器是多音色(multi-timbral)的。例如，如果一个合成器能够同时演奏5个音调(notes)，就说它是多音调的(polyphonic)；如果一个合成器也能够同时产生钢琴声(pianosound)和低音(basssound)，就说它是一个多音色(multi-timbral)合成器。,合成器的多音调和多音色,4.1.6,电子乐器数字接口(MIDI)系统,一个简单的MIDI系统,4.1.6,电子乐器数字接口(MIDI)系统,上图表示的是一个简单的MIDI系统，它由一个MIDI键盘控制器和一个MIDI声音模块组成。许多MIDI键盘乐器在其内部既包含键盘控制器，又包含MIDI声音模块功能。在这些单元中，键盘控制器和声音模块之间已经有内部链接，这个链接可以通过该设备中的控制功能(localcontrol)对链接打开(ON)或者关闭(OFF)。,4.2.1,4.2声音编码方法,声音编码分类,（1）波形编码基于音频数据的统计特性目标是使重建语音波形保持原波形的形状。如脉冲编码调制等（2）参数编码基于音频的声学参数目标是使重建音频保持原音频的特性。常用的音频参数有共振峰、线性预测系数、滤波器组等。（3）混合编码,教学进程,LPC是通过分析话音波形来产生声道激励和转移函数的参数，对声音波形的编码实际就转化为对这些参数的编码，这就使声音的数据量大大减少。在接收端使用LPC分析得到的参数，通过话音合成器重构话音。合成器实际上是一个离散的随时间变化的时变线性滤波器，它代表人的话音生成系统模型。时变线性滤波器既当作预测器使用，又当作合成器使用。,4.2声音编码方法,4.2.2,线性预测编码(LPC),4.2.2,线性预测编码(LPC),=,线性预测器是使用过去的P个样本值来预测现时刻的采样值x(n)，预测值可以用过去P个样本值的线性组合来表示：,残差误差(residualerror)即线性预测误差为,=,4.2声音编码方法,在给定的时间范围里，如，使的平方和即为最小,通过求解偏微分方程，可找到系数ai的值。如果把发音器官等效成滤波器，这些系数值就可以理解成滤波器的系数。这些参数不再是声音波形本身的值，而是发音器官的激励参数。,4.2声音编码方法,4.2.2,线性预测编码(LPC),4.2.3,GSM编译码器,GSM是GlobalSystemforMobilecommunications的缩写，可译成全球数字移动通信系统。GSM算法是1992年柏林技术大学(TechnicalUniversityOfBerlin)根据GSM协议开发的，这个协议是欧洲最流行的数字蜂窝电话通信协议。GSM的输入是帧(frame)数据，一帧(20毫秒)由采样频率为8kHz的带符号的160个样本组成，每个样本为13位或者16位的线性PCM(linearPCM)码。GSM编码器可把一帧(16016位)的数据压缩成260位的GSM帧，压缩后的数据率为1625字节，相当于13kb/s。由于260位不是8位的整数倍，因此编码器输出的GSM帧为264位的线性PCM码。采样频率为8kHz、每个样本为16位的未压缩的话音数据率为128kb/s，使用GSM压缩后的数据率为：(264位8000样本/秒)/160样本=13.2千位/秒GSM的压缩比：128:13.2=9.7，近似于10:1。,4.2声音编码方法,4.3声音处理软件Audition,4.3.1单音轨形式录音编辑界面；多轨界面。主要不同？主要步骤：1.文件-新建-选择属性（采样率、声道、量化位数）2.选项-录音控制台-选择录音源3.点击播放面板的录音按钮录制，完成后点击停止。4.文件-保存，选择类型（WindowsPCM、Mp3Pro）,4.3声音处理软件Audition,4.3.2音频编辑与处理（1）消除环境噪声主要步骤：1.打开文件2.效果-修复-降噪3.单击降噪器-获取特性，适当选取数值（2）消除呼吸噪声等1.可以使用效果-静音2.复制与粘贴的使用3.选择波形后拖动振幅调节或者效果-振幅与压限-规格化,4.3声音处理软件Audition