《声音及其处理》PPT课件.ppt

1、声音处理技术,1 声音的概念 1.1 音频信号 1.2 听觉感知特征 1.3 多声道声音 2 音频编码与文件类型 2.1 音频编码 2.2 常见音频文件格式 3 音频获取技术 3.1 录音机获取音频,3.2音频文件转换 4 音频编辑软件 1 Audition基本操作 2 Audition高级操作 3 Audition应用示例 5 MIDI原理与应用 5.1 MIDI的技术原理 5.2 MIDI应用,声音处理技术,1 声音概念 2 音频编码与文件类型 3 音频获取技术 4 音频编辑软件 5 MIDI原理与应用,1 声音概念,1.1 声音信号 1.2 听觉感知特征 1.3 多声道声音,1.1 声音

2、信号,声音是压力发生快速变化的现象，空气的大气压力保持着恒定不变的某种状态时就没有声音了。压力变化传播到我们的耳朵时，我们就听到了声音。 当空气压力发生百万分之一的变换时人的耳朵就能听到声音，空气的震荡快于每秒20次、且慢于每秒2万次时，人耳可以感知其振动，听到声音。,1.1 声音信号,空气的振动引发声波，声波进入人耳，到达鼓膜，使鼓膜发生振动。鼓膜的振动通过耳小骨和淋巴液传递到“基底膜”，最终引起有毛细胞的纤毛振动，变成神经细胞信号。这种信号传递到大脑，我们便感知到了声音信号。大脑对声音信号进行解读，人就获得了听觉信息。,人耳的结构,1.1 声音信号,空气的振动引发声波，声波进入人耳，到达鼓

3、膜，使鼓膜发生振动。鼓膜的振动通过耳小骨和淋巴液传递到“基底膜”，最终引起有毛细胞的纤毛振动，变成神经细胞信号。这种信号传递到大脑，我们便感知到了声音信号。大脑对声音信号进行解读，人就获得了听觉信息。,1.1 声音信号,正在发声的物体叫声源，声源产生声波。 声波是纵波。 只含有一种震荡频率的波产生的声音叫单音。 更过情况下，许多不同频率、不同幅度的声波同时存在，发生叠加，这样的声波产生的声音是复合音。,声音的波形,1.1 声音信号,1.1 声音信号,声波具有普通波的物理特征，可以发生折射、反射、衍射等物理过程。 声波具有连续性，是模拟信号。,1.1 声音信号,声音的基本听觉特征有三： 响度(l

4、oudness) 音调(pitch) 音色(music quality),1.1 声音信号,响度是人主观上感觉声音的大小，由声波的振幅决定，振幅越大响度越大。响度的单位是分贝(dB)。 当声音弱到人耳刚刚能听到时的声音响度为“听阈”，听阈是随频率而改变的，不同频率的听阈值不同。另一种极端的情况是声音太响，使人耳感到疼痛。 当声音的频率为3-5KHz时，听阈数值最小。此时人耳对声音非常敏感。,1.1 声音信号,人耳可听最小响度曲线,1.1 声音信号,音调是声音的高低，由频率决定同时也与声音强度有关。人耳听觉范围是2020000 Hz，人的发声频率约为8511000Hz。 对一定强度的纯音，音调随

5、频率的升降而升降； 对一定频率的纯音、低频纯音，音调随声强增加而下降，高频纯音的音调随强度增加而上升。,1.1 声音信号,低于2000Hz纯音的音调随强度的增加而下降，高于3000Hz纯音的音调随强度的增加而上升。 音调的单位是美(mel)。 取频率1000Hz、声压级为40分贝的纯音的音调作标准，称为1000美。另由一个纯音，听起来音调高一倍，称为2000美，调子低一倍的称为500美，由此可建立起整个可听频率内的音调标度。,1.1 声音信号,音调还与声音持续时间长短有关。 非常短促(毫秒级或更短)的纯音，只能听到像打击或弹指那样的“喀嚓”一响，感觉不出音调。 持续时间10-50毫秒时，听起来

6、觉得音调是由低到高连续变化的。 超过50毫秒时，音调就稳定不变了。 乐音(复音)的音调更复杂些，一般可认为主要由基音的频率来决定。,1.1 声音信号,音调控制就是人为地改变信号里高、低频成分的比重，以满足听者的爱好、渲染某种气氛、达到某种效果、补偿扬声器系统及放音场所的音响不足等目标。,1.1 声音信号,音色：发音体振动的基本频率称基音，此外还伴随有许多更高频率的、振幅较小的声音谐波，称泛音。 泛音的多寡及泛音之间的相对强度决定了特定的音色。 音色是音乐中极为吸引人、能直接触动感官的重要表现手段。 人耳具有很好的区分音色的能力。,1.1 声音信号,音色不同，即使在同一音高和同一声音强度的情况下

7、，也能区分出是不同的声音。 可以认为声音包含乐音和噪音，乐音由源音和节拍构成，源音的特征有音调、响度和音色，音色由纯音、变换和混合方式决定。,1.1 声音信号,波形和音色密切相关，确定的波形具有确定的音色。而同一种音色可能有多种波形。 两个截然不同的波形，但频谱却是一样的，因为频谱关系不表示波形的相位。 人的听觉对相位没有感觉，所以这两种不同波形声音听上去可能是一样的。,1.1 声音信号,声音质量的评价是一个很困难的问题。声音质量两种基本的度量方法：客观质量度量和主观质量度量。 声音客观质量主要用信噪比（Signal to Noise Ratio，SNR）来度量。 主观质量评价最常用的方法是M

8、OS（Mean Opinion Score，平均意见得分）。,1.2听觉感知特征,人的听觉系统非常复杂 人耳听觉感知还受到心理因素的很大影响。 人耳对响度、音高的感知特征和掩蔽效应可以直接应用于声音数据的压缩编码过程。,1.2听觉感知特征,1对响度的感知 声音的响度就是声音的强弱。 在物理上，声音的响度使用达因/平方厘米(声压)或瓦特/平方厘米(声强)的单位进行客观测量。 心理上主观感觉声音强弱使用响度级“phon”或“sone”来度量。以上这两种感知声音强弱的测量概念完全不同，但又有一定的联系。 听阈：当声音弱到人的耳朵刚刚可闻时的声音强度。 痛阈：声音强到使人耳感到疼痛。 在“听阈频率”曲

9、线和“痛阈频率”曲线之间的区域是人耳的听觉范围。,“听阈频率”曲线,1.2听觉感知特征,2.对音高的感知 客观上用频率来表示声音的音高，其单位是Hz。主观感觉的音高单位则是“Mel”。 测量音高时以40dB声强为基准，并由主观感觉来确定。 测量主观音高时，让实验者听两个声强级为40dB的纯音，固定其中一个纯音的频率，调节另一个纯音的频率，直到他感到后者的音高为前者的两倍，就标定这两个声音的音高差为两倍。,“音高频率”曲线,1.2听觉感知特征,3声音的掩蔽效应 （1）频域掩蔽 对于频率相近的声音，响度高的阻碍另一个响度较低声音的听觉感知的现象，称为频域掩蔽效应。 （2）时域掩蔽 当声音与其回声之

10、间时间差很小时，回声是听不到的。这说明，在时间上相邻的声音之间有掩蔽现象，称为时域掩蔽。,频域隐蔽,时域掩蔽,1.2听觉感知特征,（3）声音感知特性与MPEG声音编码 MPEG声音编码指MPEG-1 Audio、MPEG-2 Audio和MPEG-2 AAC声音编码。 MPEG声音编码进行数据压缩编码的主要依据是人耳朵的听觉特性，据此建立“心理声学模型” 。 心理声学模型的一个基本依据是听觉系统中存在一个听觉阈值电平，低于这个电平的声音信号听不见(即响度太小的声音听不见)，因此就可以把这部分声音信号去掉。 心理声学模型的另一个基本依据是听觉掩饰特性，据此对听觉阈值电平进行自适应调节。声音压缩算

11、法确立这种特性的模型，用以消除声音数据的冗余，实现数据压缩。,1.3 多声道声音,人类的耳朵能够判别出声波到达左右耳的相对时差和音强，能够判别声音的来源。 对于多声道声音，不仅能产生更多的声音细节，还能感知到音源的位置、位置移动、变化、音源距离等情况，有关声音在声场空间中产生的效果，也称为三维音效。 多声道系统之所以能够产生如此的听音效果是由人耳听音特征和耳轮结构所决定的。 人的双耳在听到声音的同时，还能识别出某个声源与人的左右耳距离的差异造成的时间差异，识别出声音到达左右耳时的强度差别。,1.3 多声道声音,耳间时间差和耳间强度差是人耳声音定位的主要线索。 三维音效产生过程中耳廓也起到了重要

12、作用。 实际应用中，常见的多声道音频系统是5.1声道和7.1声道系统。,1.3 多声道声音,5.1声道系统,1.3 多声道声音,7.1声道系统,1.3 多声道声音,3环绕音效 环绕音效使聆听者感到声音是来自四面八方的，聆听者获得被四面八方的声音包围的感觉。 环绕音效大多都是用于观赏电影之用。 DVD需要5.1声道系统要将影片中的音场效果表现出来。 电子游戏中使用5.1声道系统产生音效来实现定位等3维音效。 Dolby Digital 5.1，即杜比数码是美国杜比实验室开发的环绕音效技术。,1.3 多声道声音,DTS(Digital Theater System)数字剧院系统也是广为应用的多声道

13、音效技术。 THX是美国导演乔治.卢卡斯提出的电影院声音播放技术标准。,1.3 多声道声音,Hi-Fi高保真系统 Hi-Fi(High-Fidelity)高保真是指“与原来的声音高度相似地重放声音”，目前尚没有严格定义。 Hi-Fi无止境。,2 音频编码与文件类型,2.1 音频编码 2.2 常见音频文件格式,2.1 音频编码,1.MPEG-1音频编码 MPEG-1音频编码依靠心理声学模型进行数据压缩编码 MPEG-1将声音中听不清或听不到的那些声音信息所对应的数据去除掉，使得声音数据得以压缩。 心理声学模型对数据压缩率和编码后的声音质量起着关键作用。 MPEG-1是有损音频压缩编码 MPEG-

14、1编码器(数据压缩)、解码器(解压缩、播放)可以使用硬件或软件实现。,2.1 音频编码,2MPEG-2音频编码 MPEG-2标准委员会定义了两种音频数据压缩编码，一种为MPEG-2 Audio，另一种为MPEG-2 AAC。 MPEG-2 Audio与MPEG-1 Audio兼容 MPEG-2 AAC(Advanced Audio Coding)与MPEG-1声音编码不兼容，又称为非后向兼容MPEG-2 NBC(Non-BC)标准。 AAC标准定义了三种配置：基本配置、低复杂性配置和可变采样率配置。,2.1 音频编码,3MPEG-4音频编码 MPEG-4 Audio标准可集成从话音到高质量的多

15、通道声音，从自然声音到合成声音。 （1）自然声音编码 （2）参数编码器 （3）编码激励的线性预测编码器CELP （4）T/F编码器 （5）新型的结构音频标准(合成语音编码) （6）合成/自然混合编码,2.1 音频编码,Dolby AC-3编码 杜比公司1968年成立，Dolby音频数据编码是他的核心技术和产品。 Dolby AC3编码的动态范围至少可达20bit，频响范围为20Hz-20kHz0.3dB，低音通道的频响范围为20-120Hz 0.3dB。采样频率可为32kHz、44kHz或48kHz，比特率可变。典型值为384 kbps (5.1声道家用数字环绕声系统)和192kbps(双声道

16、立体声系统)，最高为640kbps。,2.2 常见音频文件格式,1WAV文件格式 由微软和IBM开发的WAV文件格式在广泛应用于Windows系统中，其影响力从Windows伊始至今。WAV格式可以存储多种不同编码的声音数据，但常用于存放1-2声道的PCM编码声音数据，不进行压缩编码，可以保持原始数据的最好音质。,2.2 常见音频文件格式,2MP3文件格式 MP3文件格式是现今应用最多的文件格式，是专门用于存储MP3编码声音数据的文件格式。在MP3文件格式中加入了ID3V1和ID3V2标签，借以提供版权声明。 MP3歌曲文件内不带有歌词。可以在外部配合一个文本格式的歌词文件，两个文件配合，可以

17、使音频播放软件边唱边同步显示歌词内容。歌词文件常见的是Lrc格式。,2.2 常见音频文件格式,3.WMA(Windows Media Audio)文件格式 2000年，随着Windows Media Player7的发布，微软将ASF改造为WMA和WMV格式。 WMA成为了是微软使用的自有音频文件格式。WMA支持流媒体应用方式，支持可变码流率技术，支持有损和无损数据压缩编码技术，支持微软的DRM 内容数字版权加密保护技术。 WMA数据压缩比为18:1，高于MP3。 使用Windows Media Player程序可以进行WMA格式声音信息的压缩编码和播放，也可以在其它应用软件中进行压缩编码和播

18、放。,2.2 常见音频文件格式,CDA文件格式 CDA文件格式只是一种习惯的说法。 CD唱片中的声音按照音轨的方式记录在CD光盘上，其设计的应用方式与计算机系统无关，更不存在文件格式之说了。 在Windows XP等操作系统中，微软将CD唱片的每一个音轨名映射为一个文件名，其文件类型为.CDA，实际上这只是一个指向CD音轨的地址指针。 CD唱片中的声音数据不可能进行文件方式的任何操作，只能直接读出来播放，或用抓音轨的方式将其复制到计算机中。,2.2 常见音频文件格式,5APE和FLAC文件格式 APE和FLAC都是无损压缩音频文件格式，两者压缩比基本相同，大约是一半，编码速度相差无几，压缩技术

19、都是开源的，是免费的技术。 APE是Monkeys Audio软件提供的文件格式。 FLAC是基于Unix系统内核而开发的自由音频压缩编码，免费开放格式的源码，支持多数操作系统，提供开发工具。 使用Monkeys Audio、foobar2000、千千静听等可以制作和播放这些文件。,2.2 常见音频文件格式,6MIDI文件格式 专用于存储MIDI音乐乐谱编码的文件格式。其数据可以经过代码转换后，用于手机铃声。,3音频获取技术,3.1录音机获取音频 3.2音频文件转换,3.1录音机获取音频,利用Windows的录音机应用程序可获取数字化音频。在录制声音前，首先进行准备工作，在Windows控制面

20、板中找到“声音和音频设备”属性对话框，选中“将音量图标放入任务栏”，并去除“静音”。 然后，点击设备音量中“高级”按钮，在“音量控制”窗口中选“选项” - “属性” - “麦克风”(否则不能进行话筒录音)，并取消“静音”设置。,3.1录音机获取音频,选中“麦克风”,3.1录音机获取音频,“声音和音频设备”属性对话框,3.1录音机获取音频,1启动录音程序,3.1录音机获取音频,2录音操作 启动“录音机”程序后，单击“录制”按钮就可以开始录音，录音结束或单击“停止”按钮，打开另存文件窗口，选择文本路径，输入文件名，按确定按钮结束录音操作。单击“伯方”按钮就可以播放录制的声音文件。,3.1录音机获取

21、音频,3.录音参数设置,通过选择声音质量可以确定采样参数,3.1录音机获取音频,直接选择确定采样参数,3.1录音机获取音频,选择声音编码的种类,3.1录音机获取音频,声音的合成 在使用录音机程序录制多个音频素材文件后，常常需要将素材文件进行混合和拼接。Windows“录音机”程序提供了将两个或多个WAV文件混合和拼接的功能。 如要将两个WAV文件拼接成更长的声音文件的操作与混音操作类似，只需在播放一个音频文件的适当位置，单击“停止”按钮，然后选择“编辑”“插入文件”命令，在弹出的窗口中选择拼接的音乐文件，单击确定按钮就可以将这个声音文件从当前位置插入到第一个声音文件中。重复此操作，可以将多个音

22、频文件拼接到一起。,3.2音频文件转换,1Windows Media Player 对音频数据进行编码压缩时需要使用一个高音质的音源，CD光盘中的高保真声音非常适合使用。 抓音轨 Exact Audio Copy软件的主界面。,EAC软件主界面,3.2音频文件转换,Windows Media Player抓音轨，并编码为WMA文件的操作步骤如下： 第1步，勾选要抓取的音轨。,3.2音频文件转换,第2步，选择编码种类,3.2音频文件转换,第3步，选择码流率。,3.2音频文件转换,第4步，在主菜单中的“翻录”项下,3.2音频文件转换,第5步，点击“开始翻录”按钮，即可启动抓音轨和编码过程。 第6步

23、，为了下一步工作需要，再将同一音轨制作成WAV格式的文件。,3.2音频文件转换,2Lame程序应用 Lame编码器程序是MP3编码器引擎。 除固定码流率编码CBR(Constant BitRate)外，Lame还可以进行动态码流率VBR(Variable Bitrate)和平均码流率ABR(Average Bitrate)编码。 在开始编码前还可以输入ID3版权信息标签，这些信息编码后一起存入MP3文件中。如选择VBR动态码流率编码，则MP3文件播放时会在一些播放软件窗口中可以看到其码流率在不断变化(例如winamp程序)。,3.2音频文件转换,3.APE和FLAC编码程序 Monkeys A

24、udio或AWMA Workshop可实现音频数据无损压缩编码操作，可压缩为APE或FLAC编码格式文件。 Monkeys Audio软件可进行APE编码和APE格式文件播放。 AWMA Workshop软件提供的参数设置功能，实现APE和FLAC无损编码，也可以用来进行其它数据压缩编码操作。,Monkey s Audio程序,AWMA Workshop程序,4 音频编辑软件,1Audition基本操作 2 Audition高级操作 3 Audition应用示例,1Audition基本操作,数字音频编辑是非线性编辑。 非线性编辑是相对于模拟声音信号的编辑过程(线性编辑)而言的，是依靠计算机技术

25、、数字处理技术而实现音频编辑技术、方法和应用过程。,1Audition基本操作,1非线性编辑(Nonlinear Edit） 非线性编辑系统的技术理论涉及到计算机软硬件技术，数字信号处理技术，多媒体技术等。非线性编辑在计算机技术的支持下，充分运用数字处理技术的研究成果，其编辑效果变换无穷，多姿多彩的得到应用。,1Audition基本操作,非线性编辑系统特点如下： 从原理看，视频编辑、音频编辑是相同的，只是编辑对象、具体编辑操作内容不同。 非线性编辑工作主要使用软件方法实现。 非线性编辑过程，特别是视频编辑中，会产生非常大的计算工作量，需要配置大型计算机系统。 从非线性编辑系统的作用看，它能集多

26、轨录音、多路音频切换、特效、编辑机、调音台、MIDI创作等工作于一身。 非线性编辑系统的优点是无磁头和机械磨损，无复制损耗，编辑、特技、配音可同时进行或修改，视频节目共享，实现网络协同创作。,1Audition基本操作,2Audition音频编辑处理软件 1997年美国Syntrillium公司发表了多轨音频制作软件Cool Edit Pro 1.0。 2002年1月发布Cool Edit Pro 2.0版。 2003年5月Adobe收购了Cool Edit Pro软件，将其改名为Adobe Audition 1.0。 2006年1月Adobe Audition升至2.0版。 2007年11月

27、发布Adobe Audition 3.0版。新功能支持虚拟乐器VSTi, 增强的光谱编辑, 重新设计的多轨使用者界面，新音效等，由音频工作站变为音乐工作站。,1Audition基本操作,Audition具有的基本技术特征： 按时间线方式工作，支持128条音轨、多种音频特效、多种音频格式，可以很方便地对音频文件进行修改、合并。 提供了高级混音、编辑、控制和特效处理能力，允许用户编辑个性化的音频文件、创建循环。 支持实时特效、环绕声、分析工具、MIDI、视频功能。,1Audition基本操作,1Audition基本操作,1Audition工作界面 2.参数设置 3.文件操作 录音 （1）单轨录音

28、（2）多轨录音 （3）循环录音 （4）穿插录音,1Audition基本操作,5简单编辑操作 对音频数据进行选定、复制、粘贴、剪切、移动、删除、静音等编辑操作是Audition最基本的功能。,2 Audition高级操作,1声音的连接操作,2 Audition软件基础,2混音处理,2 Audition软件基础,3幅度调整和淡入淡出操作,2 Audition软件基础,3幅度调整和淡入淡出操作,2 Audition软件基础,噪音处理,（a）去噪菜单项 （b）噪声声称菜单项,2 Audition软件基础,降噪器对话窗口,2 Audition软件基础,5其它常用音频处理、音效处理功能 (1)音频波形的颠

29、倒、反转、静音处理 这三项处理操作首先要选中一段声音波形，然后在“效果”菜单或选项卡中选择相应的操作。 颠倒处理 反转处理 静音处理,2 Audition软件基础,(2)音频波形幅度处理 选中一段声音波形后，再到“效果”菜单或选项卡中选择相应的操作。这些操作在最终完成前都可以先试听。 放大处理 音频波形压缩处理 音频波形限制处理 音频波形包络处理 音频波形标准化处理,2 Audition软件基础,(3)延音类效果器 模拟延迟效果器 回声效果器 房间回音效果器,2 Audition软件基础,(4)滤波器 滤波器是利用衰减作用来去除声音波形中的某些频率成分，也使某些频率成分的相位发生变化，使波形产

30、生失真，以达到某种特殊的声波处理效果。 图示均衡器，也叫EQ均衡器，用于对音频信号中不同的频率段进行增益或衰减的工具，属于滤波器。 参数均衡器，功能与图示均衡器相同，但调节方式变得不那么直观，其可优点在于可以进行更为精细的调节。 快速滤波(均衡)器，通过选择其中预置的均衡效果，实现快速均衡器操作。 动态均衡器，其对不同频率信号的衰减程度与时间有关，是更为高级的滤波器。其中包含了许多预制效果。 图4-62 动态均衡器 Audition提供的一些高品质效果的滤波器如科学均衡器、分段(阶式)滤波器和快速傅里叶(FFT)滤波器等，其中关联了许多信号处理算法，使用者需要具有信号处理的理论知识，对于普通使

31、用者不必了解其原理，通过试用、试听这些滤波器的效果来选择使用这些功能。 Audition是一个音频数据编辑、加工、处理的软件工具，更是一个音频作品的创作工具。应用中，把其中的各种功能综合地、交织地加以运用，随心所欲地调整音频参数，就能创作出独一无二的音频作品，其音效也可能是世间没有过的。为了做出某种声音效果，其实现的方法、手段也是多样化的而非单一的。要用好Audition这个软件工具，更为重要的在于应用者对声音的理解、感受、想象，还要对Audition的熟悉，如能掌握声音信号处理的物理学原理和数学原理将更好。,3 Audition应用示例,制作配乐散文：先选择一篇散文作品，根据其内容与个人的理

32、解，以及个人的艺术意愿，构思出本音频作品的表演脚本，设计出艺术表现方式和表现手段，准备好充足的文字和音频素材，应用Audition进行创作。,3 Audition应用示例,具体操作如下： 1.建立一个新的会话 2.散文录音 编辑音频素材 去除音频数据中空白无声部分 去除录音时的噪音 3.进行音频素材的合成 将多个音频素材加入到多个音轨上 调整各段音频的时间关系 调整各段音频的音量关系 加入更多的音效 5.缩混操作,5 MIDI原理与应用,5.1 MIDI的技术原理 5.2 MIDI应用,5.1 MIDI的技术原理,1什么是MIDI？ MIDI是Musical Instrument Digita

33、l Interface（乐器数字接口）的缩写。 MIDI是一种国际标准，是计算机和MIDI设备之间进行信息交换的一整套规则，包括记录、表示、重放乐音，控制电子乐器设备，以及各种电子乐器之间传送数据的通信协议。 MIDI音频是将电子元器件盘上的弹奏信息记录下来，包括键名、力度、时值长短等，是乐谱的一种数字是描述。 当需要播放的时候，只需要从相应的MIDI文件中读出MIDI消息，生成所需要的声音波形，然后经放大由扬声器输出。,5.1 MIDI的技术原理,MIDI设备是处理MIDI音频所需要的硬件，主要包括：MIDI端口、MIDI键盘、音序器和合成器。 音序器（Sequencer）用于记录、编辑、播放MIDI的声音文件，音序器有硬件和软件两种形式。 合成器用于解释MIDI文件中的指令符号，生成所需要的声音波形，放大后由扬声器输出。 MIDI合成方式主要有调频合成和波表合成。,5.1 MIDI的技术原理,2.MIDI音乐符号和时间关系 MIDI系统中只能描述和处理音乐数据。 乐谱上的乐符是有限多个符合的集合，音乐的乐谱是由这有限个符号按照时间顺序组合而成的，乐符的排列顺序、时间关系决定了音乐的旋律。 MIDI系统按照时间顺序记录乐谱符号，就可以实现记录乐谱的功能。对于有限个乐谱符号，可以将其编码，