第6章 多媒体音频信息处理技术.ppt

第6章多媒体音频信息处理技术,本章主要内容,6.1音频信号及其概念6.2模拟音频的数字化6.3音频处理软件,6.1.1声音处理技术历史,留声机唱片（磁带）数字音频机械化模拟电信号数字电信号电声转换、音频信号的存储和重放技术、加工处理技术以及数字化音频信号的编码、压缩、传输、存储、纠错等技术，是数字音频技术的主要对象。,6.1.1声音处理技术历史,图用磁带记录声音的录音机,6.1.2声音信号的形式,声音的产生是因为发声体的振动在物理介质（气体、液体、固体）中传播的纵向压力波。传播到人的耳膜上产生有效声压。,图在自然界，声波与水波一样都是一种振动波,声源,声音感知的过程如下：,声源,传播介质,具有听觉的人,声音感知是作用于人耳膜上声压的客观存在。,6.1.2声音信号的形式,6.1.2声音信号的形式,声波中复合了不同声强和频率的子声波。悦耳的交响乐；嘈杂的噪声；音频一般划分为：语音信号：人类发出的，丰富信息和内涵；非语音信号；各种物理的声音还原设备或自然界中的其它生物发出的，简单，信息量低；,机场的驱鸟装置很有意思！,6.1.2声音信号的形式,物理上，声音可用连续的曲线描述，并且都可以分解为一组正弦函数。（傅立叶变换思想）,图用声音录制软件记录的英文单词”Hello”语音的实际波形,声音是振动波，它是在时间轴和幅度轴上都是连续的信号。,6.1.2声音信号的形式,1秒钟波峰的个数,频率的倒数,声音的强弱,6.1.2声音信号的形式,频率(frequency)：单位时间内信号振动的次数或出现波峰（谷）的次数。1秒钟产生5000个波峰，则声音频率为5kHZ；周期：每隔一定时间波形就重复出现，则该时间就是周期；周期性声音：元音、鸟鸣及风声；非周期性声音：打击乐、雷电声、流水声；振幅(Amplitude)：基线到当前波峰的距离或振动的物质偏离平衡位置的最大绝对值；,人耳可以感觉到的最低声压值是20uPa；,人耳可以感觉到的最高声压值是64.5Pa；,可听阈,痛阈,人耳的听觉特性是指数特性。,20uPa,6.1.3人对声音的感知,语音信号大概有2040分贝的动态范围。,交响乐、戏剧等的动态范围可达8090分贝。,当超过130(64.5Pa)分贝时，人耳会感到痛感。,6.1.3人对声音的感知,所以，人对声音的强度的感知是有一个范围的。,同时，人对声音的强度的感知与声音频率有关。,频率:声音信号每秒钟变化的次数,单位Hz;,次声波,人耳可听域,超声波,20,000Hz,6.1.3人对声音的感知,6.1.3人对声音的感知,人类听觉：20Hz20000Hz人声：80Hz3400Hz语音：300Hz3000Hz传统乐器：16Hz7000Hz钢琴：27.5Hz4186Hz声乐：87Hz(男低音)1318Hz(花腔女高音),频率带宽越大，声音质量越好;,变好,变好,变好,6.1.3人对声音的感知,音调的高低体现在声音的频率大小。,男高音4000Hz以上,男低音300Hz以下,男中音300Hz4000Hz,6.1.3人对声音的感知,声波的振幅表示声音信号的强弱程度。,音量变大,6.1.3人对声音的感知,6.1.3人对声音的感知,复音中的最低频率称为复音的基频。,复音中还存在一些其它频率,称为谐音。,基频和谐音合成复音，决定了特定的声音音质和音色。语音是复合音，语音由元音和复音构成，它们共同构成汉语语音。,6.1.3人对声音的感知,6.1.4模拟数据与数字数据,模拟数据(AnalogData)是随时间连续变化的值；数字数据(DigitalData)是模拟数据经数字化之后的离散值；模拟数据采用模拟信号传送，如无线电；数字信号采用连续变化的脉冲表示；模数转换及模数转换器(AnalogDigitalConverter)数模转换及数模转换器(DigitalAnalogConverter),6.1.4模拟数据与数字数据,借助于A/D或D/A转换器，模拟信号和数字信号可以互相转换,6.2模拟音频的数字化,模拟信号的主要缺点精确模拟信号的产生十分困难；模拟信号受环境影响大；模拟元部件开发成本高；模拟信号的可重复性差。,6.2模拟音频的数字化,数字信号的主要优点：数字信号计算的精确度高；它不受环境和时间的影响；数学运算容易实现；数字运算部件的可扩展性好；,6.2模拟音频的数字化,模拟音频信号时间上连续；幅度上连续；数字音频信号时间上离散；幅度上离散；,模拟音频信号,音频信号时间离散化,音频信号幅度的离散化,6.2模拟音频的数字化,时间轴离散化称为采样；,幅度轴离散化称为量化；,数字化,1101110011001101,6.2模拟音频的数字化,6.2.1采样(Sampling),采样定理基本内容：香农提出在一定条件下，用离散的序列可以完全替代一个连续函数；采样频率：每秒钟采集多少个声音样本；,采样频率如何，声音质量才高呢？,6.2.1采样(Sampling),采样频率不能无限制升高，其值越大，对信道带宽要求愈加严格；采样频率和信号频率之间必须满足奈奎斯特理论：采样频率必须高于声音信号最高频率的2倍，才能把数字化后的信号还原为原始的信号。,常用的采样频率如下：,常用采样频率,11,025Hz,22,050Hz,44,100Hz,6.2.1采样(Sampling),CD级别,普通音乐级别,6.2.2量化(quantization),量化：声波波形幅度的数字化过程，它把采样到的信号按幅度划分成若干区间，把落入某个区间内的归为一类，并赋予相同的量化值。,量化位数如何，声音质量才高呢？,6.2.2量化,用毫米比用厘米来确定一个人的身高更准确!,常用量化位数,8bit,12bit,16bit,24bit,32bit,6.2.2量化,AM(amplitudemodulation)：调幅广播FM(frequencymodulation)：调频广播DAT(digitalaudiotape)：数字音带,6.2.3编码,在得到量化之后的数据之后，有必要先对其进行编码和压缩，然后保存到计算机中去；,WHY？,6.2.3编码,语音信号中存在大量冗余信息；人对某些语音信息不敏感；如声音的“掩蔽效应”。对声音波形采样后，相邻样本值之间存在很大的相关性。,6.2.3编码,常用的编码方法：PCM、ADPCM、SB-ADPCM、GSM；,抗干扰好，失真小，传输稳定！,6.3音频处理软件,6.3.1Windows自带的录音软件,录音操作步骤：,Step1：打开声音控制面板。双击,Step2：设置属性中的录音属性，选中Microphone,Step3：拖动滑块，改变Microphone音量大小。,除录音功能，录音机还提供了混音和插入。,当选择混音位置后选择相应的波形文件即可。,录音过程中可以改变音频文件的采样格式。,Step1：打开文件菜单中的属性。,Step2：选择合适的采样格式。,6.3.2音频处理软件Goldwave,软件功能,ECHOPITCHMIXSTOP,音频处理效果,波表显示声音数据，直观、简捷为声音增加各种效果(如回声、机器声等)编辑wav和mp3声音(如删除、粘贴、静音等)合成声音(把其他声音与当前声音混合)所有编辑都可进行STEREOMONO声道编辑,(2)打开Flash模式“总是”,(3)临时存储“内存”,(4)剪贴板“GoldWave”,(5)单击确定按钮,(2)声音窗口“最大化”,(3)初始放缩“所有”,(4)单击确定按钮,设置文件、内存管理,(1)选择“选项文件”,(1)选择“文件打开”,(2)选择声音文件夹和文件名(若是mp3，需等待片刻),(3)单击打开按钮,调入声音,(1)鼠标左键单击波表,设定起点,(2)鼠标右键单击波表,设定终点,播放控制,设定编辑区域,(2)调整音量滑块,简单编辑,(3)单击确定按钮,音量调整前音量调整后,设定编辑区域,使用剪贴板,(2)单击Paste按钮，插入式粘贴,(2)单击Copy按钮，获取声音素材,(5)鼠标左键单击波表，确定合成开始位置,(1)在文件1中设定编辑区域,(7)调整合成素材的音量,合成声音,(4)打开文件2,(6)单击Mix按钮,操作步骤,(8)单击确定按钮,(3)关闭文件1,设定编辑区域,增加效果,(1)单击按钮,(2)调整延迟时间,(3)调整回声音量,(4)设置