第5章多媒体音频技术

1、第5章 多媒体音频技术音频概述音频概述声音的数字化声音的数字化 AuditionAudition音频处理软件音频处理软件MIDIMIDI与音乐合成与音乐合成 语音识别技术及应用语音识别技术及应用第五章 多媒体音频技术5.1 音频基础5.1.1 5.1.1 声音的基本概念声音的基本概念p声音在物理学上称之为声波，是通过一声音在物理学上称之为声波，是通过一定介质（如空气、水等）传播的连续的定介质（如空气、水等）传播的连续的振动的波。振动的波。p声波引起某处媒质压强的变化量称为该声波引起某处媒质压强的变化量称为该处的声压。处的声压。p声音的强弱声音的强弱体现在声波的振幅上体现在声波的振幅上p音调的高

2、低音调的高低体现在声波的周期和频率上。体现在声波的周期和频率上。 第五章 多媒体音频技术5.1.1 5.1.1 声音的基本概念声音的基本概念p声波是随时间连续变化的物理量，它有声波是随时间连续变化的物理量，它有3 3个重要指标：个重要指标：u振幅振幅波的高低幅度，表示声音的强弱；波的高低幅度，表示声音的强弱；u周期周期两个相邻波之间的时间长度；两个相邻波之间的时间长度；频率频率每秒振动的次数，以每秒振动的次数，以HzHz为单位。为单位。振 幅周 期基 线第五章 多媒体音频技术1声音如何传播p声音依靠介质的振动进行传播。声音依靠介质的振动进行传播。p声源实际上是一个振动源，它使周围的介质声源实际

3、上是一个振动源，它使周围的介质（空气、液体、固体）产生振动，并以波的形（空气、液体、固体）产生振动，并以波的形式进行传播。式进行传播。p声源的形式多样，例如，吉他、人的声带、农声源的形式多样，例如，吉他、人的声带、农村的拖拉机等。村的拖拉机等。p声源振动，通过它周围的空气、水等传播介质声源振动，通过它周围的空气、水等传播介质进行传播，形成进行传播，形成“声波声波”。p人耳接收到声波，耳膜随之振动，再通过听觉人耳接收到声波，耳膜随之振动，再通过听觉神经末梢的传递，就可以听见声音。神经末梢的传递，就可以听见声音。 第五章 多媒体音频技术2声音的频率p声源每秒振动的次数称为该声源的声源每秒振动的次数

4、称为该声源的“频频率率”。p用音频来表示声音信号的频率，单位为用音频来表示声音信号的频率，单位为赫兹（赫兹（HzHz）。）。u频率对于声音来说是个非常重要的概念，不频率对于声音来说是个非常重要的概念，不同的声音有不同的频率范围，人耳只能听到同的声音有不同的频率范围，人耳只能听到频率范围在频率范围在20Hz20Hz20kHz20kHz之间的声音，低于之间的声音，低于20Hz20Hz的次声和高于的次声和高于20kHz20kHz的超声都听不到。的超声都听不到。 次声波次声波可听声波可听声波超声波超声波20Hz20Hz20kHz20kHzf(Hz)f(Hz)第五章 多媒体音频技术p人耳对不同频率的敏感

5、程度有很大差别人耳对不同频率的敏感程度有很大差别u对中频段（对中频段（2 kHz2 kHz4 kHz4 kHz）最为敏感，幅度）最为敏感，幅度很低的信号都能被人耳听到；很低的信号都能被人耳听到；u对低频区和高频区较不敏感，能被人耳听到对低频区和高频区较不敏感，能被人耳听到的信号幅度比中频段要高得多。的信号幅度比中频段要高得多。 10 20 50 200 3.4k 7k 15k 20k10 20 50 200 3.4k 7k 15k 20kCD-DAFM广播广播AM广播广播电话电话f(Hz)第五章 多媒体音频技术3声音的传播方向 p当辐射出来的声波波长比声源的尺寸大当辐射出来的声波波长比声源的尺

6、寸大时，声波比较均匀地向时，声波比较均匀地向各方向各方向传播；传播；p当辐射出来的声波波长小于声源的尺寸当辐射出来的声波波长小于声源的尺寸时，声波集中地向时，声波集中地向正前方一个尖锐的圆正前方一个尖锐的圆锥体范围锥体范围内传播。内传播。第五章 多媒体音频技术4声音的三要素 p声音效果的三要素：音调、音强、音色。声音效果的三要素：音调、音强、音色。p音调：指声音的高低。音调的高低，主音调：指声音的高低。音调的高低，主要取决于声波频率的高低。频率越高，要取决于声波频率的高低。频率越高，音调越高，反之亦然。音调越高，反之亦然。p在使用音频处理软件对声音的频率进行在使用音频处理软件对声音的频率进行调

7、整时，其音调也会随之产生变化。例调整时，其音调也会随之产生变化。例如，男子发音，其频率约在如，男子发音，其频率约在9090140Hz140Hz之之间，其音调较低；女子发音的频率约在间，其音调较低；女子发音的频率约在270270550Hz550Hz之间，其音调较高。之间，其音调较高。第五章 多媒体音频技术p音强：是指声音的强度，又称声音的响音强：是指声音的强度，又称声音的响度，由声波振动的振幅决定。它是人耳度，由声波振动的振幅决定。它是人耳感受到的声音强弱，是人对声音大小的感受到的声音强弱，是人对声音大小的一个主观感觉量。一个主观感觉量。p音色：即声音的品质，它由泛音的多少、音色：即声音的品质，

8、它由泛音的多少、泛音的频率和振幅决定。例如，不同的泛音的频率和振幅决定。例如，不同的乐器在基本振动频率相同的情况下，仍乐器在基本振动频率相同的情况下，仍然可以区分各自的特色，就是因为它的然可以区分各自的特色，就是因为它的音色不同。音色不同。第五章 多媒体音频技术5音质 p“音质音质”是声音的质量，音质的好坏与是声音的质量，音质的好坏与音色的频率范围有关。音色的频率范围有关。p影响音质的因素影响音质的因素u对于数字音频信号，音质的好坏与数据采对于数字音频信号，音质的好坏与数据采样频率和数据位数有关。样频率和数据位数有关。u音质与声音还原设备有关。音质与声音还原设备有关。音质与信号噪声比有关。音质

9、与信号噪声比有关。 第五章 多媒体音频技术5.1.2 音频素材的获取 p自行录制自行录制WindowsWindows自带的录音机自带的录音机（Sound RecorderSound Recorder）p从素材库或网站中从素材库或网站中获取获取p从从CDCD、VCDVCD等媒体等媒体中获取中获取 目录第五章 多媒体音频技术5.2 声音的数字化 p采样频率采样频率u在某个特定的时刻对模拟信号进行测量叫在某个特定的时刻对模拟信号进行测量叫做采样。采样频率也称取样频率，是指在做采样。采样频率也称取样频率，是指在单位时间（单位时间（1s1s）内采样的次数。）内采样的次数。采样采样量化量化声音的模拟信号声

10、音的模拟信号声音的数字信号声音的数字信号编码编码5.1.2 5.1.2 数字化过程数字化过程第五章 多媒体音频技术5.2 声音的数字化 p量化位数量化位数u量化是将经过采样得到的离散数据转换成量化是将经过采样得到的离散数据转换成二进制数的过程。量化位数，即分辨率，二进制数的过程。量化位数，即分辨率，是指将经过采样得到的离散数据转换成二是指将经过采样得到的离散数据转换成二进制数的位数进制数的位数, ,一般为一般为3232、1616、8 8、4 4位。位。p声道数声道数u声音通道的个数称为声道数，是指一次采声音通道的个数称为声道数，是指一次采样所记录产生的声音波形个数。声道有单样所记录产生的声音波

11、形个数。声道有单声道和立体声之分。声道和立体声之分。 第五章 多媒体音频技术5.2.2 数字音频压缩标准1 1 音频压缩方法概述音频压缩方法概述p音频压缩方法是指对原始数字音频信号音频压缩方法是指对原始数字音频信号流（流（PCMPCM编码）运用适当的数字信号处理编码）运用适当的数字信号处理技术，在不损失有用信息量，或者所引技术，在不损失有用信息量，或者所引入损失可忽略的条件下，降低（压缩）入损失可忽略的条件下，降低（压缩）其码率，也称为压缩编码。逆变换的过其码率，也称为压缩编码。逆变换的过程，称为解压缩或解码。程，称为解压缩或解码。 输入音频信号输入音频信号输出音频信号输出音频信号编码器编码器

12、传输传输/ /存储存储解码器解码器第五章 多媒体音频技术5.2.2 数字音频压缩标准2.2.音频压缩技术标准音频压缩技术标准目录第五章 多媒体音频技术 RA(RealAudio) RealRA(RealAudio) Real音音频频文件文件 主要适用于在主要适用于在网络网络上的在上的在线线音音乐乐欣欣赏赏APE APE 无无损损音音频压缩频压缩格式格式 现现在在网络网络上比上比较较流行的音流行的音频频文件格式文件格式 其他其他 AIFF AIFF 、VOCVOCOGG( OGG( Ogg VorbisOgg Vorbis) ) 一一种种免免费费的的开开源音源音频频格式格式 比比MP3MP3先先

13、进进，可以在相，可以在相对较对较低的低的数数据速率下据速率下实现实现比比MP3MP3更好的音更好的音质质5.2.3 数字音频的格式第五章 多媒体音频技术WAVE (Waveform Audio)WAVE (Waveform Audio)波形音波形音频频文件文件 多媒体系多媒体系统统、音、音乐乐光光盘盘制作，制作，记录记录物理波形，物理波形，数数据量大据量大CDA (CD Audio)CDA (CD Audio)激光音激光音频频文件文件 准确准确记录声记录声波，波，数数据量大，据量大，经过经过采采样样生成生成WAVWAV和和MP3MP3音音频频文件文件MIDI (Musical Instrume

14、nt Digital Interface)MIDI (Musical Instrument Digital Interface)乐乐器接口文件器接口文件 用于合成、游用于合成、游戏戏，记录记录音符音符时值时值、频频率、音色特征，率、音色特征，数数据量小据量小MP3/WMA(MPEGMP3/WMA(MPEG音音频压缩标频压缩标准准) )压缩压缩音音频频文件文件 必必须经过须经过解解压缩压缩，数数据量小据量小第五章 多媒体音频技术5.2.4 音频压缩工具pAVI-MPEG-WMV-RM to MP3 ConverterAVI-MPEG-WMV-RM to MP3 Converter第五章 多媒体音

15、频技术1 1声声音适配器音适配器主机箱主机箱主板主板音箱音箱音音频频信信号号数数字信字信号号声音适配器与声音还原声音适配器与声音还原音箱音箱（1 1） 声声音适配器音适配器 ( (声声卡卡) ) 作用作用: : 数数字信字信号与号与模模拟拟信信号号之之间间的的双双向向转转换换 单单板板 ( (输输出功率大，抗干出功率大，抗干扰扰，音，音质质好好) ) 主板集成主板集成 ( (易受干易受干扰扰，性能指，性能指标标比比单单板略板略差差) ) 采采样样模式模式 16bit 24bit16bit 24bit 音音频输频输出模式：出模式：2 2 STEREOSTEREO 5.1 STEREO 5.1 S

16、TEREO第五章 多媒体音频技术2 2声音还原设备声音还原设备 普通音箱耳机普通音箱耳机 有源音箱有源音箱( (内内含放大器含放大器) ) 输输入入灵灵敏度敏度 输输出功率出功率音音频频放大器放大器电电源源line line 输输出端出端分分频频器器Speak Speak 输输出端出端 单单元音箱元音箱 2 2单单元音箱元音箱高音高音中低音中低音100Hz 3000Hz 12000Hz100Hz 3000Hz 12000Hz高音高音中音中音低音低音 3 3单单元音箱元音箱20Hz 3000Hz 12000Hz 20000Hz20Hz 3000Hz 12000Hz 20000Hz第五章 多媒体音

17、频技术声道与音箱声道与音箱 双声双声道立体道立体声声音箱音箱左左声声道道 右右声声道道右右环绕环绕中置中置低音炮低音炮左左环绕环绕低音炮低音炮 2.1 2.1 声声道道环绕环绕立体立体声声音箱音箱 5.1 5.1 声声道道环绕环绕立体立体声声音箱音箱 环绕环绕立体立体声产声产品品(1) (1) 声声卡卡(2) (2) 音箱系音箱系统统第五章 多媒体音频技术5.3 Audition音频处理软件 p5.3.1 5.3.1 经典软件概念经典软件概念uGoldwaveGoldwave、CakewalkCakewalk、Adobe Audition Adobe Audition p5.3.2 5.3.2

18、 声音的一般处理声音的一般处理u使用声音文件使用声音文件u录制声音录制声音u选区的操作选区的操作u利用剪贴板复制、剪切和粘贴声音利用剪贴板复制、剪切和粘贴声音u恢复恢复/ /重做操作重做操作u形成静音形成静音倒转声音倒转声音第五章 多媒体音频技术p5.3.3 5.3.3 声音的高级处理声音的高级处理p声道变换声道变换p改变声音文件的固有改变声音文件的固有音量音量p淡入淡入/ /淡出效果淡出效果p回声原理及其制作回声原理及其制作p延迟效果延迟效果p消除环境噪声消除环境噪声p声音混响声音混响p调整时间和音调调整时间和音调p直接从视频文件中提取直接从视频文件中提取声音声音 5.3 Audition音

19、频处理软件 p5.3.4 CD5.3.4 CD处理处理第五章 多媒体音频技术5.3.5 5.3.5 声音合成综合实例声音合成综合实例p把两个或两个以上的声音素材组合在一把两个或两个以上的声音素材组合在一起，形成多个声音共鸣的效果，这就是起，形成多个声音共鸣的效果，这就是所谓的所谓的“声音合成声音合成”。p声音合成是制造气氛、丰富声音表现力声音合成是制造气氛、丰富声音表现力的重要手段。常见的合成效果很多，如的重要手段。常见的合成效果很多，如录音，自然交响曲（音乐与鸟鸣声、大录音，自然交响曲（音乐与鸟鸣声、大风呼啸声等的合成），人为的热烈气氛风呼啸声等的合成），人为的热烈气氛等。等。目录第五章 多

20、媒体音频技术5.4 MIDI与音乐合成 pMIDIMIDI是多媒体计算机系统生成音乐的一是多媒体计算机系统生成音乐的一种主要方式，它不仅是多媒体音频技术种主要方式，它不仅是多媒体音频技术的重要组成部分，而且也使演奏音乐和的重要组成部分，而且也使演奏音乐和使用乐器的方式产生很大的变化。使用乐器的方式产生很大的变化。 第五章 多媒体音频技术5.4.1 MIDI概述 1 1什么是什么是MIDIMIDIpMIDIMIDI是乐器数字接口（是乐器数字接口（Musical Instrument Musical Instrument Digital InterfaceDigital Interface）的英文

21、缩写，是数字音）的英文缩写，是数字音乐乐/ /电子合成乐器的统一国际标准。电子合成乐器的统一国际标准。p它是数字乐器与计算机连接的接口，即在数字它是数字乐器与计算机连接的接口，即在数字乐器与计算机相连接时所使用的可以直接插到乐器与计算机相连接时所使用的可以直接插到计算机串口上的一个小部件，通过它可以使数计算机串口上的一个小部件，通过它可以使数字乐器与计算机相互字乐器与计算机相互“沟通沟通”信息。信息。p在这个接口之间传送的信息也叫在这个接口之间传送的信息也叫MIDIMIDI信息。信息。第五章 多媒体音频技术3.6.1 MIDI概述p2 2MIDIMIDI术语术语p3 3MIDIMIDI与普通音频的区别与普通音频的区别pMIDIMIDI与普通音频的本质区别是携带的信与普通音频的本质区别是携带的信息不同。息不同。MIDIMIDI本身并不是音乐，不能发本身并不是音乐，不能发出声音。它是一个协议，只包含用于产出声音。它是一个协议，只包含用于产生特定声音的指令，而这些指令包括调生特定声音的指令，而这些指令包括调用何种用何种MIDIMIDI设备的音色、声音的强弱及设