音频信号及其处理

1、第二章第二章 音频信号及其处理音频信号及其处理 2.12.1声音信号声音信号2.22.2数据压缩基础数据压缩基础2.32.3语音编码技术语音编码技术2.1.1 2.1.1 声音信号的物理特征声音信号的物理特征2.1.2 2.1.2 声音信号的数字化处理声音信号的数字化处理2.1.3 2.1.3 电子乐器数字接口电子乐器数字接口(midi)(midi)系统系统2.2.1 2.2.1 数据压缩及其必要性数据压缩及其必要性2.2.2 2.2.2 数据压缩技术的分类数据压缩技术的分类2.2.3 2.2.3 信源的数字化与压缩系统评价信源的数字化与压缩系统评价2.2.4 2.2.4 压缩的理论极限压缩的

2、理论极限 第二章第二章 音频信号及其处理音频信号及其处理 2.32.3语音编码技术语音编码技术 2.3.12.3.1话音编码概要话音编码概要2.3.2 2.3.2 脉冲编码调制脉冲编码调制(pcm)(pcm)2.3.3 pcm2.3.3 pcm在通信中的应用在通信中的应用2.3.4 2.3.4 增量调制与自适应增量调制增量调制与自适应增量调制2.3.5 2.3.5 自适应差分脉冲编码调制自适应差分脉冲编码调制2.3.6 2.3.6 子带编码子带编码2.3.7 2.3.7 线性预测编码线性预测编码(lpc)(lpc)2.3.8 gsm2.3.8 gsm编译码器简介编译码器简介第二章第二章 音频信

3、号及其处理音频信号及其处理 2.1 2.1 声音信号声音信号2.1.1 2.1.1 声音信号的物理特征声音信号的物理特征 图图2 201 01 声音是一种连续的波声音是一种连续的波 1频率和振幅声音信号又两个基本的参数：频率和振幅。声音按照频率分为三种类型：次声、可听声、超声。低于20hz的声音为次声，或称为亚音信号(subsonic)；可听声的声音频率范围为2020000 hz；高于20000 hz的声音为超声，或称超声波(ultrasonic)信号。多媒体计算机中处理的声音主要指可听声。频率能反映出声音的声调，我们所听到的声音如果细尖表示频率高，声音粗低表示频率低。第二章第二章 音频信号及

4、其处理音频信号及其处理 一般情况下人说话的话音信号的频率范围在一般情况下人说话的话音信号的频率范围在3003000 hz3003000 hz，称为称为话音话音(speech)(speech)信号，信号，在这种频率范围里感知的声音幅度大约在在这种频率范围里感知的声音幅度大约在0 0120 db120 db之间。之间。声音信号的另一个基本参数是声音信号的另一个基本参数是振幅振幅，它表示声音信号的，它表示声音信号的强弱强弱。声。声音信号的强度相差很大，从可以听见的最弱声到最强声，其强度音信号的强度相差很大，从可以听见的最弱声到最强声，其强度相差相差1 1万亿倍。声音的强弱采用万亿倍。声音的强弱采用分

5、贝分贝作为量纲，区别两个强度作为量纲，区别两个强度i i和和i i0 0的分贝数（的分贝数（dbdb）是：）是：声音分贝数声音分贝数 = 10= 10* *log(i/ ilog(i/ i0 0 ) ) 在心理上，声音有两个最重要的量纲，即在心理上，声音有两个最重要的量纲，即响度和音调响度和音调，其，其他还有他还有音色、和谐、不和谐音色、和谐、不和谐等等 第二章第二章 音频信号及其处理音频信号及其处理 振幅和频率不变的声音信号为振幅和频率不变的声音信号为单音单音，或称纯音。，或称纯音。我们将不同我们将不同的振幅和频率合成得到的声音信号称为的振幅和频率合成得到的声音信号称为复音复音。2 2单音和

6、复音单音和复音复音复音基频：基频：是决定声音音调的基本因素是决定声音音调的基本因素 谐音谐音 基频和谐音合成复音，形成了声音的不同音质基频和谐音合成复音，形成了声音的不同音质和音色。和音色。 第二章第二章 音频信号及其处理音频信号及其处理 2.1.2 声音信号的数字化处理1模拟信号和数字信号我 们 把 在 时 间 和 幅 度 上 都 是 连 续 的 信 号 称 为 模 拟 信 号 。在某些特定的时刻对这种模拟信号进行测量叫做采样(sampling)，由这些特定时刻采样得到的信号称为离散时间信号。采样得到的幅值是无穷多个实数值中的一个，因此幅度还是连续的。如果把信号幅度取值的数目加以限定，这种由

7、有限个数值组成的信号就称为离散幅度信号。我们把时间和幅度都用离散的数字表示的信号就称为数字信号。话筒和摄像机产生的信号为模拟信号。模拟信号经过采样可获得离散信号。离散信号经模拟/数字转换变成二进制的数字信号。数字信号就可以直接输入计算机进行处理。 第二章第二章 音频信号及其处理音频信号及其处理 声音进入计算机的第一步就是数字化，数字化实际上就是采样和量声音进入计算机的第一步就是数字化，数字化实际上就是采样和量化化。连续幅度的离散化通过量化。连续幅度的离散化通过量化(quantization)(quantization)来实现，就是把信来实现，就是把信号的强度划分成一小段一小段，如果幅度的划分是

8、等间隔的，就称号的强度划分成一小段一小段，如果幅度的划分是等间隔的，就称为为线性量化线性量化，否则就称为，否则就称为非线性量化非线性量化。声音数字化需要回答两个问题：声音数字化需要回答两个问题：每秒钟需要采集多少个声音样每秒钟需要采集多少个声音样本，也就是采样频率本，也就是采样频率(f(fs s) )是多少，是多少，每个声音样本的位数每个声音样本的位数(bit per (bit per samplesample，bps)bps)应该是多少，也就是量化精度。应该是多少，也就是量化精度。图图2 204 04 声音的采样和量化声音的采样和量化 第二章第二章 音频信号及其处理音频信号及其处理 3采样定

9、理采样频率的高低是根据奈奎斯特理论(nyquist theory)和声音信号本身的最高频率决定的。奈奎斯特理论指出，采样频率不应低于声音信号最高频率的两倍，这样就能把以数字表达的声音还原成原来的声音，这叫做无损数字化(lossless digitization)。采样定律用公式表示为fs = 2f 或者 ts = t/2其中f为被采样信号的最高频率。例如，电话话音的信号频率约为3.4 khz，采样频率就选为8 khz。如果不遵循采样定理，则必然造成误差，通常称为混叠效称为混叠效应应。为了更好地防止混叠效应，一是对信号进行滤波，滤除高频成分，使信号的最高频率限制在f fmaxmax之内。其二是严

10、格依据定理，以2*f fmamax的频率进行采样。第二章第二章 音频信号及其处理音频信号及其处理 4 4采样精度、采样位数、声道数采样精度、采样位数、声道数采样数据位数（采样数据位数（sampling datasampling data）也称）也称量化精度，是指每个采样点量化精度，是指每个采样点在在a/da/d转换后所表示的数据范围。常用的转换后所表示的数据范围。常用的采样数据位数有：采样数据位数有：8bit8bit，14bit14bit，16bit16bit。位数越少，声音的质量越低，需要的存储空间越少。位数越少，声音的质量越低，需要的存储空间越少。采样精度的另一种表示方法是信号噪声比，简称

11、为信噪比采样精度的另一种表示方法是信号噪声比，简称为信噪比(signal-to-noise ratio,snr)(signal-to-noise ratio,snr)，并用下式计算：，并用下式计算： snrsnr 10 log (v10 log (vsignalsignal) )2 2 / (v / (vnoisenoise) )2 2 20 log (v20 log (vsignalsignal / v / vnoisenoise) )其中，其中，v vsignalsignal表示信号电压，表示信号电压，v vnoisenoise表示噪声电压；表示噪声电压；snrsnr的单位为分贝的单位为分

12、贝(db)(db)。 例例1 1：假设假设v vnoisenoise1 1，采样精度为，采样精度为1 1位表示位表示v vsignalsignal2 21 1，它的信噪比，它的信噪比snrsnr6 6分贝。分贝。 例例2 2：假设假设v vnoisenoise1 1，采样精度为，采样精度为1616位表示位表示v vsignalsignal2 21616，它的信噪，它的信噪比比snrsnr9696分贝。分贝。第二章第二章 音频信号及其处理音频信号及其处理 早期的收录机是以单声道进行录放的。如果同时记录两个声道的信号，即称其为双声道（立体声）录音。立体声技术更能反映人们的听觉效果，现场真实感强，所

13、以得到广泛应用。一个声音文件的数据量可由下列公式推导出来： （采样频率采样频率* *采样数据位数采样数据位数* *声道数）声道数）/8 = /8 = 字节数字节数/ /秒（秒（b/sb/s） 如果对每个取样的幅度值用r位二进制编码（r比特）表示，就得到数字信号的传输速率或比特率i，i=fs*r(bit/s 或 b/s) 当信号带宽给定从而fs已知且不变时，传输速率就简单地由采样位数r来确定。在有关编码的文献及书本中，比特率（或数码率、码率、速率、数据率）用来表示i和r，具体指哪一个从其量纲即可以确定，不会混淆。一般传输时多用i，存储时多用r。 容量第二章第二章 音频信号及其处理音频信号及其处理

14、 单单 声声 道道立立 体体 声声1616位位8 8位位1616位位8 8位位4 4 . 1 4 4 . 1 khzkhz5.28 m5.28 m2.64 m2.64 m10.56 m10.56 m5.28 m5.28 m2 2 . 0 5 2 2 . 0 5 khzkhz2.64 m2.64 m1.32 m1.32 m5.28 m5.28 m2.64 m2.64 m11.025 11.025 khzkhz1.32 m1.32 m0.66 m0.66 m2.64 m2.64 m1.32 m1.32 m采样频率采样频率容量容量表表2-1 2-1 采样方式与所需占用的存储容量的关系采样方式与所需占

15、用的存储容量的关系第二章第二章 音频信号及其处理音频信号及其处理 5 5常见的音频信号常见的音频信号 常见的音频信号主要有：常见的音频信号主要有：电话音频信号电话音频信号、调频调幅无线电广播音频信号调频调幅无线电广播音频信号和和高保真的立体声音频信号高保真的立体声音频信号。由。由于其用途不同，这些音频信号的于其用途不同，这些音频信号的带宽带宽也各不相同，而且在音响也各不相同，而且在音响设备中，通常以带宽来衡量声音的质量。设备中，通常以带宽来衡量声音的质量。 数字激光唱盘（数字激光唱盘（cd）fm无线电广播无线电广播am无线电广播无线电广播电电 话话 10 20 50 200 3400 7k 1

16、5k 20k 图图2-052-05音频信号的带宽音频信号的带宽 第二章第二章 音频信号及其处理音频信号及其处理 6 6质量的评价质量的评价客观客观质量度量：质量度量：信噪比信噪比(signal to niose(signal to niose ratio ratio，snr)snr) 峰值信噪比（峰值信噪比（psnrpsnr）主观主观质量度量质量度量 主观平均主观平均(mean opinion score(mean opinion score，mosmos) )分分 综合法，一般以主观为主。综合法，一般以主观为主。第二章第二章 音频信号及其处理音频信号及其处理 分数分数质量级别质量级别失真级别

17、失真级别5 5优优(excellent)(excellent)无察觉无察觉4 4良良(good)(good)( (刚刚) )察觉但不讨厌察觉但不讨厌3 3中中(fair)(fair)( (察觉察觉) )有点讨厌有点讨厌2 2差差(poor)(poor)讨厌但不反感讨厌但不反感1 1劣劣(bad)(bad)极讨厌极讨厌( (令人反感令人反感) )第二章第二章 音频信号及其处理音频信号及其处理 7 7音频信号的标准和规范音频信号的标准和规范 表表2-042-04 数字电话的编码标准数字电话的编码标准 组组 织织isoisoccittccittgsmgsmctiactiansansa标标 准准 g.

18、711g.711g.721g.721g.728g.728gsmgsmgiagia 制定时制定时间间1992199219721972198419841992199219831983198919891989198919821982传输率传输率kb/skb/s12812864643232161613138 84.84.82.42.4编码算编码算法法 pcmpcmadpcadpcm ml d -l d -c e lc e lp prpe-rpe-ltltvselvselp pcelcelp plpclpc质质 量量5.05.04.34.34.14.14.04.03.73.73.83.83.23.22.

19、52.5使用场使用场合合cdcd长途电话网络长途电话网络移动通信移动通信保密电话保密电话第二章第二章 音频信号及其处理音频信号及其处理 2.1.3 电子乐器数字接口(midi)系1. midi简介midi是musical instrument digital interface的首写字母组合词，可译成“电子乐器数字接口”。用于在音乐合成器(music synthesizers)、乐器(musical instruments)和计算机之间交换音乐信息的一种标准协议。midi是乐器和计算机使用的标准语言，是一套指令(即命令的约定) 。midi标准之所以受到欢迎，主要是它有下列几个优点：生成的文件比

20、较小、容易编辑、可以作背景音乐。产生midi乐音的方法很多，一种是(frequency modulation，fm)fm合成法，另一种是乐音样本合成法，也称为波形表wavetable)合成法。第二章第二章 音频信号及其处理音频信号及其处理 2 2fmfm合成合成 第二章第二章 音频信号及其处理音频信号及其处理 3 3乐音样本合成乐音样本合成第二章第二章 音频信号及其处理音频信号及其处理 fmfm合成法：各种不同乐音的产生是通过组合各种波形和各种合成法：各种不同乐音的产生是通过组合各种波形和各种波形参数并采用各种不同的方法实现的。用什么样的波形作为波形参数并采用各种不同的方法实现的。用什么样的波

21、形作为数字载波波形、用什么样的波形作为调制波形、用什么样的波数字载波波形、用什么样的波形作为调制波形、用什么样的波形参数去组合才能产生所希望的乐音，这就是形参数去组合才能产生所希望的乐音，这就是fmfm合成器的算法。合成器的算法。 使用使用fmfm合成法来产生各种逼真的乐音是相当困难的，有些乐合成法来产生各种逼真的乐音是相当困难的，有些乐音几乎不能产生，因此很自然地就转向乐音样本合成法。音几乎不能产生，因此很自然地就转向乐音样本合成法。这种这种方法就是把真实乐器发出的声音以数字的形式记录下来，播放方法就是把真实乐器发出的声音以数字的形式记录下来，播放时改变播放速度，从而改变音调周期，生成各种音

22、阶的音符时改变播放速度，从而改变音调周期，生成各种音阶的音符。 乐音样本合成器所需要的输入控制参数比较少，可控的数字乐音样本合成器所需要的输入控制参数比较少，可控的数字音效也不多，大多数采用这种合成方法的声音设备都可以控制音效也不多，大多数采用这种合成方法的声音设备都可以控制声音包络的声音包络的adsradsr参数，产生的声音质量比参数，产生的声音质量比fmfm合成方法产生的声合成方法产生的声音质量要高。音质量要高。 第二章第二章 音频信号及其处理音频信号及其处理 4 4midimidi系统系统 midimidi协议提供了一种标准的和有效的方法，用来把演奏信协议提供了一种标准的和有效的方法，用

23、来把演奏信息转换成电子数据。息转换成电子数据。midimidi信息是以信息是以“midi messages”midi messages”传输的，传输的，它可以被认为是告诉音乐合成器它可以被认为是告诉音乐合成器(music synthesizer)(music synthesizer)如何演如何演奏一小段音乐的一种指令，而合成器把接收到的奏一小段音乐的一种指令，而合成器把接收到的midimidi数据转换数据转换成声音。国际成声音。国际midimidi协会协会(international midi association)(international midi association)出版的出版的

24、midi 1.0midi 1.0规范对规范对midimidi协议作了完整的说明。协议作了完整的说明。 第二章第二章 音频信号及其处理音频信号及其处理 图图2-11 midi2-11 midi的通道概念的通道概念66第二章第二章 音频信号及其处理音频信号及其处理 图图2-12 2-12 复杂复杂midimidi系统系统 第二章第二章 音频信号及其处理音频信号及其处理 图图2-13 2-13 使用使用pcpc机构成的机构成的midimidi系统系统 第二章第二章 音频信号及其处理音频信号及其处理 2.2 数据压缩基础数据压缩基础 人类社会已进入信息时代。而信息的本质，则要求交流和人类社会已进入信息

25、时代。而信息的本质，则要求交流和传播。于是就产生了传播。于是就产生了“通信通信”和和“存储存储”。这两个物理过程，均。这两个物理过程，均可以采用一个统一的数字传输系统模型来概括，如图可以采用一个统一的数字传输系统模型来概括，如图2-2-1所示。所示。 信源信源信宿信宿信源编码信源编码信源解码信源解码信道编码信道编码信道解码信道解码调调 制制传 输 通传 输 通道道解解 调调信信 源源 编编 码码信信 道道 解解 码码信道信道噪噪 声声图图2-2-1 2-2-1 统一的数字传输系统模型统一的数字传输系统模型 第二章第二章 音频信号及其处理音频信号及其处理 图中信源编码和信源解码即为本课程所要研究

26、的内容，统称为信源图中信源编码和信源解码即为本课程所要研究的内容，统称为信源解码；而信道编码和信道解码统称为信道编码。解码；而信道编码和信道解码统称为信道编码。信源解码信源解码：主要解决有效性问题。通过对信源的压缩、扰乱、：主要解决有效性问题。通过对信源的压缩、扰乱、加密等一系列处理，力求用最少的数码传递最大的信息量，使信号加密等一系列处理，力求用最少的数码传递最大的信息量，使信号更适宜传输。更适宜传输。 信道编码信道编码：主要解决可靠性问题。即尽量使处理过的信号在传：主要解决可靠性问题。即尽量使处理过的信号在传输过程中不出错或少出错，即使出了错也要能自动检错和尽量纠错。输过程中不出错或少出错

27、，即使出了错也要能自动检错和尽量纠错。如果信道编码的纠错能力足以保证对数字序列的无误差解码，则图如果信道编码的纠错能力足以保证对数字序列的无误差解码，则图2-2-12-2-1中的信道编码、解码器（简写为中的信道编码、解码器（简写为codeccodec，即，即coder+decodercoder+decoder），），调制、解调器（简写为调制、解调器（简写为modemmodem，即，即modulator + demodulatormodulator + demodulator），以），以及实际的物理传输通道（模拟信道），有时集中成一个理想的方框，及实际的物理传输通道（模拟信道），有时集中成一个理

28、想的方框，叫作无噪声数字信道，如图叫作无噪声数字信道，如图2-2-12-2-1中的虚线右边部分。而模拟信道中的虚线右边部分。而模拟信道加上加上modemmodem构成的方框，即为一个实际的数字信道。构成的方框，即为一个实际的数字信道。第二章第二章 音频信号及其处理音频信号及其处理 2.2.1 2.2.1 数据压缩及其必要性数据压缩及其必要性 数据压缩，就是以最少的数码表示信源所发的信号，减少容纳数据压缩，就是以最少的数码表示信源所发的信号，减少容纳给定消息集合或数据采样集合的信号空间。给定消息集合或数据采样集合的信号空间。所谓信号空间即被压缩的对象是指：所谓信号空间即被压缩的对象是指：1 1、

29、物理空间、物理空间，如硬盘、磁盘、磁带等数据存储介质；，如硬盘、磁盘、磁带等数据存储介质；2 2、时间空间、时间空间，如传输给定消息集合所需要的时间；，如传输给定消息集合所需要的时间；3 3、电磁频谱区域、电磁频谱区域，如为传输给定消息集合所要求的带宽等。，如为传输给定消息集合所要求的带宽等。 也就是所信号空间是指某信号集合所占的空域、时域和频域空也就是所信号空间是指某信号集合所占的空域、时域和频域空间。信号空间的这几种形式是相互关联的：存储空间的减少也意味间。信号空间的这几种形式是相互关联的：存储空间的减少也意味着传输效率的提高和占用带宽的节省。着传输效率的提高和占用带宽的节省。 第二章第二

30、章 音频信号及其处理音频信号及其处理 采用数字技术具有许多优越性，但也使数据量大增。就是取样采用数字技术具有许多优越性，但也使数据量大增。就是取样率最低的数字电话，按每一取样用率最低的数字电话，按每一取样用8 bit8 bit压扩量化，通常也需要压扩量化，通常也需要i=8i=88=64kb/s8=64kb/s的数码率（也写作的数码率（也写作64kbps64kbps）；一路）；一路palpal制彩色数字电制彩色数字电视，若采用视，若采用3 3路副载频采样，每像素（路副载频采样，每像素（pixelpixel，即，即picture+elementpicture+element，常简写为常简写为pel

31、pel或或p p）8bit8bit编码，数码率为编码，数码率为i=4.43i=4.433 38=106.3mb/s8=106.3mb/s。若实时传送，需占用上述的数字话路若实时传送，需占用上述的数字话路16601660个，若能将其压缩到原来个，若能将其压缩到原来的的1/31/3，即可同时增设，即可同时增设11001100路数字电话；而一路高清晰度电视路数字电话；而一路高清晰度电视hdtvhdtv（high definition televisionhigh definition television，又称高分辨率电视），数码率更，又称高分辨率电视），数码率更高达高达i=1280i=128072

32、072060603 38=1327mb/s8=1327mb/s，相当于，相当于1313路普通数字电视。路普通数字电视。第二章第二章 音频信号及其处理音频信号及其处理 由此可见，信息时代带来了由此可见，信息时代带来了“信息爆炸信息爆炸”。数据压缩的作用及其。数据压缩的作用及其社会效益、经济效益将越来越明显。反之，不进行数据压缩，则社会效益、经济效益将越来越明显。反之，不进行数据压缩，则无论传输或存储都很难实用化。无论传输或存储都很难实用化。而数据压缩的好处而数据压缩的好处就在于：就在于： 1 1、较快地传输各种信源（降低信道占有费用）、较快地传输各种信源（降低信道占有费用）-时间域时间域的压的压

33、缩；缩； 2 2、在现有通信干线上开通更多的并行业务（如电视、传真、在现有通信干线上开通更多的并行业务（如电视、传真、可视电话等）可视电话等）-频率域频率域的压缩；的压缩； 3 3、降低发射机功率、降低发射机功率-能量域能量域的压缩；的压缩； 4 4、紧缩数据存储量（降低存储费用）紧缩数据存储量（降低存储费用）-空间域空间域的压缩。的压缩。第二章第二章 音频信号及其处理音频信号及其处理 2.2.2 2.2.2 数据压缩技术的分类数据压缩技术的分类数据压缩的分类方法很多，估计不少于几十种，到目前为数据压缩的分类方法很多，估计不少于几十种，到目前为止尚未统一。而比较一致的分类方法，是将数据压缩分为在某种止尚未统一。而比较一致的分类方法，是将数据压缩分为在某种程度上可逆的与实际上不可逆的两类，这样更能说明它们的本质程度上可逆的与实际上不可逆的两类，这样更能说明它们的本质区别。区别。 1 1、 可逆压缩可逆压缩也叫作无失真编码、无噪声编码（也叫作无失真编码、无噪声编码（noiseless codingnoiseless coding）、冗余度）、冗余度压减（压减（redundancy reductionredundancy reduction）、熵编码（）、熵编码（entropy codingentropy coding）、）、