多媒体课件数字音频处理技术

1、第2章 数字音频处理技术 本章主要讲解数字音频的基础知识、音本章主要讲解数字音频的基础知识、音频卡的功能及音频的制作方法。频卡的功能及音频的制作方法。 学习内容：学习内容： 音频信号基本概念音频信号基本概念 音频信号数字化的基本原理音频信号数字化的基本原理 数字音频的编码标准数字音频的编码标准 音频文件的常用格式音频文件的常用格式 音乐合成和音乐合成和MIDIMIDI规范规范 声卡的功能声卡的功能 用用CE ProCE Pro编辑音频文件的基本方法编辑音频文件的基本方法n声音是携带信息的极其重要的媒体n是多媒体技术研究中的一个重要内容n在多媒体应用中，很多方面都需要使用到声音，这样多媒体才会有

2、声有色2.1 数字音频基础n声音是通过空气传播的一种连续的波n声音信号可以用一条连续的曲线来表示，在任一时刻都可以分解为一系列正弦波的线性叠加。n思考：为什么乐队合奏时能分辨是什么乐器在演奏？为什么几个人同时讲话时，我们能分辨出各自的声音？2.1.1 2.1.1 音频信号音频信号 1.1.音频信号的分类音频信号的分类音频信号音频信号(Audio)(Audio)可分为两类：语音信号和非语音信号可分为两类：语音信号和非语音信号。语音语音是语言的物质载体，是社会交际工具的符号, 它包含了丰富的语言内涵，是人类进行信息交流所特有的形式。非语音信号非语音信号主要包括音乐和自然界存在的其他声音形式。非语音

3、信号的特点是不具有复杂的语义和语法信息，信息量低、识别简单。 2.2.模拟音频信号的三个特性模拟音频信号的三个特性模拟音频信号有三个重要特性：频率、幅度、周期频率、幅度、周期。一个声源每秒钟可产生成百上千个波，我们把每秒钟波峰所发生的数目称之为信号的频率频率，单位用赫兹(Hz)或千赫兹(kHz)表示。信号的幅度幅度是从信号的基线到当前波峰的距离。幅度决定了信号音量的强弱程度。幅度越大，声音越强。周期周期是两个相邻波之间的时间长度。对音频信号，声音强度用分贝声音强度用分贝(dB)(dB)表示表示，分贝的幅度就是音量。声音的频率体现音调的高低，声波幅度的大小体现声音的强弱。 幅度限周期 基线3.

4、3. 声音的声音的A/D(Analog/Digital)A/D(Analog/Digital)与与D/AD/A转换转换 A/DA/D转换转换就是把模拟信号转换成数字信号的过程，模拟电信号变为了由“0”和“1”组成的Bit信号。这样做的好处是显而易见的，声音存储质量得到了加强，数字化的声音信息使计算机能够进行识别、处理和压缩 。A/D转换的一个关键步骤是声音的采样和量化采样和量化，得到数字音频信号，它在时间上是不连续的离散信号。 借助于A/D或D/A转换器，模拟信号和数字信号可以互相转换。 1 1）音调）音调：代表了声音的高低。音调与频率有关，频率越高，音调越高，反之亦然。 并不是所有频率发出的

5、声音信号都能够被人感觉到，人的听觉范围大约为20Hz20KHz，这个频率范围内的信号称为音频信号，多媒体技术中处理的信号主要是该信号（高频测试） 我们也许有这样的经验，当提高磁带录音机的转速时，其旋转加快，声音信号的频率提高，其喇叭放出来声音的音调提高了。同样，在使用音频处理软件对声音的频率进行调整时，也可明显感到音调随之而产生的变化。各种不同的声源具有自己特定的音调，如果改变了某种声源的音调，则声音会发生质的转变，使人们无法辨别声源本来的面目。 声音试听4. 4. 声音的三要素声音的三要素 2 2）音色）音色：即特色的声音。声音分纯音纯音和复音复音两种类型。所谓纯音，是指振幅和周期均为常数的

6、声音；复音则是具有不同频率和不同振幅的混合声音。大自然中的声音绝大部分是复音。各种声源都具有自己独特的音色，例如各种乐器的声音、每个人的声音、各种生物的声音等，人们就是依据音色来辨别声源种类的。音色与声音的频率范围有关，即频率范围越宽，声音的质量就越好(试听各种人声音色和乐器音色,对其进行描述)3 3）音强）音强：声音的强度，也被称为声音的响度，常说的“音量”也是指音强。音强与声波的振幅成正比，振幅越大，强度越大。唱盘、CD激光盘以及其他形式声音载体中的声音强度是一定的，通过播放设备的音量控制，可改变聆听时的响度。 4. 4. 声音的三要素声音的三要素 5. 5. 声音的基本分类（表现方法）声

7、音的基本分类（表现方法） 超声波超声波5. 5. 声音的基本分类声音的基本分类 （根据频率分）试听试听Minnie和和Vitas的海豚音的海豚音2.1.2 模拟音频的数字化过程模拟音频的数字化过程 如果要用计算机对音频信息进行处理，则首先要通过A/D（模/数）转换将模拟音频信号变成数字信号，实现音频信号的数字化。数字化的声音易于用计算机软件处理，现在几乎所有的专业化声音录制器、编辑器都是数字的。对模拟音频的数字化过程涉及到音频的采样、量化和编码。 采样量化编码 1采样采样 为实现A/D转换，把模拟音频信号波形进行分割，以转换把模拟音频信号波形进行分割，以转换成数字信号，这种方法称为采样成数字信

8、号，这种方法称为采样（Sampling）。采样结果所获得的值就称为样本值。 采样的过程是每隔一个时间间隔在模拟声音的波形上取一个幅度值，把时间上的连续信号变成时间上的离散信号。该时间间隔称为采样周期，其倒数为采样频率。 采样频率采样频率是指计算机每秒钟采集多少个声音样本。采样频率越高，对声音波形的表示也越精确。 采样频率的选择与声音信号本身的频率之间有关，信息论的奠基者香农（Shannon）指出：在一定条件下，用离散在一定条件下，用离散的序列可以完全代表一个连续函数的序列可以完全代表一个连续函数，这是采样定理的基本内容。n根据奈奎斯特（Nyquist）理论，只有采样频率高于声音信号最高频率的两

9、倍时，才能把数字信号表示的声音较好地还原为原来的声音。n根据该采样理论，CD激光唱盘采样频率为44KHz，可记录的最高音频为22KHz，这样的音质与原始声音相差无几，也就是我们常说的超级高保真音质（Super High Fidelity-HiFi）。最常用的采样频率有： 11.025kHz、22.05kHz、44.1kHz等。2f2ff fs s 2量化量化 采样只解决了音频波形信号在时间坐标时间坐标(即横轴即横轴)上把一个波形切成若干个等分的数字化问题，但是还需要用某种数字化的方法来反映某一瞬间声波幅度的电压值大小。该值的大小影响音量的高低。通常把对声波波形幅度的数字化表示称之为量化（qua

10、ntization）。 量化的过程是先将采样后的信号按整个声波的幅度划分成有限个区段的集合，把落入某个区段内的采样值归为一类，并赋于相同的量化值。采样信号的量化值采用二进制表示，表示样信号的幅度二进制的位数称量化位数。 在相同的采样频率之下，量化位数愈高，声音的质量越好。同样，在相同量化位数的情况下，采样频率越高，声音效果也就越好。n如以8位量化，其波形的幅度值可分为256份；而当用 16 位量化时，则共有 65536 个值。可见增加量化位数有利于细腻地表示声音信号的变化程度，从而减小量化失真；但同时也使相应的数据量大大增加了。同样，也需要在声音质量与数据量之间作出恰当的选择。n量化分为均匀量

11、化和非均匀量化。n均匀量化：幅度的划分是等间隔的。n非均匀量化：大的输入信号采用大的量化间隔，小的输入信号采用小的量化间隔n在满足精度要求的情况下用较小的位数表示。 3编码编码 所谓编码，就是按照一定的格式把经过采样和量化得到的离散数据记录下来，并在有效的数据中加入一些用于纠错同步和控制的数据。在数据回放时，可以根据所记录的纠错数据判别读出的声音数据是否有错，如果有错，可加以纠正。 音频信号编码常用的是波形编码方法，它是直接对波形采样、量化和编码，算法简单，易于实现。而且，声音恢复时能保持原有的特点，因此被广泛应用。3、编码：将量化后的信号编码形成一个二进制码组输出（把声音数据写成计算机的数据

12、格式n无压缩编码，如PCM(Pulse Code Modulation)，编码后的保真度高，但数据量大，需要很高的传输速率。在MPC中，声卡都具有PCM编码和解码的功能。激光唱盘（CD-DA）记录声音时就采用这种方法，存储未经压缩的数字音频信号。n压缩编码，如ADPCM(Adaptive Differential PCM)，数据量是PCM的四分之一。 因为音频信号一般不会发生突然变化，相邻的语音采样值之间存在很大的相关性，从一个采样值到相邻的另一个采样值的差值要比样值本身小得多。利用预测编码方法建立预测模型，通过预测器对未来的样本进行预测，然后对样本值与预测器得到的预测值之差进行量化和传输。由

13、于这个差值的幅度远远小于样本值本身，需要较少的比特数来表示，这样可以降低数据的编码率，从而使编码数据得到压缩。n声道数 ：指所使用的声音通道的个数n它表明声音记录是产生一个波形（即单音或单声道）还是两个波形（即立体声或双声道）。n采样、量化和编码技术是音频数字化的关键技术。n采样频率、每个采样值的量化位数以及音频信息的声道数目，是影响数字化音频信息质量和容量的三个重要因素 以下图所示的原始模拟波形为例进行采样和量化。假设采样频率为1000次/秒，即每1/1000秒A/D转换器采样一次。这里，幅度被划分成0到9共10个量化等级，并将其采样的幅度值取最接近0 9之间的一个数来表示，如下图所示。图中

14、每个正方形表示一次采样。失真的产生 D/A转换器转换器从上图得到的数值中重构原来信号时，得到下图中蓝色(直线段)线段所示的波形。从图中可以看出，蓝色线与原波形(红色线)相比，其波形的细节部分丢失了很多。这意味着重构后的信号波形有较大的失真。 采用更高的采样频率。同时，增加量化精度采用更高的采样频率。同时，增加量化精度，以得到更高的量化等级，即可减少失真的程度。左图中，采样率和量化等级均提高了一倍，分别为2000次/秒和20个量化等级。右图中，采样率和量化等级再提高了一倍，分别达到4000次/秒和40个量化等级。从图中可以看出，当用D/A转换器重构原来信号时（图中的轮廓线），信号的失真明显减少，

15、信号质量得到了提高。如何减少失真？2.1.3 数字音频信息的质量与存储量数字音频信息的质量与存储量 1音频质量的评价1）客观质量的度量 包括评价值的测量（响度和响度级，感觉噪音级，清晰度指数，噪音评价数等）、声源的测量和音质的测量（混响时间，隔音量，吸音量）。其测量与分析工作，是使用带计算机处理系统的高级声学测量仪器来完成（声级计）。客观质量度量的一个主要指标是SNR(Signal to Noise Ration)，单位是分贝，信噪比（信号强度/噪音强度）越大，声音质量越好。（如卡拉OK厅评分系统）2）主观质量的度量 这种方法更合理，通常是对某编码器的输出的声音质量进行评价。如，播放一段音乐、

16、记录一段话，然后重放给一批实验者听，由实验者进行综合评定，得出MOS（Means Opinion Scores)3）常用的数字化声音技术指标及音质n原始数字音频数据传输率的计算:n传输率（bytes/s）=RrN/8 R 表示采样频率，单位是Hz； r 表示量化位数，单位是bit； N 表示声道数；n占用存储空间的计算: 声音信号数据量S=数据传输率D(持续时间,Byte) n在制作多媒体或其他作品时，经常要在声音质量与内存需要或网络速度等诸多因素之间妥协n在多媒体开发与制作中，声音文件一般推荐质量是22.050 kHz、16-bit 。2. 音频信息的存储量n【例】双声道立体声音乐采样频率为

17、44.1KHz,量化精度为16位,计算1小时的数据量. n数据传输率:44100*2*2=1411.2kb/s=176.4KB/s n1小时数据量:176.4*3600/1024605.62MB. 数字波形声音数据量非常大,需要压缩以减少存储空间,提高传输效率. 音频信号压缩技术n 音频信号压缩编码的主要依据是人耳的听觉特性，主要有两点：n 1.人的听觉系统中存在一个听觉阈值电平，低于这个电平的声音信号人耳听不到 .n2.人的听觉存在屏蔽效应。当几个强弱不同的声音同时存在时，强声使弱声难以听到，并且两者之间的关系与其相对频率的大小有关.n 声音编码算法就是通过这些特性来去掉更多的冗余数据，来达

18、到压缩数据的目的。 n数据压缩算法应能满足下列需求: 1、压缩倍数高、压缩倍数高,压缩后的数据量低压缩后的数据量低; 2、解码后的信号失真小、解码后的信号失真小,质量高质量高; 3、算法简单、算法简单,执行速度快执行速度快,延迟时间短延迟时间短;4、编码器、编码器/解码器的成本低解码器的成本低. 试听一段试听一段midi2.3 声卡的应用Line-in：音频输入端口，音频输入端口，连接外部设备的输出端连接外部设备的输出端Microphone(MIC)：用来与用来与话筒连接话筒连接Line-out：用于连接外部音用于连接外部音频设备的输入，如频设备的输入，如CD唱机。唱机。Speaker：用于连

19、接耳机、用于连接耳机、无源喇叭或有源立体音箱。无源喇叭或有源立体音箱。Game Port/MIDI：用于连用于连接游戏操作杆或具有接游戏操作杆或具有MIDI接接口的电子乐器。口的电子乐器。声卡的基本功能声卡的基本功能 （1）录制、编辑和回放数字声音文件；）录制、编辑和回放数字声音文件； （2）在录制和回放声音文件时进行压缩）在录制和回放声音文件时进行压缩和解压缩，以节省存储空间；和解压缩，以节省存储空间； （3）采用语音合成技术，使计算机能够）采用语音合成技术，使计算机能够朗读书面文字；朗读书面文字； （4）有乐器数字接口）有乐器数字接口(MIDI)，使得计算，使得计算机可以控制多台带机可以控

20、制多台带MIDI接口的电子乐器；接口的电子乐器； （5）初步的语音识别。）初步的语音识别。 2.4 音频数据制作音频数据制作 2.4.1 音频的获取音频的获取 声音文件的获取就是为音频的编辑进行素材的积累和准备。 获得声音文件的途径很多： 可以从CD唱盘、 VCD上获得； 可以从网上下载； 也可以自己动手用Windows自带的录音机或用专业的数字声音处理软件录制。 4.声音数字化分为哪两个步骤？采样采样就是每隔一段时间就读一次声音信号的幅度，记录下来的原始模拟声波在某一时刻的状态，称之为样本；每秒钟抽取声波幅度样本的次数，称为采样频率，采样频率的高低由奈奎斯特采样订立和声音信号本身的最 高频率决定