音频信号的处理

1、多媒体计算机中产生声音的方式： 外部声音源录制和重放（wave波形音频） midi音乐（midi音频） cd-audio （cd音频）,3.2 音频信号的处理,3.2 音频信号的处理,本节重点： 波形声音与midi声音的特征 如何使用windows中的工具录制和编辑波形声音 声音压缩的基本原理 各种声音文件格式 声音合成与识别技术,3.2.1 波形音频的数字化原理,波形音频的特征 波形音频是获得声音最直接、最简单的方式。 以麦克风、立体声录音机或cd激光唱盘作为声音信号的输入源，声卡以一定的采样频率和量化级别对输入的声音进行数字化采样，将其从模拟信号转化为数字信号（a/d转换）后存盘 重放时，

2、声卡将数字信号还原成模拟信号（d/a转换） ，经混音器混合后由扬声器输出,模拟音频和数字音频 （1）模拟音频：声音是由物体的震动产生的。物体的震动引起空气的相应震动，并向四周传播，当传到人耳时又引起耳膜的震动，通过听觉神经传到大脑，即可使人感到声音。这种声音的震动经过话筒的转换，可以形成声音波形的电信号，这就是模拟音频信号。 （2）数字音频：数字音频是由许多 0 和 1 组成的二进制数，可以以声音文件（wav或midi格式）的形式存储在磁盘中。例如：使用音频卡（即声卡）的a/d转换器（模拟到数字转换器），将模拟音频信号进行采样和量化处理，即可获得相应的数字音频信号。,3.2.1 波形音频的数字

3、化原理,采样和量化 模拟音频信号在时间上是连续的，而数字音频是一个数据序列，在时间上只能是断续的。当把模拟信号变成数字信号时，需要每隔一个固定的时间间隔（虚线表示）对波形曲线的振幅进行一次取值，这被称为采样。 曲线在振幅方向是连续的，即便振幅在某一个范围内，仍然有无限个可能的取值，而用数字表示振幅时，只能把无限多个振幅用有限个数字表示，这被称为量化。,3.2.1 波形音频的数字化原理,数字音频的要素 数字音频的质量与它的三个要素有关。 （1）采样频率： 采样就是在将模拟音频转换为数字音频时，在时间轴上每隔一个固定的时间间隔对声音波形曲线的振幅进行一次取值。 采样频率就是每秒钟抽取声音波形振幅值

4、的次数，单位为hz。显然，采样频率越高，转换后的数字音频的音质和保真度越好，但生成的声音文件的字节数越大。目前常采用的标准采样频率有11.025khz、22.05 khz和44.1khz。,3.2.1 波形音频的数字化原理,（2）量化位数： 量化位数就是在将模拟音频转换为数字音频时，采样获得的数值所使用的二进制位数。 例如：量化位数为16时，采样的数值可以使用216=65536个不同的二进制数之一来表示。量化位数越高，转换后的数字音频的音质越好，声音的动态范围越大，但生成的声音文件的字节数越大。所谓声音的动态范围就是重放后声音的最高值与最低值的差值。目前常采用的量化位数有8位、16位和32位等

5、。,3.2.1 波形音频的数字化原理,（3）声道数： 声道数就是指所使用的声音通道的个数。声道数可以是 1 或 2 。当声道数为 1 时，表示是单声道，即声音有一路波形；当声道数为 2 时，表示是双声道，即声音有两路波形。双声道比单声道的声音更丰满优美，有立体感，但生成的声音文件的字节数要大。,3.2.1 波形音频的数字化原理,三个要素不但影响了数字音频的质量，而且决定了生成的数字音频文件的数据量。计算生成的数字音频文件数据量大小的公式为： 数据量（字节/秒）=采样频率量化位数声道数/8 其中，采样频率的单位为hz，量化位数的单位为位。除以8是一个字节为8位。 例如：用44.1khz的采样频率

6、对模拟音频信号进行采样，采样点的量化位数为32，录制了4秒钟的双声道声音，获得的wav格式的声音文件的字节数为（441003224）/8=1411200。,3.2.1 波形音频的数字化原理,音频卡 （1）音频卡的功能和分类 音频卡（声卡）是计算机录制声音、处理声音和输出声音的专用功能卡。它的主要功能如下。 录制声音 外部声源发出的声音可以通过话筒或线路送到声音卡中。声音卡可以将它们进行采样、a/d转换、压缩处理，得到压缩的数字音频信号，再通过计算机将数字音频信号以文件的形式存储到磁盘中。 播放声音文件 播放声音文件时，调出声音文件，将它进行解压缩，再经过d/a转换器（数字到模拟的转换器）进行转

7、换，获得模拟声音信号。然后，经过放大由音频卡输出，再经过外接的功率放大器放大，推动喇叭发出声音。 播放cd光盘 音频卡可与cd-rom光盘驱动器相连, 可像cd机那播放cd光盘歌曲,3.2.1 波形音频的数字化原理,（2）音频卡（声卡）与外部设备的连接 音频卡与外部设备的连接如下图所示。,入,3.2.1 波形音频的数字化原理,cd-rom接口 用来连接cd-rom光盘驱动器。 线路输入插孔 用来连接具有线路输出的音频设备。如：cd机、录音机和合成器等。 话筒输入插孔 用来连接话筒。 线路输出插孔 用来连接具有线路输入的音频设备。例如：cd机和录音机等。 喇叭输出插孔 用来连接耳机或具有功率放大

8、电路的音箱。 游戏杆/midi接口 用来连接游戏杆或midi电子音乐设备。,3.2.1 波形音频的数字化原理,3.2.1 波形音频的数字化原理,2. wave音频文件 windows所使用的标准数字音频是wave波形文件，扩展名是.wav 多数声卡以16位、44.1khz录制和播放立体声声音 主要缺点是产生的文件太大，不适合长时间记录声音 压缩方法：采用软件或硬件的方法对原始声音数据进行压缩。常用的软件压缩方法是pcm (均匀量化)和acm,3.2.1 波形音频的数字化原理,3. wave音频文件的制作 工具：录音机 打开 “开始/程序/附件/娱乐”，选定“录音机” 。,打开波形文件，可定位编

9、辑位置,将滑块移到要编 辑信息的位置,3.2.1 波形音频的数字化原理,3.2.1 波形音频的数字化原理,“文件/ 属性”命令打开“声音属性”对话框可以了解wave文件数字声音指标、设定录音时的采样频率和量化位数。,3.2.1 波形音频的数字化原理,录音时：在 “音量控制”对话框中选择“选项”菜单的“属性”命令，将调节音量设置为“录音”方式。,3.2.1 波形音频的数字化原理,从“编辑”菜单可插入声音文件、混音、删除一部分声音文件等 处理。,3.2.1 波形音频的数字化原理,从“效果”菜单可进行加快、放慢声音速度，加入回声等特殊效果，反向播放，将声音重新组合等 处理。,3.2.2 midi合成

10、音乐,midi是（musical instrument digital interface）乐器数字接口的缩写，泛指数字音乐的国际标准，始建于1982年，文件扩展名是 .mid 。 midi文件的内容是能使合成音乐芯片演奏乐曲的代码。标准的多媒体pc平台能够通过内部合成器或连接到计算机midi端口的外部合成器播放midi文件。,3.2.2 midi合成音乐,合成器 合成器存在于声卡中，是利用dsp或其他芯片来产生音乐或声音的电子装置。目前被广泛采用的midi合成方式主要有： 调频合成(fm) 采用频率调制的原理产生声音 fm合成器能发出128种乐器的声音 波表合成 （wave table） 对

11、真实乐器声采样，制波表保存，由dsp查表调用处理 声音效果与真实的乐器声几乎无差别 声卡带有波形表rom的接口 或 本身带有波形表rom rom的容量越大，可存储的乐器音就越多,3.2.2 midi合成音乐,调频合成(fm)和波表合成的主要区别在于： 调频合成通过对简单正弦波的线性控制来模拟音乐乐器、鼓和特殊效果，而波表采用真实的声音样本进行回放，因此采用波表合成的midi音乐听上去更接近自然、更具真实感，而fm合成的midi音乐则多带有人工合成的色彩。,3.2.2 midi合成音乐,2. midi音乐产生原理 midi标准规定了不同厂家的电子乐器与计算机连接的电缆和硬件，还指定从一个装置传送

12、数据到另一个装置的通信协议。 midi文件是存放midi信息（乐谱的数字描述）的标准文件格式，其中包含音符、定时和多达16个通道的演奏定义，每个通道的演奏音符由键号、通道号、音长、音量和力度组成。 将电子乐器演奏时的指令信息通过声卡上midi控制器输入计算机中，或利用一些midi乐曲处理软件编辑产生的音乐指令集合，以midi文件格式存储在存储器中，便是midi音频。重放时，必须经过合成器将midi 指令翻译成响应的声音信号，再由声卡上的混音器混音后生成声波，最后由音响输出声音。,3.2.2 midi合成音乐,midi合成音乐适合于： 需要播放长时间高质量的音乐 需要以音乐作为背景音响效果，同时

13、cd-rom中装载其他数据 需要以音乐作为背景音响效果，同时播放波形音频 midi文件的特点：是指令不是波形，文件小 端口 ：midi in、midi out、 midi thru windows的媒体播放器可直接播放,3.2.3 音频文件的格式,根据获取的途径和存储的方式不同，声音文件有多种文件格式,3.2.3 音频文件的格式,1. wav格式 它是windows中使用的标准数字音频文件，其扩展名为“.wav”。该数字音频文件保存的是模拟音频经声卡采样和数字化后的数字音频数据。wav波形数字音频文件较大，实际使用中，常常需要将它进行压缩使用。,3.2.3 音频文件的格式,wav是micros

14、oft windows本身提供的音频格式，由于windows本身的影响力，这个格式已经成为了事实上的通用音频格式。通常我们使用wav格式都是用来保存一些没有压缩的音频，但实际上wav格式的设计是非常灵活（非常复杂）的，该格式本身与任何媒体数据都不冲突，换句话说，只要有软件支持，你甚至可以在wav格式里面存放图像。之所以能这样，是因为wav文件里面存放的每一块数据都有自己独立的标识，通过这些标识可以告诉用户究竟这是什么数据。,3.2.3 音频文件的格式,2. mp3格式 mp3是第一个实用的有损音频压缩编码。在mp3出现之前，一般的音频编码即使以有损方式进行压缩能达到4:1的压缩比例已经非常不错

15、了。但是，mp3可以实现12:1的压缩比例，这使得mp3迅速地流行起来。 mp3之所以能够达到如此高的压缩比例同时又能保持相当不错的音质是因为利用了人耳的特性，削减音乐中人耳听不到的成分，同时尝试尽可能地维持原来的声音质量。,3.2.3 音频文件的格式,3. midi格式 midi由世界主要乐器制造厂商建立起来的一个数字音乐国际标准，用来规定计算机音乐程序、电子合成器和其他电子设备之间的交换信息和控制信号的方法。它可以使不同厂家生产的电子音乐合成器互相发送和接受彼此的音乐数据。 midi技术本来不是为了电脑发明的。该技术最初应用在电子乐器上用来记录乐手的弹奏，以便以后重播。不过随着在电脑里面引

16、入了支持midi合成的声音卡之后，midi才正式地成为了一种音频格式。,midi格式的声音文件记录的不是数字化后的声音波形数据，而是一系列描述乐曲的符号指令。因此，相同音乐的情况下，midi格式文件比wav格式文件要小得多。 生成midi文件有两种方法：一种是用作曲软件写出，另一种是通过声卡的midi接口把外接音序器演奏的乐曲输入电脑里。 midi文件的重放效果完全依赖于声卡的档次。,3.2.3 音频文件的格式,3.2.3 音频文件的格式,4. cd格式 cd格式是当今世界上音质最好的数码音频格式，在windows中看到的“*.cda”是cd唱片的索引格式，并不是真正的音乐文件，需要cd唱机或

17、电脑中的各种播放软件来播放。因此无法直接将cd唱片中的声音复制到硬盘中进行播放（需要使用音频转换软件转换成wav或其他格式后才能播放）。,3.2.3 音频文件的格式,5. realaudio格式 realaudio格式主要使用于网络上的在线音乐欣赏。 real文件的格式主要有：ra（ realaudio ） 、rm（ realmedia , realaudio g2）、rmx（ realaudio secured） ，其特点是可以随网络带宽的不同而改变声音的质量。,3.2.3 音频文件的格式,6. wma格式 wma（ windows media audio）由微软开发，压缩率达到18：1，音

18、质强于mp3格式，音质好的可与cd媲美。wma支持音乐流技术，适合于网上在线播放。 在windows xp中wma是默认的音频编码格式。,基本压缩原理 由于音频信号中存在冗余，因此计算机系统在音频数据的存储和传输中采用了数据压缩。在数据压缩时，要综合考虑三个方面： 是否造成声音质量下降 是否增加数据率 是否增加计算量,补充： 音频数据压缩,补充： 音频数据压缩,音频压缩,无损压缩（huffman编码、游程长度编码）,有损压缩（波形编码、参数编码、混合编码）,音频信号的编码方法： 基于音频数据统计特性的编码，目标是使重建语音波形保持原波形的形状。 （波形编码） 基于音频的声学参数进行编码，提高压缩比，目标是使重建音频保持原音频的特性。 （参数编码） 将上述两种编码结合起来。（混合编码） 基于人的听觉特性进行编码，目标实现高效率压缩。 （mpeg标准）,最常用的方法是pcm方法（wave文件所使用）,补充： 音频数据压缩,2. mp3音乐 mp3是mpeg layer 3的缩写，用来处理高压缩率的声音信息，音质接近cd，大小只有其十二分之一。 mp3的音质取