第二章-多媒体音频技术(1)分解

返回多媒体音频技术主讲老师：张敏其次章 多媒体媒体元素是指多媒体应用中可显示给用户的媒体组成。多媒体中的媒体元素音频动画视频文本图形图像目录2.1数字音频基础

返回2.2声卡与音箱

2.3MIDI音频2.4语音识别技术

2.5音频处理软件

2.1数字音频基础2.1.1声音的基本概念

2.1.2声音的数字化返回2.1.3数字音频的文件格式音频 数字音频（Audio）可分为波形声音、语音和音乐。 波形声音事实上已经包含了全部的声音形式，它可以将任何声音都进行采样量化，相应的文件格式是WAV文件或VOC文件。 语音也是一种波形，所以和波形声音的文件格式相同。 音乐是符号化了的声音，乐谱可转变为符号媒体形式。对应的文件格式是MID或CMF文件。2.1.1声音的基本概念

声音是由空气中分子的振动而产生的。自然界的声音是一个随时间而变更的连续信号，可近似地看成是一种周期性的函数。通常用模拟的连续波形描述声波的形态，单一频率的声波可用一条正弦波表示，如下图所示。振幅周期基线声音的质量 次声波声音频率可听声波20Hz~20kHz

超声波语音信号频率：300Hz~3Khz声音质量频率范围/Hz电话质量200~3400调幅广播50~7000调频广播20~15000数字激光唱盘10~20000与声音的带宽有关，一般来说频率范围越宽，声音质量也就越高。声音质量的频率范围（频域或频带） 声音是具有确定的振幅和频率且随时间变更的声波，通过话筒等转扮装置可将其变成相应的电信号（模拟信号），不能由计算机直接处理。 为使计算机能处理音频，必需对声音信号数字化。2.1.2声音的数字化采样编码量化声音的模拟信号声音的数字信号声音的数字化过程:模拟信号数字信号A/DADCD/ADAC采样和量化(c)采样信号的量化(a)模拟音频信号(b)音频信号的采样数字化音频的过程如下图所示。示意采样定理： 仅当采样频率≥2倍的原始信号频率时，才能保证采样后信号可被保真地复原为原始信号。 模拟声音在时间上是连续的，或称连续时间函数x(t)。用计算机处理这些信号时，必需先对连续信号采样，即按确定的时间间隔(T)在模拟声波上截取一个振幅值(通常为反映某一瞬间声波幅度的电压值)，得到离散信号x(nT)(n为整数)。T称采样周期，1/T称为采样频率。量化： 为了把采样得到的离散序列信号x(nT)存入计算机，必需将采样值量化成有限个幅度值的集合x(nT)，采样值用二进制数字表示的过程称为量化编码。对模拟音频信号进行采样量化编码后，得到数字音频。数字音频的质量取决于采样频率、量化位数和声道数三个因素。影响数字音频质量的技术参数 采样频率是指一秒钟时间内采样的次数。在计算机多媒体音频处理中，采样频率通常接受三种：11.025KHz(语音效果)、22.05KHz(音乐效果)、44.1KHz(高保真效果)。常见的CD唱盘的采样频率即为44.1KHz。1）采样频率2)量化位数量化位数也称“量化精度”，是描述每个采样点样值的二进制位数。例如，8位量化位数表示每个采样值可以用28即256个不同的量化值之一来表示，而16位量化位数表示每个采样值可以用216即65536个不同的量化值之一来表示。常用的量化位数为8位、12位、16位。3)声道数声音通道的个数称为声道数，是指一次采样所记录产生的声音波形个数。记录声音时，假如每次生成一个声波数据，称为单声道；每次生成两个声波数据，称为双声道（立体声）。随着声道数的增加，所占用的存储容量也成倍增加。SamplingResolution8bitSamplingFrequency11KHz+127…+64+320-32-64…-12801001010Comparison:SamplingResolution16bitSamplingFrequency22KHz+32767…+512+1280-128-512…-327680010101100011000Comparison:数字音频文件的存储量存储量=采样频率×量化位数/8×声道数×时间 例如，用44.1KHz的采样频率进行采样，量化位数选用16位，则录制1秒的立体声节目，其波形文件所需的存储量为： 以字节为单位，模拟波形声音被数字化后音频文件的存储量(假定未经压缩)为：44100×16／8×2×1=176400(字节)数字音频信号的编码一般状况下，声音的制作是运用麦克风或录音机来产生，再由声卡上的WAVE合成器的(模/数转换器)对模拟音频采样后，量化编码为确定字长的二进制序列，并在计算机内传输和存储。在数字音频回放时，再由数字到模拟的转化器(数/模转换器)解码可将二进制编码复原成原始的声音信号，通过音响设备输出。如下图所示。模拟音频信号输入采样/量化编码传输/存储解码播放1)WAV文件扩展名：.wav相关公司或组织:Microsoft和IBM主要优点：声音层次丰富、还原性好、表现力强、可通过增加驱动程序而支持各种各样的编码技术。主要缺点：波形文件的数据量大，不适于传播和用作倾听。支持的编码技术大部分只能在Windows平台下运用。适用领域：自然语音的保存与重放2.1.3数字音频的文件格式2)MP3文件扩展名：mp3（包括mp2和mp1等）相关公司或组织:Fraunhofer-IIS 主要优点：在低至128kbps的比特率下供应接近CD音质的音频质量。广泛的支持。主要缺点：出现得比较早，因此音质不是很好。 适用领域：一般倾听和高保真倾听。

3)mp3PRO文件扩展名：mp3（包括mp2和mp1等）相关公司或组织:Fraunhofer-IIS、CodingTechnologies、ThomsonMultimedia 主要优点：在低至64kbps的比特率下供应接近CD音质的音频质量。主要缺点：专利费用较高，支持的软件和硬件不多。适用领域：一般倾听和高保真倾听。4)WMA文件扩展名：wma,asf相关公司或组织:Microsoft 主要优点：功能齐全，运用便利。同时支持无失真、有失真、语音压缩方式。在MP3文件一半大小的前提下，保持相同的音频。主要缺点：失真压缩方式下音质不高。必需在Windows平台下才能运用。适用领域：音频档案级别保存，一般倾听，网络音频流传输。 5)MIDI文件（乐器数字接口）扩展名：MID、MIDI、RMI、XMI等相关公司或组织:MIDIAssociation 主要优点：音频数据为乐器的演奏限制，通常不带有音频采样。主要缺点：没有波表硬件或软件协作时播放效果不佳。适用领域：与电子乐器的数据交互，乐曲创作等。 2.2声卡与音箱2.2.1声卡2.2.2音箱

2.2.1声卡1.声卡的主要功能

2.声卡的组成原理3.声卡的性能指标4.声卡的外部接口

1.声卡的主要功能

声卡是负责录音、播音和声音合成的一种多媒体板卡，其功能包括:录制、编辑和回放数字音频文件，限制各种声源的音量并加以混合，在记录和回放数字音频文件时进行压缩和解压缩，接受语音合成技术让计算机朗读文本，初步的语音识别，MIDI接口和输出放大等。2.声卡的组成原理总线接口芯片混音器A/D和D/A数字音频处理芯片音乐合成器话筒输入线性输入扬声器输出线性输出MIDI接口CD接口对以下音源进行混合：数字化声音(DAC)，调频FM合成音乐(FM),CD音频(CD-ROM)，线路输入(AUX)，话筒输入(MIC)及PC声音输出(SPK)将数字音频波形数据或MIDI消息合成为声音。完成信号的记录、播放任务，ADPCM压缩，变更采样频率，说明MIDI指令等3.声卡的性能指标采样和量化实力采样频率和量化位数越高，声卡产生的声音越细腻，干脆影响声卡的频率响应范围。芯片类型通常有2声道、2.1声道、4.1声道、5.1声道。总线类型输出声道数按声卡与计算机连接方式不同，分为ISA总线、PCI总线和USB电缆连接方式。CODEC芯片、专用数字信号处理器4.声卡的外部接口

LINEINLINEOUTSPKOUT游戏杆/MIDI录音机、CD唱机等线性输出话筒扬声器线性输入立体声放大器MIDI设备/游戏杆MICIN

2.2.2音箱1.音箱的分类2.音箱的性能指标１.音箱的分类依据箱体材质塑料和木质音箱。依据功率放大器的内外置通常有2.0、2.1、4.1、5.1、7.1。依据接口依据声道数量一般声卡接口、数字接口、USB接口等。有源音箱和无源音箱。２.音箱的性能指标输出功率分为：额定功率和最大峰值功率两种。音箱功率越大，音质效果越好。频率范围与频率响应信噪比一般音箱：70~80dB，高档音箱：80~90dB，专业音箱：95dB以上。音箱的频率响应曲线越平坦，失真越小，性能越高。２.音箱的性能指标（cont）灵敏度指产生全功率输出时的输入信号。输入信号越低，灵敏度越高，音箱性能就越好。阻抗扬声器输入信号的电压与电流的比值。低阻抗的音箱可以获得较大的输出功率，但阻抗太低又会造成低音劣化等现象。分为谐波失真、互调失真和瞬态失真3种。失真度2.4MIDI音频MIDI是MusicalInstrumentDigitalInterface(乐器数字接口)的缩写。MIDI是一种国际标准，是计算机和MIDI设备之间进行信息交换的一整套规则，包括各种电子乐器之间传送数据的通信协议。适用于长时间音乐演奏的场合。

1.什么是MIDI MIDI音频是将电子乐器键盘上的弹奏信息记录下来，包括键名、力度、时值长短等，是乐谱的一种数字式描述。当须要播放时，只需从相应的MIDI文件中读出MIDI消息，生成所须要的声音波形，经放大后由扬声器输出。合成器扬声器MIDI键盘MIDI接口音序器

1.什么是MIDI

2.MIDI设备配置

3.MIDI文件的特点

MIDI设备就是处理MIDI信息所需的硬件设备，其基本组成包括：

2.MIDI设备配置(1).MIDI端口(2).MIDI键盘(3).音序器(Sequencer)(4).合成器(1).MIDI端口 一台MID设备可以有一至三个MIDI端口，分别称为MIDIIn、MIDIOut、MIDIThru。它们的作用是：

MIDIIn：接收来自其它MIDI设备的MIDI信息。

MIDIOut：发送本设备生成的MIDI信息到其它设备。

MIDIThru：将从MIDIIn端口传来的信息转发到相连的另一台MIDI设备上。(2).MIDI键盘

MIDI键盘是用于MIDI乐曲演奏的，MIDI键盘本身并不发出声音，当作曲人员触动键盘上的按键时，就发出按键信息，所产生的仅仅是MIDI音乐消息，从而由音序器录制生成MIDI文件。(3).音序器(Sequencer) 用于记录、编辑、生成MIDI的声音文件，音序器有以硬件形式供应的，目前大多为软件音序器。音序器可捕获MIDI消息，将其存入MIDI文件，MIDI文件扩展名为.MID。音序器还可编辑MIDI文件。(4).合成器 MIDI文件的播放是通过MIDI合成器，合成器说明MIDI文件中的指令符号，生成所须要的声音波形，经放大后由扬声器输出，声音的效果比较丰富。1).MIDI合成方式 MIDI合成方式主要有调频合成(FM)和波形表合成(WaveTable)两种方式。调频合成方式，其原理是依据傅立叶级数而来。波形表合成的原理是ROM中已存储着各种实际乐器的声音采样，合成时以查表方式调用这些样本将其还原回放。2).硬波形表合成与软波形表合成 硬波表合成方式的数字声音样本被保存在ROM内或RAM(可动态更换)内。而软波表的数字化样本保存于系统主存中，合成运算靠CPU完成，最终的音频合成靠声卡上的WAVE合成器来完成。 软波表事实上是针对合成MIDI音乐而开发的一套软件，其主要作用是限制高速CPU来完成波表MIDI合成器的部分功能。

3.MIDI文件的特点(1).由于MIDI文件只是一系列指令的集合，因 此它比数字波形文件小得多，大大节约了 存储空间。(2).运用MIDI文件，其声音卡上必需含有硬件 音序器或者配置有软件音序器。(3).MIDI声音适于重现打击乐或一些电子乐器 的声音，利用MIDI声音方式可用计算机来 进行作曲。(4).对MIDI的编辑很敏捷，在音序器的帮助下， 用户可自由地变更音调、音色以及乐曲速 度等，以达到须要的效果。2.4语音识别技术2.4.1语音识别的发展史

2.4.2语音识别的基本原理2.4.3语音识别系统的分类2.4.4语音识别软件

2.4.1语音识别的发展史

1.20世纪50年头：1952，Bell，K.H.David,识别10个数字1952，J.W.Rorgie，英文元音和孤立字2.20世纪60年头：提出DP、LP技术。3.20世纪70年头末80年头初：LP、DTW成熟，提出VQ、HMM理论，实现了基于线性预料倒谱和DTW技术的特定人、孤立词、小词汇量与语音识别系统。4.20世纪80年头:HMM,ANN.卡内基-梅隆高校运用VQ、HMM的非特定人、大词汇量、连续语音识别系统。5.20世纪90年头:IBM(ViaVoice)、AT&T、NTT2.4.2语音识别的基本原理语音输出预处理特征提取模式匹配训练模式库语音输入2.4.3语音识别系统的分类

1.按识别的词汇量：

小词汇量：

中等词汇量：

大词汇量：2.从说话者与识别系统的相关性：

特定人：非特定人：限定人：3.从说话的方式：

孤立词：

连接词语：连续语音：2.5音频数据处理2.6.2音频编辑软件CoolEdit2000简介2.6.3音频编辑软件

CoolEditPro简介2.6.1准备音频数据2.6.1准备音频数据1.音频的获得途径2.音频的存储格式3.音频数据的编辑1.音频的获得途径 音频数据的获得方法主要有以下几种： (1).运用声卡录制、采集声音信息，并以文件的形式存储在计算机中。 (2).运用声卡及MIDI设备在计算机上创作乐曲。 (3).从互联网下载或购买音频光盘。2.音频的存储格式 在多媒体音频技术中，存储声音信息的文件格式有多种，如WAV、MIDI、MP3、RM及CD唱盘数字音频。 (1).WAV格式 (2).MIDI格式 (3).CD.DA格式 (4).MP3格式 MP3接受MPEGLayer3标准对WAVE音频文件进行压缩而成，以达到CD唱盘的音质。 (5).RM格式 RM接受音频/视频流和同步回放技术来实现在互联网上供应优质的多媒体信息。3.音频数据的编辑 音频数据的编辑包括声音的剪辑(删除片段.插入声音、混入声音)、特殊效果的添加等操作。除了Window自带的“录音机”程序可进行音频的制作编辑外，目前广泛运用的音频处理软件还有SoundForge、WaveEdit、CoolEdit等。2.6.2音频编辑软件CoolEdit2000简介1.CoolEdit2000的功能2.CoolEdit2000应用程序界面3.音频的录制4.音频的基本编辑5.音频特殊效果编辑1.CoolEdit2000的功能 运用CoolEdit2000可以录制音频文件；轻松地在音频文件中进行剪切、粘贴、合并、重叠声音操作；供应有多种特效如放大、降低噪音压缩、扩展、回声、延迟、失真、调整音调等。 运用它可以生成噪音、低音、静音、电话信号等声音；其他功能有自动静音检测和删除，自动节拍查找等。 另外，它还可以在多种文件格式之间进行转换。2.CoolEdit2000应用程序界面 CoolEdit2000应用程序界面主要由标题栏、菜单栏、工具条、状态栏、编辑区等组成。3.音频的录制 安装好声卡，将麦克风与声卡的MICIN连接或将线性输入设备如录音机、CD唱机等输出端与声卡的LINEIN接口正确连接。 然后运行CoolEdit2000程序，执行File|New吩咐，弹出对话框。在对话框中选择采样频率、量化位数、声道数后单击“确定”。然后单击功能键中的录音按钮，起先录音，录制完毕单击停止按钮停止录音。最终执行File|Save命令保存声音文件。4.音频的基本编辑 在CoolEdit2000中，不管进行什么操作，都要首先选择须要处理的区域，假如不选，CoolEdit2000则认为要对整个音频文件进行操作。 (1).删除 选好要操作的选区，执行Edit|DeleteSelection吩咐或干脆按DEL键就可删除当前被选择的音频片段，这时后面的波形自动前移。 (2).剪切 执行Edit|Cut吩咐将当前被选择的片段从音频中移去并放置到内部剪贴板上。 (3).拷贝 执行Edit|Copy吩咐将拷贝选区到内部剪贴板上。 (4).粘贴 执行Edit|Pastet吩咐将内部剪贴板上的数