第3章-1音频信息的获取与处理

1,第三章多媒体信息的表示与处理音频信息的获取与处理,音频（Audio）指人说话的声音频率。（音频是个专业术语,人类能够听到的所有声音都称之为音频）定义：20HZ20KHZ的音频范围分类：波形声音、语音、音乐声音三要素：音调、音强、音色,2,考核目的：考核学生对数字音频获取与处理的基本原理、采样量化的基本原理、音频卡的组成及工作原理、音频编码标准以及音乐合成原理的理解和掌握。,3,考核的知识点：什么是数字音频、数字音频采样和量化的基本原理、音频卡的工作原理、音频编码标准和音乐合成的原理。,4,考核要求：掌握：数字音频信息的获取与处理的原理过程、音频卡的工作原理。理解：数字音频采样量化的原理过程、音乐合成的原理。了解：数字音频编码的标准。,5,3-1数字音频：在计算机内，所有的信息均以数字表示。各种命令是不同的数字，各种幅度的物理量也是不同的数字。音频信号也用一系列数字表示，称之为数字音频。数字音频的特点是保真度好，动态范围大。,6,3-2采样：模拟声音在时间上是连续的，而数字音频是一个数字序列，在时间上只能是断续的。因此当把模拟声音变成数字声音时，需要每隔一个时间间隔在模拟声音波形上取一个幅度值，称之为采样，采样的时间间隔称为采样周期。,7,3-3量化：在数字音频技术中，把采样得到的表示声音强弱的模拟电压用数字表示。模拟电压的幅值仍然是连续的，而用数字表示音频幅度时，只能把无穷多个电压幅度用有限个数字表示，即把某一幅度范围内的电压用一个数字表示，这称之为量化。,8,3-4奈奎斯特采样定理1927年，奈奎斯特确定了如果对某一带宽的有限时间连续信号（模拟信号）进行抽样，且在抽样率达到一定数值时，根据这些抽样值可以在接收端准确地恢复原信号。为不使原波形产生“半波损失”，采样率至少应为信号最高频率的两倍，这就是著名的奈奎斯特采样定理。奈奎斯特1928年发表了电报传输理论的一定论题。常用的音频采样率有：8kHz、11.025kHz、22.05kHz、16kHz、37.8kHz、44.1kHz、48kHz。,9,均匀量化：就是将输入数据的振幅进行等值均分，优点是计算处理简单，缺点是量化误差大；非均匀量化：就是将输入数据的振幅，按照其变化曲线的曲率大小进行不等值划分。优点是量化误差大，缺点是计算处理复杂，需要较多的比特数。自适应量化：就是按照输入数据的变化曲线的局部区域的特点，自适应地修改和调整量化器的箱宽。优点是量化误差小，缺点是计算处理复杂。,10,3-5数字音频的文件格式.WAVMicrosoft公司的波形音频文件格式。.MIDMIDI文件格式。.VOCCreative公司的波形音频文件格式。.SNDNeXT计算机的波形音频文件格式。.AIFApple计算机的波形音频文件格式。.RMIMicrosoft公司的MIDI文件格式。它可以包括图片、标记和文本。,11,3-6WAV文件储存容量计算WAV文件的字节数/每秒=采样频率（Hz）量化位数（位）声道数/8,12,3-7MIDI文件由于MIDI文件记录的是一系列的计算指令而不是数据化后的波形数据，因此占用的存储空间比WAV文件要小很多。所以预装MIDI文件比装入WAV文件要容易很多。这为设计多媒体应用系统和指何时播放音乐带来很大的灵活性。但是MIDI文件的录制比较复杂，这要学习一些使用MIDI创作并改编作品的专业知识，并且还必须有专门工具，如键盘合成器等。,13,3-8音频信号处理的特点(1)音频信号是时间依赖的连续媒体。(2)理想的合成声音应是立体声。(3)对语音信号的处理，要抽取语意等其它信息，如可能会涉及到语言学、社会学、声学等。,14,3-9从人与计算机交互的角度来看音频信号相应的处理如下:(1)人与计算机通信(接收音频信号)音频获取；语音识别与理解。(2)计算机与人通信(输出音频)音频合成；声音定位；音频/视频同步。(3)人计算机别人通信,15,3-10音频卡的主要功能音频的录制与播放、编辑与合成、MIDI接口、文语转换、CD-ROM接口及游戏接口等。,16,3-11音频卡的分类音频卡的分类主要根据数据采样量化的位数来分，通常分为8位、16位和32位等几类。位数越高，量化精度越高，音质就越好。,17,3-12音频卡的工作原理音频卡的组成平面图音频卡的工作原理框图（1）声音的合成与处理：这部分是音频卡的核心，一般由数字声音处理器、FM音乐合成器及MIDI控制器组成。它的主要任务是完成声波信号的模/数、数/模转换，利用调频技术控制声音的音调、音色、和幅度。,18,（2）混合信号处理器及功率放大器：内置数字/模拟混音器，混音器的声源可以是MIDI信号、CD音频、线输入、话筒和PC的扬声器等，可以选择输入一个声源或将几个不同的声源进行混合录音。（3）计算机总线接口和控制器：总线接口和控制器是由数据总线双向驱动器、总线接口控制逻辑、总线中断逻辑及DMA（直接存储器存取）控制逻辑组成。,19,3-13音频卡硬件的安装步骤:（1）将电脑电源关闭，拔下供电电源和所有外接线插头；（2）打开机箱外壳，选择一个空闲的16位扩展槽并将声卡插入扩展槽，声卡一般应尽可能远离显示卡，以防两者互相干扰；（3）连接来自CD-ROM驱动器的音频线及声卡的输入/输出线和游戏棒等；（4）如果需要，将CD-ROM驱动器的接口电缆插在卡上相应的接口上，并将CD-ROM的音频输出线接到声卡的针形输入线上；（5）连接诸如麦克风、外部音源和游戏棒等其它设备；（6）盖上机箱外壳，并将电源插头插回，待全部调试通过后再将固定螺丝拧紧。,20,3-14音频编码基础从信息保持的角度讲,只有当信源本身具有冗余度,才能对其进行压缩。根据统计分析结果，语音信号存在着多种冗余度，其最主要部分可以分别从时域和频域来考虑。另外由于语音主要是给人听的，所以考虑了人的听觉机理，也能对语音信号实行压缩。,21,3-15音频编码的分类（1）基于音频数据的统计特性进行编码,其典型技术是波形编码。（2）基于音频的声学参数，进行参数编码,可进一步降低数据率。其目标是使重建音频保持原音频的特性。（3）基于人的听觉特性进行编码：从人的听觉系统出发，利用掩蔽效应，设计心理声学模型，从而实现更高效率的数字音频的压缩。其中以MPEG标准中的高频编码和DoldyAC-3最有影响。,22,音频编码的分类如下：1）基于音频数据的统计特性进行编码典型技术是波形编码：PCM（脉冲编码调制）DPCM（线性预测或差值脉冲编码调制）APCM（自适应量化编码）ADPCM（自适应差分脉冲编码调制）2）基于音频的声学参数，进行参数编码3）基于人的听觉特性进行编码,23,3-16音频编码算法和标准CCITT,ISO（1）G.711、G.721、G.722、G.728（2）MPEG中的音频编码（3）AC-3编码和解码,24,律律压扩的数学解析式：其中：x为输入信号的归一化值；y为压扩后的信号。对话音信号编码，常采用=255，这样适量化信噪比改善约24dB。2、A律其特性可表示为：很明显，小信号时为线性特性，大信号时近似为对数特性。这种压扩特性常把压缩、量化和编码合为一体。A律可用13段折线逼近（相当于A=87.6），便于用数字电路实现。,25,3-17AC-3编码和解码(1)AC-3编码(2)AC-3解码,26,AC-3可编程解码器AC-3编码器框图AC-3编码流程图同步帧结构图AC-3解码器框图,27,3-18音乐合成音的分类:乐音、噪音根据音振动状态的规则与不规则，音被分为乐音与噪音两类。音乐中使用的主要是乐音，但噪音在是音乐表现中必不可少。如架子鼓发出的声响就是一种噪音，不过，这种噪音有一定的规律。一个乐音，包括必备的三要素：音高、音色和响度。若把一个乐音放在运动的旋律中，它还应具备时值持续时间。这些要素的理想配合是产生优美动听的旋律的必要条件。,28,音高：音高指声波的基频。基频越低，给人的感觉越低沉。音阶与频率的对应关系音色：声音的音质。由声音的频谱决定的：各阶谐波的比例不同，随时间衰减的程度不同，音色就不同。响度：响度是对声音强度的衡量，它是听判乐音的基础。,29,音乐合成技术的种类：调频(FM)音乐合成技术。FM是使高频震荡波的频率按调制信号规律变化的一种调制方式。,30,波形表(Wavetable)音乐合成技术。乐器发出的声音进行采样后，将数字音频信号存储在ROM芯片或硬盘中，进行合成时将再将相应乐器的波形记录播放出来，即波形表音乐合成技术。,31,2-19MIDI规范MIDI(MusicalInstrumentDigitalInterface)是乐器数字接口的缩写，泛指数字音乐的国际标准。MIDI标准规定了不同厂家的电子乐器与计算机连接的电缆和硬件。它还指定从一个装置传送数据到另一个装置的通信协议。这样，任何电子乐器，只要有处理MIDI信息的处理器和适当的硬件接口都能变成MIDI装置。MIDI间靠这个接口传递消息而进行彼此通信。,32,MIDI是音乐与计算机结合的产物。什么时候使用MIDI？长时间高质量音乐以音乐做背景音响效果，同时从CDROM中装载其他数据以音乐做背景音响效果，同时播放波形音频或实现文语转换，以实现音乐和语音同时输出。,33,3-20MIDI的技术规范1988年，MIDI制造商协会正式公布MIDI技术规范第一版（MIDI1.0），作为数字式音乐的国际标准。MIDI是由软件和硬件两部分共同组成的系统规范，它定义了电子合成器、定序器、节拍器、个人计算机和其他电子乐器的相互连接性和通信协议。相互连接性定义了使这些不同的MIDI