3speechAndAudio.ppt_第1页
3speechAndAudio.ppt_第2页
3speechAndAudio.ppt_第3页
3speechAndAudio.ppt_第4页
3speechAndAudio.ppt_第5页
已阅读5页,还剩78页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、数字声音及MPEG声音,2.1 声音与听觉器官,声音是通过空气传播的一种连续的波,叫声波。 声音信号的两个基本参数是频率和幅度。 声音信号是由许多频率不同的信号组成,这个信号称为复合信号,而单一频率的信号称为分量信号。 人的发音器官的发音频率范围大约是803400Hz,人说话的信号频率范围通常为3003000Hz。 频率在2020KHz的信号称为音频信号,是耳朵可以听到的,小于20Hz的信号称为亚音信号(次音信号),大于20KHz的称为超声波信号。,2.2 数字声音,模拟信号 时间及幅值都连续的信号叫模拟信号。 处理模拟信号一直都用模拟元部件(如晶体管、变压器、电阻、电容等),开发一个具有相当

2、精度、且几乎不受环境变化的模拟信号处理部件是相当困难的。 如果模拟信号处理器的功能发生变化,则整个器都可能需要重新设计 数字信号 时间及幅值都连续的信号叫模拟信号。 数字信号计算是一种精确的运算方法,它不受时间和环境的影响。 表示部件功能的数学运算不是物理上实现的功能部件,而是仅用数学运算去模拟,其中的数学运算也相对容易实现。 可以对数字运算部件进行编程,如欲改变算法或改变某些功能,还可以对数字部件进行再编程。,2.2 数字声音,声音 声音信号的两个基本参数是频率和幅度 20hz20khz音频,超过的是超声。 声音信号数字化 声音信号数字化 ,数字化实际上就是采样和量化,2.2 数字声音,声音

3、数字化需要回答两个问题:每秒钟需要采集多少个声音样本,也就是采样频率(fs)是多少,每个声音样本的位数(bit per sample,bps)应该是多少,也就是量化精度。 采样频率 。采样定律 采样精度。信噪比(the Signal to Noise ratio ),采样频率,奈奎斯特理论(Nyquist theory) fs2f 或者 Ts T/2,2.2 数字声音,声音质量与数据率,2.2 数字声音,声音质量的度量 声音质量的度量还有两种基本的方法:一种是客观质量度量,另一种是主观质量度量。评价语音质量时,有时同时采取两种方法评估,有时以主观质量度量为主。,2.2 数字声音,声音文件的存储

4、格式 见书 声音工具 MIDI 系统,声音文件的存储格式,2.3 语音编码,G.711使用率和A率压缩算法,信号带宽为3.4 kHz,压缩后的数据率为64 kb/s;G.721使用ADPCM压缩算法,信号带宽为3.4 kHz,压缩后的数据率为32 kb/s;G.722使用ADPCM压缩算法,信号带宽为7 kHz,压缩后的数据率为64 kb/s。在这些标准基础还制定了许多话音数据压缩标准,例如G.723,G.723.1,G.728,G.729和G.729.A等。,2.3 语音编码,三种语音编码器 波形编译码器(waveform codec) 音源编译码器(source codec) 混合编译码器

5、(hybrid codec),2.3 语音编码,PCM (脉冲编码调制)基本原理,2.3 语音编码,PCM (脉冲编码调制) 均匀量化 非均匀量化,2.3 语音编码,PCM (脉冲编码调制) 非均匀量化 律压扩 A律压扩,对于采样频率为8 kHz,样本精度为13位、14位或者16位的输入信号,使用m 律压扩编码或者使用A律压扩编码,经过PCM编码器之后每个样本的精度为8位,输出的数据率为64 kb/s。这个数据就是CCITT推荐的G.711标准:话音频率脉冲编码调制(Pulse Code Modulation (PCM) of Voice Frequences)。,PCM在通信中的应用 时分多

6、路复用(frequency-division multiplexing,FDM ) 频分多路复用(time-division multiplexing,TDM),24路制的重要参数如下: 每秒钟传送8000帧,每帧125 m s。 12帧组成1复帧(用于同步)。 每帧由24个时间片(信道)和1位同步位组成。 每个信道每次传送8位代码,1帧有24 8 1193位(位)。 数据传输率R80001931544 kb/s。 每一个话路的数据传输率80008=64 kb/s。,二次复用示意图,2.3 语音编码,DM(delta modulation,DM增量调制) DM是对实际的采样信号与预测的采样信号

7、之差的极性进行编码,将极性变成“0”和“1”这两种可能的取值之一,2.3 语音编码,DM(增量调制) 斜率过载(slope overload):当输入信号的变化速度超过反馈回路输出信号的最大变化速度时,就会出现斜率过载 粒状噪声(granular noise):在输入信号缓慢变化部分,即输入信号与预测信号的差值接近零的区域,增量调制器的输出出现随机交变的“0”和“1” 在输入信号变化快的区域,斜率过载是关心的焦点,而在输入信号变化慢的区域,关心的焦点是粒状噪声。为了尽可能避免出现斜率过载,就要加大量化阶,但这样做又会加大粒状噪声;相反,如果要减小粒状噪声,就要减小量化阶,这又会使斜率过载更加严

8、重,2.3 语音编码,ADM(自适应增量调制) 宋(Song):假定增量调制器的输出为1和0,每当输出不变时量化阶增大50%,使预测器的输出跟上输入信号;每当输出值改变时,量化阶减小50%,使粒状噪声减到最小,这种自适应方法使斜率过载和粒状噪声同时减到最小。 连续可变斜率增量调制(continuously variable slope delta modulation,CVSD)。它的基本方法是:如果连续可变斜率增量调制器(continuously variable slope delta modulator,CVSD)的输出连续出现三个相同的值,量化阶就加上一个大的增量,反之,就加一个小的增

9、量。,2.3 语音编码,APCM(自适应脉冲编码调制) 根据输入信号幅度大小来改变量化阶大小的一种波形编码技术 分两种:一种称为前向自适应(forward adaptation),另一种称为后向自适应(backward adaptation),2.3 语音编码,前向自适应(forward adaptation) 根据未量化的样本值的均方根值来估算输入信号的电平,以此来确定量化阶的大小,并对其电平进行编码作为边信息(side information)传送到接收端。,2.3 语音编码,后向自适应(backward adaptation) 从量化器刚输出的过去样本中来提取量化阶信息。由于后向自适应能

10、在发收两端自动生成量化阶,所以它不需要传送边信息。,2.3 语音编码,DPCM(差分脉冲编码调制) 根据过去的样本去估算(estimate)下一个样本信号的幅度大小,这个值称为预测值,然后对实际信号值与预测值之差进行量化编码,从而就减少了表示每个样本信号的位数,2.3 语音编码,ADPCM(自适应差分脉冲编码调制) 利用自适应的思想改变量化阶的大小,即使用小的量化阶(step-size)去编码小的差值,使用大的量化阶去编码大的差值 使用过去的样本值估算下一个输入样本的预测值,使实际样本值和预测值之间的差值总是最小。,2.3 语音编码,G.721ADPCM编译码器 32 kb/s自适应差分脉冲编

11、码调制32 kb/s Adaptive Differential Pulse Code Modulation G.721的扩充推荐标准,Extension of Recommendation G.721 Adaptive Differential Pulse Code Modulation to 24 and 40 kb/s for Digital Circuit Multiplication Equipment Application,2.3 语音编码,2.3 语音编码,SBC(子带编码) 使用一组带通滤波器(band-pass filter,BPF)把输入音频信号的频带分成若干个连续的频段

12、,每个频段称为子带。对每个子带中的音频信号采用单独的编码方案去编码。在信道上传送时,将每个子带的代码复合起来。在接收端译码时,将每个子带的代码单独译码,然后把它们组合起来,还原成原来的音频信号。,2.3 语音编码,2.3 语音编码,子带编码的好处: 对每个子带信号分别进行自适应控制,量化阶(quantization step)的大小可以按照每个子带的能量电平加以调节。具有较高能量电平的子带用大的量化阶去量化,以减少总的量化噪声 可根据每个子带信号在感觉上的重要性,对每个子带分配不同的位数,用来表示每个样本值。,2.3 语音编码,音频子带的树型结构划分 正交镜象滤波器(quandrature m

13、irror filter,QMF),2.3 语音编码,2.3 语音编码,几个音频标准: G.711:采样率为8 kHz、8位/样本、数据率为64 kb/s、话音信号频率为3003400 Hz、属于窄带音频信号编码(PCM) G.721:8 kHz采样率、4位/样本、32 kb/s的G.721标准,以及G.721的扩充标准G.723(ADPCM) G.722:音频信号带宽为7 kHz、数据率为64 kb/s的编译码原理、算法和计算细节;音频信号采样频率由8 kHz提高到16 kHz,是G.711 PCM采样率的2倍,因而要被编码的信号频率由原来的3.4 kHz扩展到7 kHz。这就使音频信号的质

14、量有很大改善,由数字电话的话音质量提高到调幅(AM)无线电广播的质量,2.3 语音编码,窄带和宽带音频信道频率特性,2.3 语音编码,SB-ADPCM(子带-自适应差分脉冲编码调制)(G.722标准) 用正交镜象滤波器(QMF)把频带分割成两个等带宽的子带,分别是高频子带和低频子带。在每个子带中的信号都用ADPCM进行编码 对高子带分配2位表示每个样本值,而低子带分配6位。因为64 kb/s的G.722标准主要还是针对宽带话音,其次才是音乐,2.3 语音编码,2.3 语音编码,2.3 语音编码,LPC(线性预测编码) LPC通过分析话音波形来产生声道激励和转移函数的参数,对声音波形的编码实际就

15、转化为对这些参数的编码,这就使声音的数据量大大减少。 在接收端使用LPC分析得到的参数,通过话音合成器重构话音。,2.3 语音编码,合成器实际上是一个离散的随时间变化的时变线性滤波器,它代表人的话音生成系统模型 线性预测器是使用过去的P个样本值来预测现时刻的采样值 时变线性滤波器既当作预测器使用,又当作合成器使用。分析话音波形时,主要是当作预测器使用,合成话音时当作话音生成模型使用。 GSM编译码器(略),2.4 心理声学模型与音频编码,听觉系统对声音的感知特性: 响度 音高 掩蔽效应,2.4 心理声学模型与音频编码,人耳听觉特性 对响度的感知 在物理上,声音的响度使用客观测量单位来度量,即d

16、yn/cm2(达因/平方厘米)(声压)或W/cm2(瓦特/平方厘米)(声强)。在心理上,主观感觉的声音强弱使用响度级“方(phon)”或者“宋(sone)”来度量。这两种感知声音强弱的计量单位是完全不同的两种概念,但是它们之间又有一定的联系。,2.4 心理声学模型与音频编码,(听阈-频率曲线),2.4 心理声学模型与音频编码,人耳听觉模型 对音高的感知 客观上用频率来表示声音的音高,其单位是Hz。而主观感觉的音高单位则是“美(Mel)”,主观音高与客观音高的关系是,2.4 心理声学模型与音频编码,“音高频率”曲线,2.4 心理声学模型与音频编码,人耳结构,耳分外耳、中耳和内耳三部分。外耳(Ou

17、ter Ear)、特别是耳廓(Pinna)的作用是帮助收集外来的声波,这部份帮助我们判定声源的方向。声音可以经由空气传导或经由骨传导进入内耳。内耳中有一个螺旋形的骨管,它就是卷曲成蜗牛壳形状的耳蜗(cochlea)。耳蜗内有一层名基底膜(Basilar membrane)的东西,声音的感觉就是透过刺激基底膜上的毛细胞经耳蜗神经传导到大脑。这些毛细胞大约有三万根,它们对不同频率的刺激有不同程度的反应,2.4 心理声学模型与音频编码,人耳听觉模型 掩蔽效应 一种频率的声音阻碍听觉系统感受另一种频率的声音的现象称为掩蔽效应。前者称为掩蔽声音(masking tone),后者称为被掩蔽声音(maske

18、d tone)。 掩蔽可分成频域掩蔽和时域掩蔽。,2.4 心理声学模型与音频编码,频率掩蔽:一个强纯音会掩蔽在其附近同时发声的弱纯音,这种特性称为频域掩蔽,也称同时掩蔽(simultaneous masking)。一般来说,弱纯音离强纯音越近就越容易被掩蔽。,2.4 心理声学模型与音频编码,在250 Hz、1 kHz、4 kHz和8 kHz纯音附近,对其他纯音的掩蔽效果最明显 低频纯音可以有效地掩蔽高频纯音,但高频纯音对低频纯音的掩蔽作用则不明显。,2.4 心理声学模型与音频编码,临界频段:由于声音频率与掩蔽曲线不是线性关系,为从感知上来统一度量声音频率,引入了“临界频带(critical b

19、and)”的概念。通常认为,在20 Hz到16 kHz范围内有24个临界频带。临界频带的单位叫Bark(巴克) 1 Bark = 一个临界频带的宽度 f500Hz,1Bark=9+4log(f/1000),2.4 心理声学模型与音频编码,2.4 心理声学模型与音频编码,时域掩蔽:在时间上相邻的声音之间也有掩蔽现象,并且称为时域掩蔽。时域掩蔽又分为超前掩蔽(pre-masking)和滞后掩蔽(post-masking)。超前掩蔽很短,只有大约520 ms,而滞后掩蔽可以持续50200 ms。,2.4 心理声学模型与音频编码,MPEG Audio 波形编码(ADPCM),依赖波形本身的相关性 参数

20、编码(LPC),模拟人的发音器官的特性 MPEG-1/2,利用人的听觉系统的特性来达到压缩声音的目的(感知声音编码,Perceptual audio coding) MPEG Audio Standards MPEG-1 Audio MPEG-2 Audio MPEG-2 AAC (Advance audio coding),2.4 心理声学模型与音频编码,心理声学模型(psychoacoustic model) 听觉系统中存在一个听觉阈值电平,低于这个电平的声音信号就听不到,因此就可以把这部分信号去掉。听觉阈值的大小随声音频率的改变而改变,各个人的听觉阈值也不同。一个人是否能听到声音取决于声

21、音的频率,以及声音的幅度是否高于这种频率下的听觉阈值。 听觉掩饰特性,听觉阈值电平是自适应的,即听觉阈值电平会随听到的不同频率的声音而发生变化。 MPEG Audio压缩的主要依据是人耳朵的听觉特性,2.4 心理声学模型与音频编码,MPEG-1音频 MPEG/音频标准是国际高保真音频压缩学会(被称作活动图像专家组(MPEG/audio)的专家们三年多合作工作的成果。十分适合纯音频应用场合。 与用于话音信号的声音区域模型(vocal-tract-model)编码不同,MPEG/音频编码器的压缩没有假定任何音源特性。相反,MEPG/音频编码器利用了人耳听觉系统的可察觉性极限,大量的压缩是由于对音频

22、信号不可察觉、非相关部分信息的去除的结果。这些信息的去除只引起不可察觉的听觉畸变,因此MPEG/音频能够压缩任何适合人耳聆听的信号。,2.4 心理声学模型与音频编码,MPEG/音频提供了不同的压缩模式: 音频采样率可以为32、44.1或48kHz 压缩了的位流能够以四种模式中的一种支持单或双通道音频: 对单音频通道的单声道模式(monophonic) 对两个独立音频通道的双-单声道模式(dual-monophonic) 对共享比特位、但没有进行联合立体声编码的立体声通道采用的立体声模式(stereo mode) 联合立体声模式(joint-stereo mode) 压缩位流可以为预先定义的、固

23、定位传送率的、每通道从32k位/秒到224k位/秒几种中的一种。因此,依赖于音频采样率,压缩因子范围可以从2.7到24。,2.4 心理声学模型与音频编码,MPEG/音频提供了不同的压缩模式(续) MPEG/音频提供三种独立的压缩层选择 层I(layer I)是最简单的音频压缩,它最适合于位传送比特率高于每通道128k位/秒的应用场合。 层II具有中等复杂度,它的目标是使位传送率达到大约每通道128k位/秒 层III是最复杂但提供最佳音频质量的编码,尤其是对位传送率为每通道64k位/秒的应用场合。 编码后的位流支持一个可选的循环冗余校验(Cyclic Redundancy Check)错误检测编

24、码。 MPEG/音频提供一种在位流中包括辅助数据的方式,2.4 心理声学模型与音频编码,概览 MPEG/音频压缩的核心是量化(quantization)。尽管量化是有损的,但MPEG/音频算法能够给出“透明”的、知觉无损的压缩。MPEG/音频委员会在标准制定期间进行了广泛的主观听觉测试。测试结果显示即使在6比1的压缩率下(立体声、16位/采样点,以48kHz音频采样压缩到256k位/秒)在最佳聆听环境中,专业人士也不能区分出编码后的片段与原始声音片段之间的统计上的显著差异。,2.4 心理声学模型与音频编码,在尽可能保持CD音质为前提的条件下,MPEG声音标准一般所能达到的压缩率,MUSICAM

25、(Masking pattern adapted Universal Subband Integrated Coding And Multiplexing) 自适应声音掩蔽特性的通用子带综合编码和复合技术 ASPEC(Adaptive Spectral Perceptual Entropy Coding of high quality musical signal) 高质量音乐信号自适应谱感知熵编码(技术),2.4 心理声学模型与音频编码,MPEG编码解码器的延迟时间,2.4 心理声学模型与音频编码,MPEG编解码框图,2.4 心理声学模型与音频编码,SBC,2.4 心理声学模型与音频编码,2

26、.4 心理声学模型与音频编码,2.4 心理声学模型与音频编码,多相滤波器组,2.4 心理声学模型与音频编码,编码: MPEG的声音数据分成帧(frame),层1每帧包含384个样本的数据,每帧由32个子带分别输出的12个样本组成。层2和层3每帧为1152个样本,2.4 心理声学模型与音频编码,层1、层2的编码器结构,2.4 心理声学模型与音频编码,2.4 心理声学模型与音频编码,层3的编码器结构,2.4 心理声学模型与音频编码,2.4 心理声学模型与音频编码,For further information, please refer to following paper: Davis Pan,

27、 A tutorial on MPEG/Audio Compression, IEEE Multimedia, 1995, pp.60-74,2.4 心理声学模型与音频编码,MPEG-2声音标准与MPEG-1标准相比,MPEG-2做了如下扩充: 增加了16 kHz, 22.05 kHz和24 kHz采样频率 扩展了编码器的输出速率范围,由32384 kb/s扩展到8640 kb/s 增加了声道数,支持5.1声道和7.1声道的环绕声。 此外MPEG-2还支持Linear PCM(线性PCM)和Dolby AC-3(Audio Code Number 3)编码,2.4 心理声学模型与音频编码,MP

28、EG-1和-2的声音数据规格,2.4 心理声学模型与音频编码,2.4 心理声学模型与音频编码,2.4 心理声学模型与音频编码,AAC(高级音频编码) AAC(高级音频编码技术 Advanced Audio Coding),出现于1997年,是基于MPEG-2的音频编码技术。由Fraunhofer IIS、杜比、苹果、AT&T、索尼等公司共同开发,以取代mp3格式。 AAC是MPEG-2规范的一部分。AAC所采用的运算法则与MP3的运算法则有所不同,AAC通过结合其他的功能来提高编码效率。AAC的音频算法在压缩能力上远远超过了以前的一些压缩算法(比如MP3等)。它还同时支持多达48个音轨、15个低频音轨、更多种采样率和比特率、多种语言的兼容能力、更高的解码效率。总之,AAC可以在比MP3文件缩小30%的前提下提供更好的音质。,AAC(高级音频编码) 作为一种高压缩比的音频压缩算法,AAC通常压缩比为18:1,也有资料说为2

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论