音频压缩技术

1、1,内容提要,数字音频压缩技术 引言 听觉特性和声学基础 性能评价和现有标准 基于分析-综合的声码器 MPEG 音频压缩算法 AC3 音频压缩算法,2,引言：数字化,数字化是趋势 信息量非常大，高传输带宽或存储容量 5.1 声道环绕立体声： 648KHz16bits4.608Mbit/s,减少代表原始声音信号的信息量 更好利用现有频率资源 便于计算机处理和存储 宽带网中高质量传输,3,引言：声音压缩编码理论基础,冗余（Redundance) 信号一部分可由另一部分重建或另外表达形式简单说明，称为信号有冗余 去除冗余实现压缩编码 信号冗余是变化的，故不能产生恒定码流输出 不相关 （Irrelev

2、ance) 听觉不能感觉的那部分信号，它对声音信号的确定或音色和发音位置没有贡献 不相关信号部分不传输 利用掩蔽效应来掩盖量化失真 人耳听觉特性 人耳分辨能力 人耳对不同频段声音的敏感程度不同，通常对低频比对高频更敏感 人耳对语音信号的相位不敏感 人耳掩蔽效应 Masking Effect ,4,引言：语音信号的时域冗余度,幅度非均匀分布 小幅度样本出现的频率高 样本之间的相关性 当取样频率为 8KHz 时，相邻样本间的相关系数大于 0.85； 周期之间的相关性 在特定瞬间，某段声音往往只是总频带 3003400Hz 的少数几个频率分量在起作用象某些振荡波一些，在周期与周期之间存在一定的相关性

3、 基音之间的相关性 男声基音周期为 520ms，而典型的浊音持续 100ms 静止系数（话音间隙） 全双工话路的典型效率约为 40%（静止系数为 0.6） 长期相关性（long term correlation） 如几十秒内的相关性,5,引言：语音信号的频域冗余度,从频域考察语音信号的功率谱密度： 非均匀的长时间功率谱密度 长时间功率谱呈现强烈的非平坦性，高频能量较低时域上相邻样本相关 语音特有的短时功率谱密度 语音的短时功率谱，在某些频率出现峰值（该频率称为共振峰频率），在另外一些频率上出现谷值。 出现共振峰的频率不止一个，最主要的是前两个，决定了不同的语音特征 整个谱也随频率增加而递减 功

4、率谱的细节以基音频率为基础，形成高次谐波结构 另外，人的声道形状及其变化规律是有限的按一定的时间段（帧）来计算声道滤波器的参数或语音谱包络,6,引言：语音信号的短时功率谱,浊音,清音,7,内容提要,数字音频压缩技术 引言 听觉特性和声学基础 性能评价和现有标准 基于分析-综合的声码器 MPEG 音频压缩算法 AC3 音频压缩算法,8,人类的发音器官,人的发音器官由三个部分组成： (1) 肺和气管产生气源； (2) 喉和声带称为声门； (3) 由咽腔、口腔、鼻腔组成的声道 （从声带延展到嘴，成人平均声道 长度为17cm）,当肺部中的受压空气通过声门沿着声道发出时就产生了话音 声音的基音由声道的形

5、状变化（主要通过移动舌头）和移动嘴唇控制。 强度（响度）通过改变从肺部发出的气体的量改变。 人的声音变化很慢，肺的操作很慢，声道的形状变化很慢，所以语音的基音和强度变化也很慢。 表现在相邻样本间很相似，即使是帧（20ms）也是强相关的。这种相关性正是语音压缩的基础。,9,人类的收音器官,人的收音器官： 外耳接受外界的声音，并沿着耳道引起鼓膜震动，中耳鼓膜的震动引起锤骨、镫骨和砧骨三块小骨相震动，将声音传到内耳，内耳可产生神经冲动，冲动沿听神经转为神经能，这样声音的信息就传到了大脑。 一般情况下，音量达 100dB 时，时间较长可造成不可恢复性听力损伤；当音量高达110分贝时，足以使内耳毛细胞死

6、亡，严重者会造成听力丧失。实际上，任何高于85分贝的声音都能造成听力损伤，每天8个小时90分贝，足以造成逐步和不可逆转的听力损伤,10,人对声音强度的生理感觉强弱与声音信号强度大体成对数关系，从而引出声压级、声强级概念,听觉特性：对不同强度的感觉,11,人对不同频率的声音感受强度不同，引出等响曲线和响度级 ( phon，方值 )参量。,听觉特性：对不同频率的响应,12,由等响曲线可以看出不同的声音强度，人的听觉频响不同！,听觉特性：听觉频响,13,将不同强度的听觉频响典型曲线规范成计权曲线，用于模拟听觉频响,听觉特性：计权曲线,14,掩蔽效应 掩蔽效应： 一个声音的存在掩蔽了另一个声音的存在

7、掩蔽效应是一个较为复杂的心理和生理现像 掩蔽程度与两个声音的相关性有密切联系 分为频域效应和时域掩蔽效应 准稳态(短时稳态)信号特性，利用频域掩蔽效应 对于声音的时域结构特性，利用时域掩蔽特性,听觉特性：掩蔽效应（1）,静音门限和掩蔽门限 （灰色区域中的声音听不到）,15,人的听觉生理掩蔽效应，声音听起来才不显得混乱！,较弱的听不见的声音信息就可以舍弃！而不必再进行编码,这是数字声码压缩的生理基础之一。,听觉特性：掩蔽效应（2）,16,时域掩蔽效应 (Temporal masking effect)：在时间上相邻的声音之间存在的掩蔽现象,听觉特性：掩蔽效应（3）,后向掩蔽: 一个声音影响了在时

8、间上先于它的声音的听觉能力 同时掩蔽：在一定时间内一个声音对另一个声音发生了掩蔽效应 前向掩蔽：一个已经结束的声音，对另一个声音的听觉能力还起着影响 利用时域掩蔽效应，将时间上相继的一些取样值并归成块，降低码率。 三种时域掩蔽效应的时间关系,17,人的听觉生理延时效应，声信号在时域上的听觉融合！,较弱的延迟声听不到！,较弱的先到声听不到！,听不到声信号的数码当然可以舍弃,以压缩码率!,听觉特性：掩蔽效应（4）,18,频域掩蔽(Frequeney domain masking effect) 同时发出的两个声音，一个较弱的信号被另一个相近频率的较强信号的声音所掩蔽 两个声音频率相同时，掩蔽效应最

9、明显 在高频端，随着两者频率偏离，掩蔽效果缓慢减弱 在低频端，随着两者频率偏离，掩蔽效应急剧减小 例：1KHz 的声音的掩蔽效应,听觉特性：掩蔽效应（5）,19,临界频带 (Critical Band)：由于声音频率与掩蔽曲线不是线性关系，为从感知上统一度量声音频率，引入了“临界频带”的概念。 一个声音可被另一个声音掩蔽的频率范围称为临界频带 人耳不能区分临界频带内的频率,听觉特性：掩蔽效应（6）,临界频带的单位叫 Bark(巴克)，1 Bark = 一个临界频带的宽度,20,时域和频域掩蔽效应的折衷 稳态信号，滤波器组要有好的频谱分辨力，这意味着需要一个长的窗函数或长的 FIR 滤波器。 瞬

10、态信号，滤波器组要有好的时间分辨力，这就要求短的窗函数和 FIR 长度。,听觉特性：掩蔽效应（7）,21,量化噪声 是模拟信号和数字样值之间的差值。,听觉特性：掩蔽与量化,N Bits = 2N levels,22,随着量化电平数的增加，模拟信号的数字样值更逼近原始模拟信号，量化误差变的更小。,听觉特性：掩蔽与量化,23,听觉特性：掩蔽与量化噪声,24,听觉特性：子带编码,25,每个频率子带编码的比特数等于量化噪声低于对应子带最小掩蔽门限的所需要的最少比特数。,听觉特性：掩蔽/比特分配,26,听觉特性：声音的方位,人对低频和高频声的方向判别灵敏度都有所降低；大多数声音是多频谱的,人的听觉心理会

11、使人根据声音中的中频成分的方向(判断方向灵敏度较高的频段),来判断那些含有低频成分的声音的方向。 麻省理工学院(MIT)的 Bose 实验室对具体频率作了详尽研究,认为电声系统如能将声信号中的120 Hz 以上频率的中频成分的声像方向控制住, 那么含有低频成分的整个声音的声像方向则会被“牵引到”这些中频成分声像的角度上； 这个结论很有实用意义 因为在家庭影院中五个主通道可以使用小扬声器播放高于120Hz 以上的频率分量, 而将那个低频效果(LFE)扬声器用作辅助低音(SW)而不会误解方向! 立体声中高频信号，对声源的定位不起作用，多个声道信号的高频部分耦合（Coupling）或动态串音(Cro

12、ss_Talk)到一个公共声道，实现压缩编码.,27,声信号时程，呈现稳态特性与瞬态特性,声信号时程,稳态特性和瞬态特性; 信号时程的起始段和结束段 明显的瞬态特性； 信号时程的中间段 明显的稳态特性； 时间应用中，混合滤波器组具有可变的的频率分辨率和时间分辨率，即窗函数长度不同，以正确反映声音信号的瞬态和稳态特性，即声信号的起始段和结束段。,声学基础：声音的瞬态和稳态特性,28,以室内声为例说明,在有边界的有限空间内,声源发声后的传播和收听点得到的信号示意,声学基础：声场,29,现代立体声的总体科学分类,立体声分类 扬声器立体声 耳机立体声 实 现 方 式 借助扬声器声场 使用耳机耦合信号

13、利 用 原 理 听觉错觉或模拟声场 听觉错觉 立体声特点 听者进入声场 声音直接耦合 必然产生衍射 不会产生衍射 节 目 制 作 使用传声器* 使用模拟人头* *:这两种信号可以经信号处理互换。 声像真实度 可能很高 可以很高 环境自然度 可能很高 很高,声学基础：现代立体声（1）,30,声学基础：现代立体声（2）,扬声器立体声的科学分类,立 体 声 分 类 模拟声场型 听觉错觉型 立体声实现方式 在相应方向上摆放扬声器 利用听觉错觉产生幻象 典 型 使 用 例 公众影院立体声 . 家用 3D立体声 . 家用环绕立体声 . AC3 型数字立体声,家用二声道强度 型立体声 家用二声道界外立体声

14、虚拟立体声 SRS,立体声信号特点 各声道信号相对独立 声道间有特定关系 准 确 听 觉 区 较 广 特定位置 声 象 真 实 度 很 高 当处理完美时较高 环 境 自 然 度 很 高 当处理完美时较高 码 率 压 缩 比 可以较高 受到限制,31,强度型扬声器立体声的声像规律：立体声“正弦定理”和“正切定理”,当向扬声器对馈送内容相同 但强度不同的信号(称为“强度型立体声”)时,处在分割中线位置的听者会感到只有一个声音(声像),它处在两只扬声器 之间(界内),但声像的高低频 角度略有不同,除了扬声器附 近,高频的声像角会稍略大于 低频的声像角,见右图：,定量描述声像角规律需用立体声“正弦定理

15、”(当听者面对正前方时)或“正切定理”(听者稍为偏转一点角度), 这是强度型立体声的“欧姆定理”!,声学基础：现代立体声（3）,32,不难看出,强度型扬声器立体声是一种“错觉型”立体声,如果听者不在中心线处,声像将不准确！故而将中线位置俗称“皇帝位”！,当频率低于700Hz时： 当频率高于700Hz时：,声学基础：现代立体声（4）,强度型扬声器立体声的声像规律：立体声“正弦定理”和“正切定理”,33,解决立体声重放时一个声音的高频成分的声像比低频成分偏大的问题, 第一种方法是在信号传输时进行和差矩阵变换,将差信号的高频衰减1.4倍(3dB)后再进行和差变换得到新的左右信号,这时由于两路信号差的

16、高频成分降低,其声像方向角可降低至与低频相近,见右图：,第二种方法是将扬声器高频单元向里移(减小高频的 qY),其原理不难从立体声正弦定理看出。,声学基础：现代立体声（5）,34,公众影院立体声放送扬声器布置,杜比公司提出的公众影院立体声电声系统和扬声器布置图,这里多只环绕声扬声器围绕着观众(听众),以造成环境声是来自四面八方环绕听者的效果,也即环绕声的声像来自四面八方而不是在某一个方向！,声学基础：现代立体声（6）,35,标准的杜比环绕声(Dolby Surround)含有 4 个声道的信号, 其中左前声道(L)、中前声道(C)、 右前声道(R)信号携带着模拟出现在听者前方的声像的直达声 前

17、期反射声和前面方位的混响声信息；而环绕声道(S)携带着模拟听者左、右、后方的前期反射声和混响声(环绕着听者)的信息, 也可携带画面以外的 “效果” 声信息。在电影院,这个声道的扬声器按上页所绘图的布局安放。 在家庭的小房间内,可以将环绕声道扬声器的数量减少至两个(左侧右侧各一个),不过这时要将环绕扬声器做成全指向特性的,而不是仅仅将声波集中辐射向听者,以得到准确的模拟具有 “扩散”特性的混响声效果。,声学基础：现代立体声（7）,公众影院立体声放送扬声器布置,36,家庭影院节目制作时的扬声器布置例,杜比公司提出的制作家庭影院 5.1声道环绕立体声节目的典型扬声器布置,此时环绕声可能出现在某个方向

18、而不来自四面八方,这与公众影院不同!,声学基础：现代立体声（8）,37,ITU推荐的家庭影院重放扬声器布置,注意其两个环绕扬声器设置在 110度上！,声学基础：现代立体声（9）,1989 年 SMPTE 提出，后 ITU、EBU 同意 5.1 声道： 5 指五个主声道（中心声道 C、左声道 L 、右声道 R、左环绕 Ls、右环绕 Rs） 0.1 指低频效果声道 LFE 32配置：三个前声音加两个环绕声道,38,ITU推荐的扬声器布置产生的弊端,经我国谢菠荪博士理论推导和组织试听证明,将两个环绕扬声器设置在 110度时,必然在上图阴影的角度范围内不能得到声像的弊端！,声学基础：现代立体声（10）

19、,39,改善家庭影院产生声像弊端的物理方法和信号处理方法,物理方法 将左右环绕扬声器的放置角度减小到 90度,这可以减小那个“声像死区”的范围! 而由此产生的反射声空间扩散不足的问题可以用增加一个正后方的环绕扬声器声道来解决。 信号处理方法 将个声道信号进行 “人头传输函数”卷积处理,产生虚拟声像!,声学基础：现代立体声（11）,40,注意! 左 右环绕声扬声器应该安放在听者的左方和右方, 而不是放置在听者的左后方和右后方, 这样可以改善 +45o +90o 角度范围和-45o -90o 角度范围的声象质量! 杜比公司在网页上公布的家庭影院环绕立体声(AC-3)的扬声器布置其两个环绕扬声器已经

20、不设置在 110度上了！,改善声像弊端的物理方法：改变环绕扬声器位置,声学基础：现代立体声（12）,41,7.1 声道环绕声,声学基础：现代立体声（13）,42,声学基础：电声产品的听感测试,什么声信号有资格进行电声产品的听感测试? 声信号样件的充分性： 信号样件应尽量多地反映各种声音特征 声信号样件的代表性： 信号样件应能够充分代表同类声音信号 对电声产品的听觉缺欠判断能力： 能够较容易地判断电声产品的听觉缺欠 什么声环境有资格进行电声产品的听感测试? 重放环境的反射声必须足够弱： 重放房间产生的“二次反射声”会对电声产品的重放声产生干扰和附加“染色”, 因而重放房间应该进行相当强的吸声处理

21、, 称为保证“声学比”。 重放环境的背景噪声必须足够低： 环境噪声对判断电声产品的听觉质量会有影响,因而重放房间应该进行严格的隔声处理, 称为保证“信噪比”。 什么人有资格进行电声产品的听感测试? 听感测试人(听感评价人)的听觉生理： 不言而喻, 听感测试人必须具有良好的听觉生理, 能够判断重放声的细微差异 , 以及具备不受参考声影响而能记住常遇到的声源声色的绝对记忆能力。 听感测试人(听感评价人)的音乐水平： 不言而喻, 听感测试人必须具有相当的音乐水平, 对常遇到的器乐和声乐作品和乐理相当熟悉,43,内容提要,数字音频压缩技术 引言 听觉特性和声学基础 性能评价和现有标准 基于分析-综合的

22、声码器 MPEG 音频压缩算法 AC3 音频压缩算法,44,性能评价：客观评价,编码速率（Kbps、Kb/s） 信号带宽：可懂度、自然度、透明度 2003400Hz、507000Hz、2015000Hz、1020000Hz 采样速率：8KHz、16KHz、32KHz、44.1/48KHz 样值比特数（bit/样点） 总速率 R（kbit/s） 固定码率及可变码率 重建语音质量 客观评价： 信噪比 分段信噪比 （一般 15dB 以上较好，20dB 以上相当好）,45,性能评价：主观评价,主观评价 MOS分（Mean Opinion Score） 51分：Excellent、Good、Fair、P

23、oor、Bad 4分：长途通信质量 (toll, transparency-电话线) 3.5分：通信质量 (communication) 判断韵律测试 DRT（Diagnostic Rhyme Test） 95%以上 优秀、85%94% 良好、75%84% 中等 65%74% 差、65% 以下不能接受 判断可接受度测试 DAT（Diagnostic Acceptability Test） 多维因素测试 调制噪声参考单位 MNRU（Modulated Noise Reference Unit） 量化失真单位 QDU（Quantization Distortion Unit） 一次 PCM 编解码

24、,46,性能评价：延时、复杂度和其他,编解码延时（ms） 公众网（25ms）、点对点、广播、存储 回声控制或回声抵消 正常通话秩序 与重建质量关系 算法复杂度 硬件、成本 浮点、定点 MIPS、RAM、ROM 其他 抗随机误码和突发误码能力 抗丢包和丢帧能力 对不同信号编码能力 级联或转接能力,47,波形编码 将波形直接变换成数字码流。特点：比特率较高、解码后质量较高、延时较小。可以分为：时域波形编码，如PCM、ADPCM、M等；频域波形编码，如：子带编码（SBC）、自适应变换编码（ATC）等。 PCM原理（1937年，法Alec Reeres） 电子管 PCM（46年，Bell实验室） 晶体

25、管 PCM（62年，市话扩容，64kb/s） 单片IC PCM（70年代，微波、卫星、光纤） 增量编码原理（1946年，法 De Loraine） 自适应增量 CVSD（60年代末，军用，32、16kb/s） CVSD（Continuously Variable Slope Delta Modulator） （连续变化斜率增量调制器） 其他编码（70年代，ADPCM、SubBand、ATC、APC等） 在16kb/s以上得到较好的话音质量。 特点：话音质量好，但编码速率高。,现有标准：语音编码标准 (1),48,参数编码 从信源信号的某个域中提取特征参数，并变换成数字码流。如：各种声码器。 波

26、形编码通道声码器（39年，Dudly，二次大战保密电话） LPC声码器（67年，Atal、Schroeder） 同态声码器（69年，Oppenheim） 共振峰声码器（71年，Rabiner、Schafer、Elanagan） MBE声码器（88年，Griffin、Lim） 波形插值（91年，W.B. Kleijn） 2.4kb/s、1.2kb/s、较好；600-800b/s可懂。 特点：编码速率低，自然度差、解码后质量较低、延时较大。,现有标准：语音编码标准 (2),49,混合编码器 将以上二种方法混合，利用线性预测、VQ、A-B-S、感觉加权、后滤波等技术。如：G723.1，G728，G7

27、29，GSM 的语音编码，IS-95 的语音编码等。 多脉冲激励线性预测（MPELP 1982 Atal、Remde） 规则脉冲激励线性预测（RPELP 1985 Deprettere、Kroon） 码本激励线性预测（CELP 1985 Manfred、Schroeder、Atal） 8-16kb/s，高质量。特点：话音质量高、编码速率低，但算法复杂。,现有标准：语音编码标准 (3),50,宽带语音：主要应用于会议电视，相当于调幅广播的质量 1988年CCITT制定了G.722 标准：SB-ADPCM 1996 年左右，美国 PictureTel 公司提出 PTC-PictureTel Tra

28、nsform Coder 1999年9月发布：“ITU-T G.722.1 proposed for decision: 7 kHz Audio - Coding At 24 And 32kbit/s For Hands Free Operation In Systems With Low Frame Loss。”,现有标准：语音编码标准 (4),51,现有标准：语音编码标准 (5),52,PCM：脉冲编码调制 ADPCM：自适应差分脉冲编码调制 LD-CELP：低延时码本激励线性预测编码 CS-ACELP：共轭结构代数码本激励线性预测编码 ACELP：代数码本激励线性预测编码 MP-MLQ：

29、多脉冲激励最大似然量化 SB-ADPCM：子带自适应差分脉冲编码调制 LPC-10：线性预测编码-10 MELP：混合激励线性预测编码 CELP：码本激励线性预测编码 RPE-LT：长时间预测规则脉冲激励线性预测编码 VSELP：矢量和激励线性预测编码 IMBE：Inmarsat多带激励语音编码 QCELP：Qualcomm码本激励线性预测编码 EVRC：增强型变速率编码,现有标准：语音编码标准 (6),53,主要应用于娱乐与鉴赏，对于重建信号的音质有很高的要求，目前采用比特率较高的波形编码技术进行压缩。可以直接在时域进行，也可以转到频域或其他变换域进行。 1982 年激光唱盘 (CD: Co

30、mpact Disk)上市。MD：Mini-Disk，日本索尼公司采用 ATRACAdaptive Transform Acoustic Coder 压缩技术。 1987 数字音频磁带录音 (DAT: Digital Audio Tape) 问世。 DAB (Digital Audio Broadcasting) 源于欧洲。 AC3 来自 Dolby 公司 .,现有标准：宽带音频（1）,54,现有标准：宽带音频（2）,电视,MPEG1 1992,MPEG2 1994,AAC 1997,MPEG4 1999,电影,ATRAC (Sony) 1992,AC-3 (Dolby) 1995,PAC (

31、Lucent) 1992,TwinVQ (NTT) 1995,Coherent Acoustics (DTS) 1996,MLP (Meridian) 1997,Internet,G2 (Realnet) 1998,WMA (微软) 1999,55,MP3 MPEG-1 layer 3 最多用户 对于苛刻素材，192kbps 时接近 CD质量 Ogg Vorbis 开发源码 免费 IPR free 质量与 MP3 相近，但不同素材之间变化很大 AAC MPEG2 和 MPEG4 对于 CD 质量的要求，它具有最低的码率 对于苛刻素材，约128kpbs 时接近 CD 质量 对于高码率 ，Quic

32、ktime and RealAudio 采用 AAC Windows Media 微软专有 通过 Window OS，具有巨大用户量 好于 MP3，WMA9 质量上接近 AAC 包括无失真和多声道编码,现有标准：Internet Codecs（1）,56,RealAudio 对于高码率，采用 AAC 专有的低码率编解码器，与早期版本相同 专有的多声道编解码器 用于流媒体 ATRAC Sony 专有 ATRAC3 用于低码率 (=64kbps) ATRAC3 用于高码率 在高码率中，类似 MP3 的质量 在低码率时好于 AAC,现有标准：Internet Codecs（2）,57,WM9 和 R

33、ealAudio10 包含多声道编码，AAC 和 AAC+ 支持多声道编码 AC3 (Audio Coding, Dolby) 专有 最大的用户数量，质量与 MP3相当 DTS (Digital Theater Systems) 专有 高码率，高质量 MLP (Meridian Lossless Packing) 专有 无失真 SDDS (Sony Dynamic Digital Sound) 专有 基于 ATRAC,现有标准：多声道编码,58,压缩率 1/3-1/2，依赖于素材 FLAC (Free Lossless Audio Coding) 免费 Monkeys Audio 免费 Win

34、dows Media 存在许多其它的无失真编解码器 MPEG 正在制定标准化工作,现有标准：无失真编码,59,基于 G.722 的电话会议编解码器 低质量 AAC-LC MPEG 4 质量好于 MP3 大多数普通的编解码器都不满足双向通信的时延要求，特别是 AAC有非常高的时延。,现有标准：低时延编码,60,内容提要,数字音频压缩技术 引言 听觉特性和声学基础 性能评价和现有标准 基于分析-综合的声码器 MPEG 音频压缩算法 AC3 音频压缩算法,61,语音信号产生的数字模型,激励模型： 浊音：周期脉冲信号 清音：随机噪声 声道模型：M 阶全极点滤波器/AR 模型 线性预测,声道模拟 滤波器

35、,62,分析综合编码,编码器：将语音信号分片/帧，对每帧进行分析 激励信号参数 声道滤波器参数 解码器：根据模型和收到的参数合成语音 出现过很多不同的分析综合语音压缩方法 线性预测声码器器(Linear predictive Coder, LPC) 码激励线性预测(Code excited linear prediction, CELP) 正弦声码器 混合激励线性预测(mixed excitation linear prediction, MELP),63,线性预测声码器(LPC),激励：二元激励源 浊音：基音周期脉冲 清音：随机噪声 声道：线性滤波器,参数：浊音/清音标记 基音周期 信号能量

36、,64,LPC-10 声码器,M=10: LPC-10 美国国家标准 输入语音：8000 样本/秒 180 样本/帧 （22.5ms） 语音信号在 1030ms 内具有短时平稳的特点 输出带宽： 2.4 kbps 54 比特/帧 44.44 帧/秒 （22.5ms）,65,浊音/清音检测,浊音： 振值大 能量高,清音： 频率高 过零率高,66,浊音/清音检测 (2),LPC-10中，输入信号通过 1kHz 低通滤波器 低带能量 过零率 平均振幅差值函数(average magnitude difference function, AMDF) 的最大值和最小值之比 最后对基音值、清、浊音判决结果

37、用动态规划算法，在三帧范围内进行平滑和误差范围校正，得出前一帧的基音周期、清、浊音判决结果，共 4 种状态： 稳定的清音 清音向浊音转换 浊音向清音转换 稳定的浊音,67,基音周期,浊音信号为准周期信号：相隔周期 T 的两个样本之间很接近：长时相关性 一种方式：直接计算样本的自相关函数 Ryy(k) 当 k 为基音周期时 Ryy(k) 最大 可以平滑噪声 浊音语音并不是严格周期的，只能以阈值方法找到最大值，但受噪声和声道回声的干扰，很难选择合适的阈值,68,基音周期 (2),LPC-10 中采用的方法与自相关函数法密切相关：平均振幅差值函数(average magnitude differen

38、ce function, AMDF) 如果 yn 为周期为 P0 的序列，相隔 P0 个样本应该很接近，因此 AMDF 函数在 P0 处会有一个最小值。 通过利用人的基音周期在 2.519.5ms 内，可简化 AMDF的计算 采样率为 8000 样本/秒，则 P = 20160,69,基音周期(3),AMDF还可以用于识别浊音/清音,浊音的AMDF函数,清音的AMDF函数,70,声道滤波器参数,声道：线性滤波器 参数 ai 求解方法 自相关系数方法 假设在帧内为平稳信号 通常加平滑过渡窗口，如 Hamming 窗 协方差方法 格型方法,71,声道参数 (2),通过最小化预测误差的期望 得到声道

39、滤波器系数 ai ,72,声道参数 (3),假设信号在一帧内是平稳的， 则,R 为Toeplitz 矩阵： 对称 对角线和副对角线上的元素相等,73,声道参数 (4),R 为 Toeplitz 矩阵，可用 Levinson-Durbin 算法求解：,偏相关(partial correlation, parcor )系数,74,声道参数 (5),LP 系数 ai 的动态范围大，不宜用较少的比特来量化 ai 对微小变动较为敏感，一个系数的微小误差就可能会严重影响整段语音频谱包络的形状，甚至会使 LP 滤波器工作不稳定 因此偏相关系数 ki 代替 亦称为反射系数 (Reflection Coeffi

40、cient, RC) 反射系数稳定的条件： | ki | 1 这在量化过程中容易满足 偏相关系数 Parcor 还可用于浊音/清音判断 浊音的前两个系数值接近 1，而清音的头两个系数值很小,75,声道参数 (6),如果不假设帧内信号平稳，定义协方差 得到等式 CA=S ，其中 其中 cij 可以估计为： A = C-1S 可通过 Cholesky 分解实现 LPC-10 采用协方差方法计算 parcor 系数,76,信号能量/增益,增益 G 通过计算帧内信号的均方根 (root mean squared, RMS) 得到 其中 N 为帧的长度,77,参数量化与编码,基音周期：log-压扩量化

41、量化为 60 个值 60 个基音值用 Hamming 权重为 3 或 4 的 7 比特Gray 码进行编码 清音帧用 7 比特全零矢量表示 过渡帧用 7 比特全 1 矢量表示 其余基音值用 Hamming 权重 3 或 4 的 7 比特矢量表示,78,参数量化与编码 (2),滤波器参数 浊音：M=10 清音：M=4 当 | ki | 1 时，声道滤波器对反射系数的误差很敏感 当 i=1, 2 时，ki 很有可能接近 1，此时采用非均匀量化 其中 Ai、Ai+1 正好是声管第i节和第 i+1 节的面积，因此称为对数面积比 变换的结果是使得对数面积比系数 gi 具有相当均匀的幅度分布，而且参数之间

42、的相关性很低，有利于参数的量化和传输 增益 RMS 参数： 5 比特 log- 压扩量化 对数值在 2 到 512 之间的 RMS 值用步长为 0.773dB 的对数码表进行编码,79,参数量化与编码(3),信号能量 (增益),清音 过渡音 浊音基音周期,声道滤波器参数,同步码,80,LPC-10 问题和改进,存在的问题 语音的自然度较差： 采用过于简单的二元激励，使合成的语音听起来不自然。在实际的语音余量信号中，相当一部分既非周期脉冲又非随机噪声 非周期能量没有得到恢复，主观听觉上会感觉合成语音有明显的“嗡嗡”声 如果浊音用噪声信号激励，听起来会觉得沙哑 鲁棒性差： 在有噪声的情况下，不易准

43、确提取基音周期和不能正确判决清浊音。当背景噪声比较强时，系统性能显著恶化 不能有效对抗传输信号中误码的破坏作用 主要改善以下方面： 激励源 基音提取方法 声道滤波器参数量化方法 线谱对（Line Spectrum Pair, LPS ）,81,多脉冲线性预测编码 (MP-LPC),多脉冲线性预测编码 (multipluse linear predictive coding, MP-LPC)： 对清音/浊音，用有限个脉冲经过最优估值后作为激励信号源 脉冲的间隔根据不同码本的模式决定 分析过程：混合编码 对每帧原始语音先用 LP 分析方法计算 LP 系数，然后对当前帧的子帧用合成分析法估计一次激励

44、脉冲 将激励脉冲输入到合成器中，得到合成语音 将合成语音与原始语音相减，得到误差信号并输入到感觉加权滤波器，得到加权误差信号 根据最小加权均方误差准则，分析出一组位置、幅度最佳的激励脉冲，然后最佳激励索引与 LP 系数一起编码送入信道,82,多脉冲线性预测编、解码器,编码器,解码器,83,多脉冲线性预测编码的变种,码激励线性预测编码(Code-Excited Linear Prediction, CELP)： 矢量量化码书中的码字作为激励源 对每帧，计算最佳匹配的激励矢量 美国联邦标准 FS1016 G.728 标准 规则脉冲激励线性预测（RPE-LPC） 激励码字中，非零值规则出现 规则脉冲

45、激励 非零值可为多个不同的值 RPE- LTC（长时间预测）：GSM 标准，13kbps,84,码激励线性预测编码(Code-Excited Linear Prediction, CELP),CELP：矢量量化 + 线性预测 码书中每个码矢量代替余量信号作为可能的激励信号源 在编码时对码书中的码矢量逐个搜索，找到与输入语音误差最小的合成语音的激励码矢量，将这个码矢量的索引传送给接收端 在接收端用存储的同样码书，根据收到的码本索引恢复出相应的码矢量作为激励 4.816kb/s 范围内可以得到质量相当高的合成语音，并且抗噪声和多次转接性能也比较好。 然而当速率进一步降低时，由于没有足够的比特表示激

46、励矢量，余量的量化将产生较大的误差，致使合成语音质量迅速下降,85,CELP 声码器,码书： 自适应码书：逼近语音的长时周期性（基音）结构 固定的随机码书：语音的经过短时、长时预测后的余量信号 从两个码本中搜索出来的最佳码矢量，乘以各自的最佳增益后相加，其和就是 CELP 激励信号源 将激励信号经过 M 阶 LP 综合滤波器，得到合成语音信号 合成语音信号与原始语音信号的误差经过感觉加权滤波器，得到感觉加权误差 e(n)。 CELP 用感觉加权的最小平方预测误差作为搜索最佳码矢量及其幅度的度量准则，使得感觉加权误差平方最小的码矢量就是最佳码矢量。,86,CELP 声码器,用一个自适应码本中的码

47、字来逼近语音的长时周期性（基音）结构。 用一个固定的随机码本中的码字来逼近语音的经过短时、长时预测后的余量信号。,87,CELP 声码器,计算速度的提高 自适应码本和随机码本的搜索过程在本质上是一致的，不同之处在于码本结构和目标矢量的差别 为了减少计算复杂性，自适应码本和随机码本的搜索分为两级顺序进行： 第一级自适应码本搜索的目标矢量是加权 LP 余量信号 第二级随机码本搜索的目标矢量是第一级搜索的目标码本减去自适应码本搜索得到的最佳码矢量激励综合加权滤波取得结果 CELP 编码器的计算量主要是对码本中最佳码矢量及幅度的搜索,88,FS 1016,CELP 编码中基于合成分析的搜索过程、感觉加

48、权矢量量化和线性预测技术 FS 1016 采用 CELP 声码器中的声道滤波器： 其中 P 为基音周期， 为基音周期的贡献 CELP 采取分帧技术进行编码，帧长 30ms：240 个样本 每帧分为 4 个子帧，对每个子帧，搜索最佳码矢量 基音周期计算：当前子帧的基音周期在前一个子帧周期的 32 个样本内 两个码书：自适应码本和随机码书 随机码书：512 个码字，通过高斯随机数产生，被量化为 -1, 0, 1，量化边界为 1.2 自适应码书：包含以前帧的码字，每产生一个新的码字，被增加到码书中 码书与局部统计相适应,89,G.728 语音编码标准,G.728：短延时码本激励线性预测编码 (LD-

49、CELP) 短延时：2ms，（5 个样本/帧 0.625 ms) 输出码率：16kbps 2 比特/样本 10 比特/帧 语音质量优于32kbps 的 G.726 ADPCM 算法 声道滤波器参数：后向自适应 每 4 帧更新一次 10 比特/帧可全用于编码激励 后向自适应 编码器复杂 噪声环境：放弃提取基音周期，改用 50 阶的声道滤波器 足够对女性的基音周期建模 不能利用男性的基音周期信息，并没有严重降低性能 激励源：10 比特 3 比特：增益 7比特：码字索引 码书更小，码字搜索复杂度低,90,G.728 语音编码标准 (2),91,正弦声码器 (Sinusoidal Coder),激励信

50、号：一组时变正弦波之和 正弦波的幅值、频率和相位都随一定的时间 (帧长) 变化 合成语音时帧间需平滑 为了节约码率，采用调和分析 声道滤波器：线性系统,92,正弦变换编码 (STC),在分析端，输入信号通过快速 Fourier 变换 (FFT) 进行谱分析 由于浊音信号的功率谱具有谐振结构，而清音信号的功率谱具有随机分布的峰值，利用峰值检测算法可确定峰值点的频率以及幅度和相位，对这些参数进行编码传给解码端 在解码端把这些参数作为正弦波的参数来合成语音 在实际的低码率编码中，为了提高编码效率，往往只对谱包络、幅值符号，基音频率和浊音概率频率进行编码 谱包络：谱峰的绝对幅值 浊音概率频率将语音谱分

51、成两部分： 低频段：浊音 高频段：清音,93,混合激励线性预测(mixed excitation linear predication, MELP),采用更复杂的方式产生激励：多带混合激励 语音分为清音、浊音和抖动浊音三种状态 浊音：周期脉冲 + 白噪声 抖动浊音：非周期脉冲 + 白噪声 2.4kbs 的 MELP 编码方法已经被确定为美国新的联邦语音编码标准 编码速率为 2.4kbps，帧长为 2.5ms， 每帧数据用 54bit 进行编码 在低码率下的合成语音的自然度大大提高，主观语音质量接近美国联邦 4800bps 的 CELP,94,MELP 声码器,MELP 以 LPC 参数模型为基

52、础，但新增五大特点： 分带混合激励 使用非周期脉冲 自适应谱增强技术 脉冲离散滤波 Fourier 幅度模型,95,MELP 声码器：分带混合激励,04kHz 的语音频带分成 5 个固定的子带：频域上对激励信号的划分更精细 合成的激励更准确 小于500Hz 5001000Hz 10002000Hz 20003000Hz 30004000Hz 对于每一个非清音帧（包括浊音和抖动浊音帧），分别计算每个子带的清/浊音混合比例(话音强度) 本子带内脉冲激励源和噪声激励源的权值 减少LPC声码器中的常有的蜂鸣声，对宽带声源改进的效果更为明显,低频部分对语音的影响更大，并便于基音提取 对低频段的划分更细一

53、些,96,MELP 声码器：非周期脉冲,语音分为 3 种状态：清音、浊音和抖动浊音 浊音：周期脉冲 抖动浊音：非周期脉冲 更好地合成介于清、浊音之间的过渡帧和某些周期性不强的浊音帧 非周期标志：表示是否采用非周期脉冲的激励信号 对抖动浊音，解码端产生不稳定的声门脉冲，使过渡音更加自然而不引入其他声调 实现：在0.75 倍基音和1.25倍基音范围内随机抖动 减少一种类似电流声的单音噪声，尤其是在对基音较高的女性讲话者和有噪声时非常有效,97,MELP 声码器：自适应谱增强,LPC 全极点的模型削弱了共振峰的特征 合成话音在基音周期点间的幅度值更小 自适应谱增强： 合成语音与原始语音在共振区更好匹

54、配 实现：激励信号经自适应谱增强滤波器 零/极点滤波器：由一个全极点的滤波器（对第一阶有平坦补偿）和一个全零点的滤波器（阶数等于线性预测阶数）级联组成 突出激励谱中共振峰频率处的谱幅度，提高整个短时谱在共振峰处的信噪比 原理比较简单，算法复杂度不高，对编码端没有传输额外比特的要求，加强低速率语音编码质量,98,MELP 声码器：脉冲离散滤波,脉冲离散滤波：让分带合成的语音与原始语音在非共振区波形上具有更好的匹配，有助于消除合成话音中的一些刺耳的噪声 脉冲离散滤波：合成语音通过一个 FIR 滤波器 系数是通过将典型男性周期脉冲的谱强制变为平坦谱，再进行傅里叶反变换得到的 减弱某些频带处周期性的作

55、用，降低了基音周期为典型周期附近时的峰一峰值，使合成语音的蜂鸣效果降低，变得更为连贯、自然 它能让激励信号的能量散布于整个基音周期之内,99,MELP 声码器： Fourier 幅度模型,在 LPC 残差信号中含有大量的语音特征，因为码率原因，以往的低速率LPC算法在生成激励脉冲时，只反映了它的周期性，并没有反映它的幅度特性，因而不能很好地反映实际激励脉冲动态变化的特性 MELP 算法对较重要的特征一各基音周期谐波处的Fourier 级数幅度值进行矢量量化 残差信号中对语音影响最大的是低频带，MELP 算法对最低 10 阶谐波进行量化 10 阶以上谐波：幅度值平坦，用单位值来代替 增加了语音产

56、生模型的准确性，提高合成语音的自然度、清晰度和抗背景噪声的能力，大大改善了 LPC 合成语音发闷、嘶哑和合成音重等弱点,100,MELP 声码器：编码器结构,101,MELP 声码器：基音周期检测,基音周期的提取分为两个步骤： (1)整数基音粗估，得到整数基音初值 P1 (2)围绕P1进行基音细估，计算分数基音值 P2,102,MELP 声码器：整数基音周期计算,对低通滤波后的信号，计算延迟在 40160 个样本点的归一化自相关值 r() ，归一化自相关函数定义为： 整数基音周期 P1 为最大化归一化自相关函数 r() 的 值 考虑到人的基音范围，对基音搜索的范围定在 (40,160) 之间,

57、103,MELP 声码器：分数基音提取,对-500Hz子带的输出信号，用当前帧和前一帧的整数基音周期作为候选基音 假设信号的真实周期与整数基音周期的偏移量为，计算 的步骤是： 对两个候选基音，从前 5 个样点到后 5 个样点用归一化自相关函数在作一次整数基音搜索 然后在此优化的基音周期的基础上作分数基音提取 假设优化的整数基音周期为T，为了决定最大值是落在(T,T+ 1)中，还是落在(T-1)中，需要计算出CT(0, T-1)和CT (0, T+1),104,MELP 声码器：分数基音提取,如果 CT (0,T- 1) CT (0 ,T+ l)，则最大值落在 (0,T- 1) 中，此时用 T-

58、1 代替T作线性内插，计算 的公式： 分数基音的归一化自相关值为 对两个候选基音分别计算出分数基音和相应的归一化自相关值，取最大的一个作为当前帧的分数基音 P2，相应的归一化自相关值 r(P2) 就是 VbP1,105,MELP 声码器：基音周期的最终计算,最终基音周期 P3 的计算利用线性预测残差信号，残差信号通过一个截止频率为1kHz的滤波器 消除共振峰的影响 然后在 P2 附近，从前 5 个样点到后 5 个样点的区间内，用自相关函数搜索整数基音周期，再用这个整数基音进行分数基音提取，候选基音 P3 及相应的归一化自相关值 当 r(P3) 0.6 ，说明基音周期的估计较精确，最后用低通滤波

59、残差信号进行基音周期倍数检测，即可得到最终的基音周期估计值。 当 r(P3) 0.6 ，LPC 残差信号中的基音信号可能被噪声破坏，或者该帧信号不平稳，用输入信号代替 LPC 残差信号在P2附近进行分数基音周期的搜索，得到新的 P3 和 r(P3)。如果新的自相关值仍然较小 r(P3) 0.55，说明该帧的基音周期存在突变。为了保持基音周期的慢时变特性，用长时平均基音周期 Pavg 作为最终的基音周期,106,MELP 声码器：分带话音分析,对 5 个子带，计算每个子带的分带话音强度 VbPi 用于脉冲/噪声成形滤波器 VbP1 = r(P2) 其他子带，VbPi 为 r(P2) 和带通信号包络相关值的较大值 如果 VbP1 较小，表示缺少低频结构清音/过渡音 如果VbP1 0.6 ，如果其他子带的话音强度大于 0.6，则该子带的话音强度被量化为 1；否则量化为 0,107,MELP 声码器：分带话音分析,例外： 如果 VbP1, VbP3, Vb