ch3多媒体技术.ppt

1、多媒体技术基础,第三章：话音编码（Speech Coding）,主要内容,话音的形成原理 话音编译码器原理 脉冲编码调制（PCM） 增量调制与自适应增量调制 自适应差分脉冲编码调制（ADPCM） 子带编码 其他编码,话音的形成原理,肺中的空气受到挤压形成气流，气流通过声门（声带）沿着声道（由咽、喉、口腔等组成）释放出去，就形成了话音。 气流、声门可以等效为一个激励源，声道可以等效为一个时变滤波器（共振峰）。 话音信号具有很强的相关性（长期相关、短期相关）。,话音的分类,浊音（voiced sounds）：声道打开，声带在先打开后关闭，气流经过使声带要发生张驰振动，变为准周期振动气流。浊音的激励

2、源被等效为准周期的脉冲信号。 清音（unvoiced sounds）：声带不振动，而在某处保持收缩，气流在声道里收缩后高速通过产生湍流，再经过主声道（咽、口腔）的调整最终形成清音。清音的激励源被等效为一种白噪声信号。 爆破音（plosive sounds）：声道关闭之后产生压缩空气然后突然打开声道所发出的声音。,话音技术的研究热点,话音压缩编码（Speech Coding） 话音识别（Speech Recognition） 文本话音转换（Text To Speech）,话音编译码器,A/D,话音 编码,信道 编码,信道,信道 译码,话音 译码,D/A,衡量话音编码器的参数,数据输出速率 延迟时

3、间 话音质量 价格（实现代价）,多媒体技术,2006年,中山大学信息科学与技术学院,语音质量等级划分,广播质量：带宽为7000Hz的高质量话音 长途电话质量：带宽为3400Hz，信噪比为30db，有失真 通信质量：完全可以听懂，但和长途电话质量相比有明显的失真。 合成质量：8090的可懂度，听起来象机器讲话，失去了讲话者的特征,多媒体技术,2006年,中山大学信息科学与技术学院,话音编译码器的分类,波形编译码器（waveform coder）：不利用生成话音的信号的任何知识，将话音视为一种普通的声音，直接对波形信号进行采样和量化。例如PCM、DPCM、ADPCM等。 音源编译码器（Source

4、 coder）：也叫参数编译码器、声码器（vocoder）。它从话音波形信号中提取话音生成模型的参数，使用这些参数通过话音生成模型重构出话音。 混合编译码器（Hybrid coder）：综合使用上述两种技术。使用的激励信号波形尽可能接近于原始话音信号的波形。例如CELP。,多媒体技术,2006年,中山大学信息科学与技术学院,三种话音编译码器的对比,语音信号的冗余度,幅度非均匀分布 样本之间的相关性 周期之间的相关性 基音之间的相关性 静止系数（话音间隙） 长期相关性（long term correlation）,脉冲编码调制（PCM）,Pulse Code Modulation,PCM的量化方

5、式,均匀量化与非均匀量化,非均匀量化,对小信号采用小的量化间隔，对大信号采用大的量化间隔，这样可以用较少的位数编码。 对大信号来说，虽然绝对量化误差较大，但是因为：（1）大信号出现的机会不多，（2）信噪比（相对误差）与小信号是一致的，所以对总的话音质量影响不大。 非均匀量化也是一种压缩。,律压扩与A律压扩, 律( -Law)压扩(G.711)主要用在北美和日本等地区的数字电话通信中。,x 为输入信号，规格化为1= x =1 m 为确定压缩量的参数，它反映最大量化间隔和最小量化间隔之比，取100 = m = 500。,律压扩与A律压扩,0 = |x| = 1/A,1/A = |x| = 1,A律

6、(A-Law)压扩(G.711)主要用在欧洲和中国大陆等地区的数字电话通信中,对于采样频率为8 kHz，样本精度为13位、14位或者16位的输入信号，使用m 律压扩编码或者使用A律压扩编码，经过PCM编码器之后每个样本的精度为8位，输出的数据率为64 kb/s。这个数据就是CCITT推荐的G.711标准。,PCM与频分多路复用（FDM）,这种方法是把传输信道的频带分成好几个窄带，每个窄带传送一路信号。例如，一个信道的频带为1400 Hz，把这个信道分成4个子信道(subchannels)：820990 Hz, 12301400 Hz, 16401810 Hz和20502220 Hz，相邻子信道

7、间相距240 Hz，用于确保子信道之间不相互干扰。每对用户仅占用其中的一个子信道。这是模拟载波通信的主要手段。,PCM与时分多路复用（TDM）,这种方法是把传输信道按时间来分割，为每个用户指定一个时间间隔，每个间隔里传输信号的一部分，这样就可以使许多用户同时使用一条传输线路。这是数字通信的主要手段。例如，话音信号的采样频率f8000 Hz，它的采样周期125 m s，这个时间称为1帧(frame)。在这个时间里可容纳的话路数有两种规格：24路制和30路制。,差分脉冲编码调制（DPCM),关键在于预测器与量化器的设计,量化器,预测器,xk,ek,ek,xk,xk,-,自适应预测,逆量化器,ek,

8、产生误差,差分脉冲编码调制（DPCM),逆量化器,预测器,ek,ek,xk,xk,译码过程,预测方程式,线性预测： 如果ai是常数，则为时不变线性预测，否则为自适应线性预测 最简单的预测方程：,最简单的DPCM,多媒体技术,2006年,中山大学信息科学与技术学院,增量调制(M),增量调制 (delta modulation，DM) 是一种预测编码技术，是对实际的采样信号与预测的采样信号之差的极性进行编码，将极性变成“0”和“1”这两种可能的取值之一。如果实际的采样信号与预测的采样信号之差的极性为“正”，则用“1”表示；相反则用“0”表示。DM编码系统又称为“1位系统”。,从图中可以看到，在开始

9、阶段增量调制器的输出不能保持跟踪输入信号的快速变化，这种现象就称为增量调制器的“斜率过载”(slope overload)。一般来说，当输入信号的变化速度超过反馈回路输出信号的最大变化速度时，就会出现斜率过载。之所以会出现这种现象，主要是反馈回路输出信号的最大变化速率受到量化阶大小的限制，因为量化阶的大小是固定的。 从图中还可以看到，在输入信号缓慢变化部分，即输入信号与预测信号的差值接近零的区域，增量调制器的输出出现随机交变的“0”和“1”。这种现象称为增量调制器的粒状噪声(granular noise)，这种噪声是不可能消除的。 在输入信号变化快的区域，斜率过载是关心的焦点，而在输入信号变化

10、慢的区域，关心的焦点是粒状噪声。为了尽可能避免出现斜率过载，就要加大量化阶，但这样做又会加大粒状噪声；相反，如果要减小粒状噪声，就要减小量化阶，这又会使斜率过载更加严重。,自适应增量调制(ADM),CVSD（连续可变斜率增量调制）： 假定增量调制器的输出为1和0，每当输出不变时量化阶增大50%，使预测器的输出跟上输入信号；每当输出值改变时，量化阶减小50% 如果编码器的输出连续出现三个相同的值，量化阶就加上一个大的增量；反之，就加一个小的增量。,自适应脉冲编码调制（APCM）,APCM是一种根据输入信号幅度大小自动改变量化阶大小的一种波形编码技术。,自适应差分脉冲编码调制,自适应差分脉冲编码调

11、制（ADPCM）综合了APCM的自适应特性和DPCM系统的差分特性 利用自适应的思想改变量化阶的大小，即使用小的量化阶(step-size)去编码小的差值，使用大的量化阶去编码大的差值, 使用过去的样本值估算下一个输入样本的预测值，使实际样本值和预测值之间的差值总是最小。,自适应差分脉冲编码调制,ADPCM是利用样本与样本之间的高度相关性和量化阶自适应来压缩数据的一种波形编码技术，CCITT为此制定了G.721推荐标准，这个标准叫做32 kb/s ADPCM。在此基础上还制定了G.721的扩充推荐标准G.723，使用该标准的编码器的数据率可降低到40 kb/s和24 kb/s。 G.721 的输入信号是G.711 PCM代码，它的数据率为64 kb/s。而G.721 ADPCM的输出是用4位表示的差分信号，它的采样率仍然是8 kHz，它的数据率为32 kb/s，这样就获得了21的数据压缩。,子带自适应差分脉冲编码调制,G.722编码标准,G.722是CCITT推荐的音频信号编码译码标准。 G.722标准的数据率为64 kb/s，采样频率由8 kHz提高到16 kHz，是G.711 PCM采样率的2倍，因而要被编码的信号频率由原来的3.4 kHz扩展到7 kHz。这就使音频信号的质量有很大改善，由数字电话的话音