预测编码理论

1、第五章预测编码第五章预测编码本章内容本章内容v预测编码原理预测编码原理v预测编码理论基础预测编码理论基础v预测编码方法预测编码方法v预测编码的应用预测编码的应用一、预测编码原理v预测编码是数据压缩三大经典技术（统计编预测编码是数据压缩三大经典技术（统计编码、预测编码、变换编码）之一。预测编码码、预测编码、变换编码）之一。预测编码是建立在信号数据的相关性之上，较早用于是建立在信号数据的相关性之上，较早用于信源编码的一种技术。它根据某一模型，利信源编码的一种技术。它根据某一模型，利用以往的样本值对新样本值进行预测，以减用以往的样本值对新样本值进行预测，以减少数据在时间和空间上的相关性，达到压缩少数

2、据在时间和空间上的相关性，达到压缩数据的目的。数据的目的。一、预测编码原理 对于有记忆信源，信源输出的各个分量之间是对于有记忆信源，信源输出的各个分量之间是有统计关联的，这种统计关联性可以加以充分利用，有统计关联的，这种统计关联性可以加以充分利用，预测编码就是基于这一思想。预测编码就是基于这一思想。它不是直接对信源输它不是直接对信源输出的信号进行编码，而是将信源输出信号通过预测出的信号进行编码，而是将信源输出信号通过预测变换后再对预测值与实际值的差值进行编码，变换后再对预测值与实际值的差值进行编码，其原其原理图见下图。理图见下图。一、预测编码原理预测编码是利用信源的相关性来压缩码率的。预测编码

3、是利用信源的相关性来压缩码率的。v设信源第i瞬间的输出值为ui，而根据信源ui的前k(ki)个样值，给出的预测值为12(,)iiiikufuuu式中：f（）预测函数。f可以是线性也可以是非线性函数。则第i个样值的预测误差值为iiieuu根据信源编码定理，若直接对信源输出ui进行编码，则其平均码长 应趋于信源熵：uL( )( )log( ),iaiiH Up up uuU 若对预测变换后的误差值e进行编码，其平均码长 应趋于误差信号熵：euLLeL( )( )log( )iaiH Ep ep e 显然，从信息论观点，预测编码能压缩信源数码率的必要条件为由于信息熵是概率分布的泛函数，故概率分布越均

4、匀，熵越大；概率分布越不均匀，熵就越小，可以证明预测差值的概率分布比原始信号的概率分布要集中，所以H(E)H(U)，则上式成立。v从上述预测编码原理可以看出，实现预测编从上述预测编码原理可以看出，实现预测编码要进一步考虑下列三个方面的问题：码要进一步考虑下列三个方面的问题：v(1) 预测误差准则的选取；预测误差准则的选取；v(2) 预测函数的选取；预测函数的选取；v(3) 预测器输入数据的选取。预测器输入数据的选取。v（1）预测误差准则的选取：）预测误差准则的选取： 关于预测误差准则的选取，它是指预测误差所依关于预测误差准则的选取，它是指预测误差所依据的标准，目的是，使预测误差最小。目前大致可

5、据的标准，目的是，使预测误差最小。目前大致可采用下列采用下列4种类型准则种类型准则va. 最小均方误差（最小均方误差（MMSE）准则）准则最基本、最常最基本、最常用。用。vb. 功率包络匹配（功率包络匹配（PSEM）准则）准则仅次于仅次于MMSE。vc. 预测系数不变性（预测系数不变性（PCIV）准则）准则预测系数与输预测系数与输入信号统计特性无关，因而能对多种混合信号进行入信号统计特性无关，因而能对多种混合信号进行有效的预测。有效的预测。vd. 最大误差（最大误差（ME）准则）准则主要用于遥控数据压主要用于遥控数据压缩。缩。v（2） 预测函数的选取预测函数的选取 一般采用工程上比较容易实现的

6、线性预一般采用工程上比较容易实现的线性预测，预测精度与测，预测精度与K值大小有直接关系，值大小有直接关系，K越大，越大，精度越高，但设备越复杂。所以要根据设计精度越高，但设备越复杂。所以要根据设计要求及实际效果来确定。要求及实际效果来确定。 v3） 预测器输入数据的选取预测器输入数据的选取 指选取何处的原始数据作为预测器的依指选取何处的原始数据作为预测器的依据。一般可分为三类据。一般可分为三类:va. 直接从信源输出选取待测瞬间直接从信源输出选取待测瞬间i的前的前K位，位，作为预测器的依据。作为预测器的依据。vb. 误差函数的输出端反馈到预测器中的待测误差函数的输出端反馈到预测器中的待测瞬间瞬

7、间i位以前的位以前的K位。位。vc. 将将a、b相结合的噪声反馈型编码。相结合的噪声反馈型编码。 二、预测编码理论基础v预测的理论基础主要是估计理论。估计就是预测的理论基础主要是估计理论。估计就是用实验数据组成一个统计量作为某一物理量用实验数据组成一个统计量作为某一物理量的估值或预测值。的估值或预测值。v常用的估计方法有两种。常用的估计方法有两种。二、预测编码理论基础v若估值的数学期望等于原来的物理量，就称若估值的数学期望等于原来的物理量，就称这种估计为无偏估计。这种估计为无偏估计。v若估值与原物理量之间的均方误差最小，就若估值与原物理量之间的均方误差最小，就称之为最佳估计。用来预测时，这种估

8、计就称之为最佳估计。用来预测时，这种估计就成为最小均方误差的预测，所以也就认为这成为最小均方误差的预测，所以也就认为这种预测是最佳的。种预测是最佳的。三、预测编码方法3.1、线性预测编码v若利用前面的几个抽样值的线性组合来预测当前的若利用前面的几个抽样值的线性组合来预测当前的抽样值，则称为线性预测。抽样值，则称为线性预测。v求均方误差求均方误差 最小时的各系数最小时的各系数am的值。对上式两边的值。对上式两边as取偏导取偏导并置零后得并置零后得 2221122() ( 0rrrmmrrrkr kmE eE uuaaEua ua ua ua2iiDE uu()0,1,2,rrmE uu umk最

9、后得：最后得：就可求出均方误差为极小值时的各个线性预测就可求出均方误差为极小值时的各个线性预测系数。最简单的预测是令系数。最简单的预测是令 这成为零阶这成为零阶预测，常用的差值预测就属于这类。预测，常用的差值预测就属于这类。1iiuu前提：信源前提：信源ui是平稳随机过程是平稳随机过程最优线性预测最优线性预测3.2自适应预测方法v 对于非平稳或非概率性的信源对于非平稳或非概率性的信源,无法获得确无法获得确切和恒定的相关函数切和恒定的相关函数,不能构成线性预测函数不能构成线性预测函数,可采用可采用自适应预测自适应预测方法。方法。所谓自适应预测就所谓自适应预测就是预测器的预测系数不固定，随信源特性

10、而是预测器的预测系数不固定，随信源特性而有有所变化。如果充分利用信源的统计特性及所变化。如果充分利用信源的统计特性及其变化，重新调整预测系数，其变化，重新调整预测系数， 这样就使得预这样就使得预测器随着输入数据的变化而变化，从而得到测器随着输入数据的变化而变化，从而得到较为理想的输出。较为理想的输出。3.33.3利用预测值的编码方法利用预测值的编码方法v一类是用实际值与预测值之差进行编码一类是用实际值与预测值之差进行编码, ,也叫也叫差值编码。差值编码。v另一类方法是根据差值的大小决定是否需要另一类方法是根据差值的大小决定是否需要传送该信源符号。例如规定某一可容许值传送该信源符号。例如规定某一

11、可容许值N,当差值小于当差值小于N时可不传送。时可不传送。四、预测编码的应用（了解）v4.14.1差分脉冲编码调制差分脉冲编码调制DPCMDPCMv4.24.2 PCMPCM型型v4.34.3噪声反馈编码型噪声反馈编码型NFCNFCv4.44.4预测误差门限型预测误差门限型4.1差分脉冲编码调制DPCMv其工作原理如图所示。其工作原理如图所示。最简单的最简单的DPCM：增量调制，又称：增量调制，又称M，即增量差值的量，即增量差值的量化级定为化级定为2就是说差值为正就是说差值为正1；负；负0，每个差值只需，每个差值只需1bit。要减少量化失真则必须提高取样频率，不能再是常用的。要减少量化失真则必

12、须提高取样频率，不能再是常用的2fm，即，即 。 2smff这个阶梯电压这个阶梯电压通过低通滤波通过低通滤波器平滑后，就器平滑后，就得到了十分接得到了十分接近编码器原输近编码器原输入的模拟信号入的模拟信号4.2 PCM型vPCM的工作原理图如图所示。的工作原理图如图所示。a.PCM与与DPCM的区别：的区别：1）预测器输入的原始数据（）预测器输入的原始数据（ui与与xi）2）量化器的位置（环外与环内）量化器的位置（环外与环内）b. 特点：特点：1）由于它没有）由于它没有DPCM的反馈预测环路，因而的反馈预测环路，因而实现比较简单。实现比较简单。2）若将）若将PCM中的量化器改成一种哈夫曼编中的量化器改成一种哈夫曼编码器，则可更好地完成信源的数据压缩功能。码器，则可更好地完成信源的数据压缩功能。 4.3 噪声反馈编码(NFC)型vNFC型属于型属于PCM的改进型，其原理图如下：的改进型，其原理图如下：v是是PCM的改进型。的改进型。v通过增加一个反馈闭合环路可以将量化误差通过增加一个反馈闭合环路可以将量化误差（噪声）纳入闭合环路内，以达到压减量化（噪声）纳入闭合环路内，以达到压减量化误差的目的。误差的目的。v NFC实为实为PCM与与DPCM的混合型，开环线的混合型，开环线性预测，闭环减压量化误差。性预测，闭环减压量化误差。