限失真信源编码.ppt

第七章 限失真信源编码,本章需要掌握的内容：,失真测度 率失真函数 限失真信源编码定理,第一节 失真测度,一.失真函数,失真函数-用一个非负函数d (xi ,yj)表示当信源发出信息 xi ，而信宿收到信息yj 的失真度的定量描述,失真矩阵d,注意:-失真函数的形式是依实际情况人为决定的.,最常用的失真函数有：,矢量失真函数,例7-1 假定离散矢量信源N=3，输出矢量序列为X=X1X2X3，其中Xi , i=1,2,3的取值为0,1，经信道传输后的输出为Y=Y1Y2Y3 ，其中Yj , j=1,2,3的取值为0,1.定义失真函数为 d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1,求矢量失真矩阵dN。,解：由矢量失真函数的定义得：,类似可以得到其他失真函数的值，则矢量失真矩阵为,-用来估计全体信源发出的信息与接收信息之间的失真程度。,二.平均失真函数,定义：失真函数的数学期望定义为平均失真函数（平均失真度）,矢量平均失真函数为：,：表示第i个位置上符号的平均失真函数。,例7-2 在语音线谱频率参数的矢量量化中，引入失真函数d(X,Y) ，该失真函数反映用码字Y代替线谱频率参数X时付出的代价。平均失真测度为失真函数的数学期望值。通常我们采用加权欧氏失真测度：,实验证明该方法比均方误差失真每帧节省2个比特以上,第二节 信息率失真函数,在采样率为8kHz的语音信号的子带编码中，如果采用小波变换把语音信号分解为4个子带，即24kHz，1kHz2kHz，5001000Hz，0500Hz。,一.保真度准则,规定平均失真度为D，则信源压缩后的平均失真度 的准则为保真度准则。,当失真函数及信源给定后，选择适当信道，使其平均失真度 满足保真度准则 。所有满足保真度准则的信道，称为D失真允许试验信道，记作,在D允许信道中可以寻找一个信道，使得给定的信源经过此信道传输时，其信道传输率达到最小，这个最小值定义为信息率失真函数，记为：,二.信息率失真函数R(D),含义：率失真函数是在给定信源、规定失真函数后，在满足保真度准则的前提下，为了再现信源信息，信宿从信源必须获取的最小平均信息量。也就是信源必须传输给信宿的最小信息率。,解：由信源概率分布可求出信源熵为,此时信源编码器的输出信息率为,按照最大的失真度来进行编码，即平均失真度,也就是说，当收到100个符号，允许其中有50个符号发生错误。设想采用下面的编码方法：,用信道表示如下：,该信道的平均失真度为：,由平均互信息的公式可知：,该编码方法相当于一个确定信道，则,信道输出概率分布为：,则输出熵为,平均互信息：,即采用上面的编码方法后的信息率,比较率失真函数和该信道的信息率有：,说明该编码方法不是最好的编码方法,。,从两个方面应用这个率失真函数：,在WI语音压缩编码中，线谱频率的量化采用矢量量化，它是从第二个方面应用率失真函数来指导的。目前，每帧语音的线谱频率只需要20比特来表示就能达到透明量化质量。,-连续信源,三.率失真函数R(D)的定义域,信道传输的信息量等于信源的熵，即：,1.,-离散信源,2.,的定义域为：,如何求解出 呢？,此时的平均失真为,四.率失真函数的数学特性,1.下凸性,。,2.R(D)是关于D的单调递减函数,结论：,五.R（D）函数的计算,设信源的输入序列为,信源编码器的输出序列为,规定失真函数为,的计算是在约束条件,通常情况下，引入拉格朗日乘法，引入乘子s和,将上述条件极值问题转化为无条件极值问题：,（1）计算,（i=1,2,.,n),（2）计算,（3）计算,（4）计算,1）率失真函数的参量算法,例7-5：设信源输入符号集为(0,1)，其中 。失真函数定义为 ， ，设输出符号集为(0,1)，允许的失真度为D，求率失真函数R(D)。,则有,解出,则有,解出,得到平均失真度为,则解出参量s为,2）率失真函数的迭代算法,A：迭代计算公式,B：迭代计算步骤,假定S1为以相当大的负值，选定起始传递概率,可取,。将选定的,代入,得到,。,将,代入,，得到,再将,代入,，得到,当,和,的差别小于预先给定的值，取,或,作为,的近似值,选略小一些的负数s2，重复上述迭代过程，得到对应于s2的,重复上述过程，直到,逼近零,重复前面的步骤，计算出第k次和第k+1次的,和,第三节 限失真信源编码定理,限失真信源编码定理： 设离散无记忆信源X的信息率失真函数为R(D)，当信息率R R(D)时，只要信源序列长度L足够长，一定存在一种编码方法，其译码失真小于或等于D+，为任意小的正数；反之，若R R(D) ，则无论采用什么样的编码方法，其译码失真必定大于D。 定理指出，在失真限度内使信息率任意接近R(D)的编码方法存在。然而，要使信息率小于R(D) ，平均失真一定超过失真限度D。 说明:R(D)且允许平均失真度情况下，信源信息压缩的下限值。,第四节 常用限失真信源编码方法简介,一.标量量化,设门限为：,则：,通过量化器传输的信息率,量化带来的平均失真D为,设有信源序列,可令预测值为,二.预测编码,预测是用过去值预测未来值,并对它与实际值之差进行编码，达到进一步压缩码率的目的。,预测编码是利用信源的相关性来压缩码率的，对于独立信源，预测就没有可能。,线性预测是预测函数为各已知信源符号的线性函数，即,三.变换编码