第四章-信道率失真函数后续习题课.ppt

1、4.1 平均失真和信息率失真函数 4.2 离散信源和连续信源的R(D)计算,信息率失真函数,4.1.1 失真函数 4.1.2 平均失真 4.1.3 信息率失真函数R(D) 4.1.4 信息率失真函数的性质,4.1 平均失真和信息率失真函数,“消息完全无失真传送”的可实现性 信道编码定理：无论何种信道，只要信息率R小于信道容量C，总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于C的传输率来传送信息。反之，若RC，则传输总要失真。,4.1.1 失真函数,完全无失真传送不可实现： 实际的信源常常是连续的，信息率无限大，要无失真传送要求信息率R为无穷大； 实际信道带宽是有限的，所以信道容量

2、受限制。要想无失真传输，所需的信息率大大超过信道容量RC。,4.1.1 失真函数,实际中允许一定程度的失真 实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。 例如打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接收信号的带宽和分辨率是有限的。 放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性”，实际上只要每秒放映24幅静态画面。 随着科学技术的发展，数字系统应用得越来越广泛，这就需要传送、存储和处理大量的数据。为了提高传输和处理效率，往往需要对数据压缩，这样也会带来一定的信息损失。,4.1.1 失真函数,问题：在允许一定程

3、度的失真条件下，信源信息能够压缩到何种程度？至少需要多少比特的信息率才能描述信源？,香农信息率失真理论指出： 在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)。 R(D)是定义的信息率失真函数。 为了描述失真度D，我们先来引入失真函数。,4.1.1 失真函数,定义失真函数：,称d(xi,yj)为单个符号的失真函数。表示信源发出一个符号xi，在接收端再现yj所引起的误差或失真。,4.1.1 失真函数,失真矩阵 失真度还可表示成矩阵的形式 称d 为失真矩阵。它是nm阶矩阵。 如例题：41,4.1.1 失真函数,信源符号X取自0，1,编码器输出符号取自0,1,2, 规定失真函数为： d(

4、0,0)=d(1,1)=0 d(0,1)=d(1,0)=1，d(0,2)=d(1,2)=0.5, 则失真矩阵为：,失真函数是根据人们的实际需要和失真引起的损失、风险、主观感觉上的差别大小等因素人为规定的。,4.1.1 失真函数,4.1.2 平均失真,平均失真定义 d(xi , yj)只能表示两个特定的具体符号 xi和 yj之间的失真。 平均失真：平均失真为失真函数的数学期望，,4.1.2 平均失真,平均失真的意义 是在平均意义上，从总体上对整个系统失真情况的描述。它是信源统计特性p(xi) 、信道统计特性p(yj/xi )和失真度d(xi,yj)的函数 。当p(xi)，p(yj/xi )和d(

5、xi,yj)给定后，平均失真度就不是一个随机变量了，而是一个确定的量。 如果信源和失真度一定， 就只是信道统计特性的函数。信道传递概率不同，平均失真度随之改变。,保真度准则 人们所允许的失真指的都是平均意义上的失真。 保真度准则：规定平均失真度 不能超过某一限定的值D，即 ，则D就是允许失真的上界。该式称为保真度准则。,4.1.2 平均失真,4.1.3 信息率失真函数R(D),图42 将信源编码器看作信道 这样就可以用分析信道传输的方法来研究限失真信源编码问题。,4.1.3 信息率失真函数R(D),对于信息容量为C的信道传输信息传输率为R的信源时，如果RC,就必须对信源压缩，使其压缩后信息传输

6、率小于C，但同时要保证压缩所引入的失真不超过预先规定的限度D，所以信息压缩问题就是对于给定的信源，在满足保真度准则 下，使其R值尽可能小。 R 值就是所需要输出的有关信源X的信息量，对应到信道，即为接收端Y需要获得的有关X的信息量，亦是互信息I（X；Y）。 这样就将选择信源编码方法的问题转化为选择假想信道的问题，符号转移概率p(yj /xi)对应信道转移概率。,4.1.3 信息率失真函数R(D),试验信道 平均失真 是信源统计特性p(xi) 、信道统计特性p(yj/xi )和失真度d(xi,yj)的函数 。当p(xi)和d(xi,yj)给定后，则可以求出满足保真度准则 下的所有转移概率分布 p

7、ij，构成一个信道集合PD， 那么PD 称为D允许试验信道。,4.1.3 信息率失真函数R(D),信息率失真函数 在信源和失真度给定以后，PD是满足保真度准则 的试验信道集合，平均互信息I(X;Y)是信道传递概率p(yj /xi)的下凸函数，所以在PD中一定可以找到某个试验信道，使I(X;Y)达到最小，即 这个最小值R(D)称为信息率失真函数，简称率失真函数。 对无记忆离散信源，有：,4.1.3 信息率失真函数R(D),应当注意： 在研究R(D)时，我们引用的条件概率 并没有实际信道的含义，只是为了求平均互信息的最小值而引用的、假想的可变试验信道。实际上这些信道反应的仅是不同的有失真信源编码，

8、或称信源压缩。,4.1.3 信息率失真函数R(D),例如： 司令员发布命令：“请各部队官兵做好武器、弹药和行装等方面的准备，于今日晚上十一时准时向对面山上的敌军发动进攻，希望各部队做好思想政治工作，一定要取得这次战役的全面胜利。” 通信兵：“今晚十一点发动进攻，必夺胜利。”,结果是：取得了胜利。 说明：信源所需输出信息率是可以压缩的。,4.1.3 信息率失真函数R(D),例题42：,4.1.3 信息率失真函数R(D),1. R(D)的定义域(D的取值范围) （1）因为D是非负函数d(x,y)的数学期望，因此D也是非负函数，其下界为0。此时，意味着不允许失真，所以信道的信息率等于信源的熵，即,4

9、.1.4 信息率失真函数的性质,（2）平均失真D也有一上界值 。根据R(D)的定义，R(D)是在一定的约束条件下，平均互信息量I(X;Y)的最小值，其下界为0。R(D)和D的关系曲线一般如下图所示。当D大到一定程度，R(D)就达到其下界0，我们定义这时的D为 。,4.1.3 信息率失真函数R(D),的计算： 设当平均失真 时， R(D)以达到其下界0。当允许 更大失真时，即 时， R(D)仍只能继续是0。因为当 X和Y统计独立时，平均互信息 I(X;Y)=0，可见当 时， 信源X和接收符号Y已经统计独立了， 因此 与 xi 无关。,4.1.3 信息率失真函数R(D),因此， 就是在R(D)=0

10、的条件下，看在什么 分布下，能够得到的平均失真D的最小值，即,4.1.3 信息率失真函数R(D),也就是说要求d(y)的数学期望最小值。 这个最小值是一定存在的。比如 这样分布：当某一个 使得 d(yj) 为最小时，就取 ，而其余的 ，此时求得的d(y)的数学期望一定是最小的。此时，有,例题43：设输入输出符号表为X=Y=0,1，输入概率分布为 ，失真矩阵为,4.1.3 信息率失真函数R(D),求 ， 。 解：,4.1.3 信息率失真函数R(D),4.1.3 信息率失真函数R(D),例题44 输入输出符号表同上题，失真矩阵为 求 ， 。 解：,4.1.4 信息率失真函数的性质,结 论,R(D)

11、的定义域为 (Dmin, Dmax)； 一般情况下Dmin =0， R(Dmin)=H(X)； 当DDmax时， R(D)=0； 当DminDDmax时， 0R(D)H(X)。,2. R(D)的下凸性和连续性 （1）率失真函数对允许平均失真度的下凸性 对任一01和任意平均失真度D，DDmax，有 R D+(1 )D R(D)+(1 )R(D),4.1.4 信息率失真函数的性质,（2）率失真函数的连续型 由于函数R(D)具有凸状性，保证了它在定义域内是连续的。,R(D)的单调递减性 在DminDDmax范围内R(D)单调递减。 允许的失真越大，所要求的信息率就可以越小。根据R(D)的定义，他是在

12、平均失真度小于或等于允许失真度D的所有试验信道集合PD中，取I(X;Y)的最小值。 当允许失真D扩大，则 PD 的集合也扩大，当然仍然包含原来满足条件的所有信道。这是在扩大了的PD集合中找I(X;Y)的最小值，显然或者是最小值不变，或者是变小了，所以R(D)是非增的。,4.1.4 信息率失真函数的性质,4.1.4 信息率失真函数的性质,图说明： R(0) = H(X) =H(P) ， R(Dmax) =0， 决定了曲线边缘上的两个点； 在0和Dmax之间， R(D)是单 调递减的下凸函数； 在连续信源时，当D0时， R(D) ，曲线将不与 R(D)轴相交。,给定信源概率p(xi)和失真函数d(

13、x,y)，就 可以求出该信源的R(D)函数。它是在约束 条件下，即保真度准则下，求极小值的问题。 求解的一般方法有变分法、拉氏乘子法、凸规划方法等等。 几种特殊情况下的R(D),4.2 离散信源和连续信源的R(D)计算,4.2 离散信源和连续信源的R(D)计算,4.2 离散信源和连续信源的R(D)计算,限失真，D0.1时，压缩比,1）信源概率分布越不均匀，压缩比越大； 2) D越大，压缩比也越大。,4.2 离散信源和连续信源的R(D)计算,定理：对任一连续非正态信源，若已知其方差为 ， 熵为 ，并规定失真函数为 ，则其 R(D)满足下列不等式：,可见，在平均功率2受限条件下，正态分布R(D)函

14、数值最大，它是其他一切分布的上限值，也是信源压缩比中最小的。所以人们往往将它作为连续信源压缩比中最保守的估计值。,4.2 离散信源和连续信源的R(D)计算,分析PCM编码及其压缩潜力 :,现有PCM编码是8KHz采样率，8位编码，8*8=64Kb/s，它认为样点间独立，且每个样点8bit，这时信噪比可达到入公用网26dB的要求，在语音编码中信噪比是 ,其中D为噪声（允许失真）功率，由正态分布的信息率失真函数的公式： 实际语音的R(D)值要小于4.3bit，因为语音不遵从正态分布。考虑样点间相关性。,4.2 离散信源和连续信源的R(D)计算,作业： p75 4.1,本章总结,问题：在允许一定程度

15、的失真条件下，信源信息能够压缩到何种程度？至少需要多少比特的信息率才能描述信源？,香农信息率失真理论指出： 在允许一定失真度D的情况下，信源输出的信息率可压缩到R(D)。,本章总结,定义失真函数：,本章总结,失真矩阵 失真度还可表示成矩阵的形式 称d 为失真矩阵。它是nm阶矩阵。,本章总结,本章总结,平均失真定义： 平均失真为失真函数的数学期望，,保真度准则 人们所允许的失真指的都是平均意义上的失真。 规定平均失真度 不能超过某一限定的值D，即 ，则D就是允许失真的上界。该式称为保真度准则。,本章总结,图42 将信源编码器看作信道 这样就可以用分析信道传输的方法来研究限失真信源编码问题。,本章总结,试验信道 平均失真 是信源统计特性p(xi) 、信道统计特性p(yj/xi )和失真度d(xi,yj)的函数 。当p(xi)和d(xi,yj)给定后，则可以求出满足保真度准则 下的所有转移概率分布 pij，构成一个信道集合PD， 那么PD 称为D允许试验信道。,本章总结,结 论,R(D)的定义域为 (Dmin, Dmax)； 一般情况下Dmin