电子科技大学-信息论课件及历年考题

例：若有一个离散、等概率单消息（或无记忆）二元信源：,且采用汉明距离作为失真度量标准：即有一具体信源编码方案为：N个码元中允许错一个码元，实现时N个码元仅送N-1个，剩下一个不送，在接收端用随机方式决定（为掷硬币方式）。

阴影范围表示实际信源编码方案与理论值间的差距，我们完全可以找到更好，即更靠近理论值，缩小阴影范围的信源编码，这就是工程界寻找好的信源编码的方向和任务。二元信源的理论信息率失真函数二元信源的实际信息率失真函数例：设信源具有一百个以等概率出现的符号a1，a2，…，a99，a100，并以每秒发出一个符号的速率从信源输出。试求在允许失真度D＝0.1条件下，传输这些消息所需要的最小信息率。

信源a1,a2,...,a99,a100试验信道{p(yj|xi)}无扰离散信道失真信源a1～a100a1～a90(a)解：在不失真传输条件下的信息率R为：因为允许失真度D＝0.1，可设想信源100个符号经过假想的试验信道只输出a1，a2，…，a89，a90，即输出90个符号，而余下的a91，…，a100都用a90代替

bit/sXYa1a2a90a91a100a90a2a1

除a1，a2，…，a89，a90对应位置上的元素为0外，其余元素为1或∞（假想试验信道传输概率P(yj|xi)为零时，所对应的dij为无限大）

该失真信源的组合方案的平均失真函数为：上式中：

X1＝Y1＝{a1，a2，…，a89，a90}，属于不失真的符号集合，对应dij＝0，其中i,j＝1，2，…，90

X2＝{a91，…，a100}，Y2＝{a90}，属于失真集合，对应dij＝1，其中i＝91，91，…，100，j＝90

据题意，P(xi)＝1/100（i＝1，2，…，100）所以得平均失真函数：

可见，这样设想的失真信源的组合方案能满足对失真度的要求。

该试验信道为无噪有损信道，即H(Y|X)=0,所以

R=I(X;Y)=H(Y)-H(Y|X)=H(Y)

在试验信道的输出端Y，a1，a2，…，a89的出现概率仍为1/100,而a90的出现概率P(a90)＝11/100，可知相应的信息传输速率为：

比较R’与无失真传输条件下的信息率R,可知在D＝0.1的条件下，所需信息率减小了6.644－6.264＝0.38bit/s。同理，在D＝0.5的条件下(假定后50个符号均产生失真，这后50个符号均用a50来代替)信息率R”为：

与无失真传输条件下的信息率R想比较减小6.644－3.751＝2.893bit/s。信道容量与信息率失真函数的比较(1)求极值问题平均互信息I(X;Y)是信源概率分布p(xi)(i=1,2,…,n)或概率密度函数p(x)的上凸函数。根据上凸函数定义，如果I(X;Y)在定义域内对p(xi)或p(x)的极值存在，则该极值一定是极大值。信道容量就是在固定信道情况下，求平均互信息极大值的问题，即

I(X;Y)又是信道转移概率分布p(yj/xi)(i=1,2,…,n;j=1,2,…,m)或条件概率密度函数p(y/x)的下凸函数，因此在满足保真度准则条件下，I(X;Y)对p(yj/xi)或p(y/x)的条件极值若存在，则一定是极小值。信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的问题，即信道容量与信息率失真函数的比较信道容量与信息率失真函数的比较(2)特性信道容量C一旦求出后，就只与信道转移概率p(yj/xi)或条件概率密度p(y/x)有关，反映信道特性，与信源特性无关；由于平均互信息与信源的特性有关，为了排除信源特性对信道容量的影响，采用的做法是在所有的信源中以那个能够使平均互信息达到最大的信源为参考，从而使信道容量仅与信道特性有关，信道不同，C亦不同。信息率失真函数R(D)一旦求出后，就只与信源概率分布p(xi)或概率密度函数p(x)有关，反映信源特性，与信道特性无关。由于平均互信息与信道的特性有关，为了排除信道特性对信息率失真函数的影响，采用的做法是在所有的信道中以那个能使平均互信息达到最小的信道为参考，从而使信息率失真函数仅仅与信源特性有关，信源不同，R(D)亦不同。(3)解决的问题信道容量是为了解决通信的可靠性问题，是信息传输的理论基础，通过信道编码增加信息的冗余度来实现；信息率失真函数是为了解决通信的有效性问题，是信源压缩的理论基础，通过信源编码减少信息的冗余度来实现。例：删除信源X取值【0，1】，Y取值【0，1，2】。而失真矩阵为求Dmin。满足最小失真度的试验信道是个无噪无损信道，转移矩阵为在这个无噪无损信道中，可得例：例：已知信源的消息集合X中包含x0和x1两个消息，并设它们的概率为P(X1)＝p<1/2，P(X2)＝1－p，而信宿符号集合Y也包含两个符号y0和y1

，失真矩阵为，试求Dmax

解：接收符号y0的平均失真函数为：接收符号y1的平均失真函数为：因为p<1/2

所以满足这个失真度的试验信道为：具有等概率、对称失真信源的R(D)计算例1：有一个二元等概率平稳无记忆信源X，信宿为Y，且失真函数为：

试求其R(D)=?这时，由概率归一性，可进一步假设：可见：代入失真度公式，有

再将它代入转移概率公式中：

由：，得：

则：例2：若有一n元等概率、平稳无记忆信源X，且失真函数的消息传输图和失真矩阵分别为图所示：试求R(D)信道矩阵为：将A代入信道矩阵中，有：输出概率信息率失真函数无失真时，即D=0；；有失真时，假设D=0.2①K2>K4>K8，进制n越小，压缩比K越大；②随着允许失真度D的增加，压缩比K随之增加，但相对关系不变引用拉氏乘子法。约束条件为下列(n+1)组等式：

R(D)的参量表达式求互信息的极小值。

例：设要把16个等概率出现的消息构造成线性分组码，设信息位为k，校验位为r,码子长度为n=k+r。解：从题意可知，16＝2k

，k＝4。为了纠正一个错误，r＝2，即n＝4+2＝6。这种编码方式不行，校验矩阵H只有2行，6列，无法排出各不相