电子科技大学 信息论及历年考题PowerPoint 演示文稿

1、12110)()(xpxpjijiijxxxxd当当,10例：若有一个离散、等概率单消息（或无记忆）二元信源：例：若有一个离散、等概率单消息（或无记忆）二元信源： ,且采用汉明距离作为失真度量标准：即且采用汉明距离作为失真度量标准：即有一具体信源编码方案为：有一具体信源编码方案为：N个码元中允许错一个码元，实现时个码元中允许错一个码元，实现时N个码元仅个码元仅送送N-1个，剩下一个不送，在接收端用随机方式决定（为掷硬币方式）。个，剩下一个不送，在接收端用随机方式决定（为掷硬币方式）。2 阴影范围表示实际信源编码方案阴影范围表示实际信源编码方案与理论值间的差距，我们完全可以与理论值间的差距，我们

2、完全可以找到更好，即更靠近理论值，缩小找到更好，即更靠近理论值，缩小阴影范围的信源编码，这就是工程阴影范围的信源编码，这就是工程界寻找好的信源编码的方向和任务。界寻找好的信源编码的方向和任务。1()( )()2R DHH D二元信源的理论信息率失真函数二元信源的理论信息率失真函数()12R DD 二元信源的实际信息率失真函数二元信源的实际信息率失真函数3例：设信源具有一百个以等概率出现的符号例：设信源具有一百个以等概率出现的符号a a1 1， a a2 2， a a9999，a a100100，并以每秒，并以每秒发出一个符号的速率从信源输出。试求在允许失真度发出一个符号的速率从信源输出。试求在

3、允许失真度D D0.10.1条件下，传输这些条件下，传输这些消息所需要的最小信息率。消息所需要的最小信息率。 信源a1, a2,., a99, a100试验信道p(yj|xi)无扰离散信道失真信源a1a100a1a90(a)4解：在不失真传输条件下的信息率解：在不失真传输条件下的信息率R R为：为： 因为允许失真度因为允许失真度D D0.10.1，可设想信源，可设想信源100100个符号经过假想的试验个符号经过假想的试验信道只输出信道只输出a a1 1， a a2 2， a a8989，a a9090，即输出，即输出9090个符号，而余下的个符号，而余下的a a9191， a a100 100

4、 都用都用a a9090代替代替 ()log1006.6441H XRbbit/sbit/sXYa1a2a90a91a100a90a2a15 除除a a1 1， a a2 2， a a8989，a a9090对应位置上的元素为对应位置上的元素为0 0外，其余元素外，其余元素为为1 1或或（假想试验信道传输概率假想试验信道传输概率P(P(yj|xi) )为零时，所对应的为零时，所对应的d dij为无限大）为无限大） 1290919210012909192100000111aaaaaaaaaDaaa失真矩阵：6该失真信源的组合方案的平均失真函数为：该失真信源的组合方案的平均失真函数为： 2211)

5、|()()|()()|()(YXijijiYXijijiXYijijidxyPxPdxyPxPdxyPxPd上式中：上式中： X1Y1a1， a2， a89，a90，属于不失真的符号集合，属于不失真的符号集合，对应对应dij0，其中，其中i,j1，2，90 X2a91， a100，Y2a90，属于失真集合，对应，属于失真集合，对应dij1，其中其中i91，91，100，j907 据题意，据题意，P(P(xi) )1/1001/100（i i1 1，2 2，100100） 所以得平均失真函数：所以得平均失真函数： 可见，这样设想的失真信源的组合方案能满足对失真度的要可见，这样设想的失真信源的组合

6、方案能满足对失真度的要求。求。 22()(|)1101 10.1100ijiijX YdP xP yxd 8 该试验信道为无噪有损信道，即该试验信道为无噪有损信道，即H(Y|X)=0,H(Y|X)=0,所以所以 R=I(X;Y)=H(Y)-H(Y|X)=H(Y)R=I(X;Y)=H(Y)-H(Y|X)=H(Y) 在试验信道的输出端在试验信道的输出端Y Y，a a1 1， a a2 2， a a8989的出现概率仍为的出现概率仍为1/1001/100, ,而而a a9090的出现概率的出现概率P(aP(a9090) )11/10011/100，可知相应的信息传输速，可知相应的信息传输速率为：率为

7、： 899019011()log()log()()11110089log100log10010011log1000.11log116.264 (/ )iiiRP aP aP aP abits 9 比较比较 R与无失真传输条件下的信息率与无失真传输条件下的信息率R ,R ,可知在可知在D D0.10.1的的条件下，所需信息率减小了条件下，所需信息率减小了6.6446.6446.2646.2640.38 bit/s0.38 bit/s。 同理，在同理，在D D0.50.5的条件下的条件下( (假定后假定后5050个符号均产生失真，这后个符号均产生失真，这后5050个符号均用个符号均用a a5050

8、来代替来代替) )信息率信息率R”为：为： 495015011()log()log()()15110049log100log10010051log1000.51log513.751(/ )iiiRP aP aP aP abit s 与无失真传输条件下的信息率与无失真传输条件下的信息率R R想比较减小想比较减小 6.6446.6443.7513.7512.893 bit/s2.893 bit/s。10信道容量与信息率失真函数的比较11(1) 求极值问题求极值问题平均互信息平均互信息I(X;Y)是信源概率分布是信源概率分布p(xi)(i=1,2,n)或概率或概率密度函数密度函数p(x)的上凸函数。

9、根据上凸函数定义，如果的上凸函数。根据上凸函数定义，如果I(X;Y)在定在定义域内对义域内对p(xi)或或p(x)的极值存在，则该极值一定是极大值。信的极值存在，则该极值一定是极大值。信道容量就是在固定信道情况下，求平均互信息极大值的问题，道容量就是在固定信道情况下，求平均互信息极大值的问题，即即 I(X;Y)又是信道转移概率分布又是信道转移概率分布p(yj/xi)(i=1,2,n;j=1,2,m)或条或条件概率密度函数件概率密度函数p(y/x)的下凸函数，因此在满足保真度准则条的下凸函数，因此在满足保真度准则条件下，件下，I(X;Y)对对p(yj/xi)或或p(y/x)的条件极值若存在，则一

10、定是极的条件极值若存在，则一定是极小值。信息率失真函数就是在试验信道（满足保真度准则的信小值。信息率失真函数就是在试验信道（满足保真度准则的信道）中寻找平均互信息极小值的问题，即道）中寻找平均互信息极小值的问题，即 (|)()min(; )jiDP y xPR DI X Y()max (; )ip xCI X Y信道容量与信息率失真函数的比较信道容量与信息率失真函数的比较12信道容量与信息率失真函数的比较信道容量与信息率失真函数的比较(2)特性特性信道容量信道容量C一旦求出后，就只与信道转移概率一旦求出后，就只与信道转移概率p(yj/xi)或条件概或条件概率密度率密度p(y/x)有关，反映信道

11、特性，与信源特性无关；由于平均有关，反映信道特性，与信源特性无关；由于平均互信息与信源的特性有关，为了排除信源特性对信道容量的影互信息与信源的特性有关，为了排除信源特性对信道容量的影响，采用的做法是在所有的信源中以那个能够使平均互信息达响，采用的做法是在所有的信源中以那个能够使平均互信息达到最大的信源为参考，从而使信道容量仅与信道特性有关，信到最大的信源为参考，从而使信道容量仅与信道特性有关，信道不同，道不同，C亦不同。亦不同。信息率失真函数信息率失真函数R(D)一旦求出后，就只与信源概率分布一旦求出后，就只与信源概率分布p(xi)或概率密度函数或概率密度函数p(x)有关，反映信源特性，与信道

12、特性无关。有关，反映信源特性，与信道特性无关。由于平均互信息与信道的特性有关，为了排除信道特性对信息由于平均互信息与信道的特性有关，为了排除信道特性对信息率失真函数的影响，采用的做法是在所有的信道中以那个能使率失真函数的影响，采用的做法是在所有的信道中以那个能使平均互信息达到最小的信道为参考，从而使信息率失真函数仅平均互信息达到最小的信道为参考，从而使信息率失真函数仅仅与信源特性有关，信源不同，仅与信源特性有关，信源不同，R(D)亦不同。亦不同。13(3) 解决的问题解决的问题信道容量是为了解决通信的可靠性问题，是信息传输的理信道容量是为了解决通信的可靠性问题，是信息传输的理论基础，通过信道编

13、码增加信息的冗余度来实现；论基础，通过信道编码增加信息的冗余度来实现；信息率失真函数是为了解决通信的有效性问题，是信源压信息率失真函数是为了解决通信的有效性问题，是信源压缩的理论基础，通过信源编码减少信息的冗余度来实现。缩的理论基础，通过信源编码减少信息的冗余度来实现。14例：删除信源例：删除信源X取值取值【0，1】，Y取值取值【0，1，2】。而失真矩阵为。而失真矩阵为求求Dmin。min1( )min ( ,)( ) 00nniijijiiDp xd x yp x满足最小失真度的试验信道是个无噪无损信道，转移矩阵为满足最小失真度的试验信道是个无噪无损信道，转移矩阵为100010Q在这个无噪无

14、损信道中，可得在这个无噪无损信道中，可得(; )()I X YH X( / )(0)min (; )()Dp y xPRI X YH X15例：例：16例：已知信源的消息集合例：已知信源的消息集合X X中包含中包含x0和和x1两个消息，并设它们的概率为两个消息，并设它们的概率为P(P(X1) )p 1/2，P(P(X2) )1 1p，而信宿符号集合而信宿符号集合Y Y也包含两个符号也包含两个符号y0和和y1 ，失真矩，失真矩阵为阵为 ，试求，试求D Dmaxmax0011100100 ddddD17 解：接收符号解：接收符号y0的平均失真函数的平均失真函数 为：为： 接收符号接收符号y1的平均

15、失真函数的平均失真函数 为：为： 因为因为 p K4 K8，进制，进制n越小，压缩比越小，压缩比K越大；越大； 随着允许失真度随着允许失真度D的增加，压缩比的增加，压缩比K随之增加，但相对关系不变随之增加，但相对关系不变28引用拉氏乘子法。约束条件为下列引用拉氏乘子法。约束条件为下列 ( (n n+1)+1)组等式：组等式： R R( (D D) )的参量表达式的参量表达式 求互信息求互信息 的极小值。的极小值。 jjiijjiijijqPPpPqI log);(1(1)1,1,2ijiijijmjijDdp P dnPi in组约束对29 例：设要把例：设要把1616个等概率出现的消息构造成

16、线性分组码，设信息位为个等概率出现的消息构造成线性分组码，设信息位为k k，校验位，校验位为为r,r,码子长度为码子长度为n=k+rn=k+r。解：从题意可知，解：从题意可知，16162 2k k ，k k4 4。为了纠正一个错误，为了纠正一个错误，r r2 2，即，即n n4+24+26 6。这种编码方式不行，校验矩阵。这种编码方式不行，校验矩阵H H只有只有2 2行，行，6 6列，无法排出各不相同的列，无法排出各不相同的6 6列。列。6 6列各不相同，主要目的是使校正子列各不相同，主要目的是使校正子s s能能定出错误位置进行纠正定出错误位置进行纠正 若若r r3 3，可排出（，可排出（7

17、7，4 4）分组码的校验矩阵）分组码的校验矩阵H H： 111010011010101011001H m1m2m3m4p1p2p3行1行2行330 如消息为如消息为10101010，则从上列关系可得出：，则从上列关系可得出：即可得码字为即可得码字为10100101010010m1m2m3m4p1p2p3m1m2m3m4p1p2p3m1m2m3m4p1p2p31010p1p2p31+0+1=0=p11010p1p2p31+0+0=1=p21010p1p2p31+1+0=0=p3该码编码方法如下：该码编码方法如下：31 下表列出了（下表列出了（7 7，4 4）码的）码的2 24 41616个码字个码字m1m2m3m4p1p2p3汉明距离0000000100011101001101100001001010110100100110011111010000010111001100010110111010100011110101100101