信息理论与编码,答案,考试重点-3章

1、信息理论与编码习题参考答案1. 信息是什么信息与消息有什么区别和联系文字、图像和数答： 信息是对事物存在和运动过程中的不确定性的描述。信息就是各种消息符号 所包含的具有特定意义的抽象内容， 而消息是信息这一抽象内容通过语言、 据等的具体表现形式。2. 语法信息、语义信息和语用信息的定义是什么三者的关系是什么答： 语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的和状态之间关系内涵。语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。 语用信息 是信息的最高层次。它以语法、语义信息为基础，不仅要考虑状态 以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。

2、三者之间是内涵与外延的关系。第2章1. 一个布袋内放 100 个球，其中 80 个球是红色的， 20 个球是白色的，若随机摸取一 个球，猜测其颜色，求平均摸取一次所能获得的自信息量答： 依据题意，这一随机事件的概率空间为Xx1 x2P0.8 0.2其中： x1表示摸出的球为红球事件， x2 表示摸出的球是白球事件。a）如果摸出的是红球，则获得的信息量是I x1log p x1log0.8 （比特）b）如果摸出的是白球，则获得的信息量是I x2log p x2log0.2 （比特）c）如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取 n 次，红球出 现的次数为 np x1 次，白球出

3、现的次数为 np x2 次。随机摸取 n 次后总共所获得信息量为np x1 I x1npx2 I x2d）则平均随机摸取一次所获得的信息量为HX1np x1 Inx1np x2 I x2px1 log p x1px2 log p x20.72比特 / 次2. 居住某地区的女孩中有 25%是大学生， 在女大学生中有 75%是身高 1.6 米以上的， 而 女孩中身高 1.6 米以上的占总数的一半。 假如我们得知 “身高 1.6 米以上的某女孩是大学生” 的消息，问获得多少信息量答 ：设事件 A 为女孩是大学生；设事件 B 为女孩身高 1.6 米以上。根据题意，则知：P A 0.25P B 0.50

4、P B A 0.75而“身高 1.6 米以上的某女孩是大学生”这消息表明是在B 事件发生的条件下， A事件发生。所以其概率为 P A B根据贝叶斯定律可得P AB P A BPBP A P B APB0.25 0.750.50.375则得知“身高 1.6 米以上的某女孩是大学生”这消息，能获得的信息量I A B logP A B log0.375 1.415 (比特)地判断成为另外的奇数，而其他数字完全正确地接收。求收到一个数字后平均得到的信息量答：发送集合 X0,1,9, 接收集合 Y0,1, ,9, 其中py1i10i0,2,4,6,8因为pyix1 j 18i, j1,3,5,7,9ij

5、pyix1j2i, j1,3,5,7,9ij所以p(y i)ip x j ,jp y ixj110i, j 1,3,5,7,9最后得：HY9pyilog p y ilog10 3.232 (比特 / 符号)3. 设一个系统传送10 个数字： 0,1,2, ,9。奇数在以的概率传送时，接收端有可能错误i001 444. 某一无记忆信源的符号集为0,1，已知信源的概率空间为(1) 求信源熵。(2) 求由 m个“ 0”和(100- m )个“ l”构成的某一特定序列的自信息量的表达式。(3) 计算由 100 个符号构成的符号序列的熵。 答：( 1 )信源熵为13 4H X log 4 log 0.8

6、113 比特 / 符号44 3( 2 )该特定序列用 A 表示则m 100 m13I A log4441.5 1.585m (bit)( 3 )因为信源是无记忆信源，所以H X100 100H X 81.13 比特/ 符号序列5. 有一离散无记忆信源，其输出为 X 0,1,2 ，相应的概率为 p0 1/ 4 ， p1 1/ 4 ，p2 1/ 2 ，设计两个独立实验去观察它，其结果分别为Y1 0,1 ， Y2 0,1 。已知条件概率如表 2-4 所示。表 2-4 习题 5 表p y1 x01p y2 x0101001010111021/21/2201(1) 求I X;Y1 和 I X;Y2 ，并

7、判断作哪一个实验好些。(2) 求 I X;Y1,Y2 ，并计算作 Y1和 Y2 两个实验比作 Y1或 Y2 中的一个实验各可多得多少 关于 X 的信息。(3) 求 I X;Y1 Y2 和 I X;Y2 Y1 ，并解释它们的含义。答：( 1 ) I X;Y1=H Y1HY1X， 要 求 HY1和 HY1 X需 要 先 求 PY1，P XY1 ， P Y1 X 已知。I X;Y2=HY2HY2 X，要求 HY2和 HY2 X需 要先求 P Y2，P XY2 ， P Y2 X 已知。由 P XY1 P X P Y1 X 及 联 合 概 率 分 布 与 边 缘 概 率 分 布 的 关 系 可 得P X

8、Y1 及 P Y1 ，如表 2-1 所示：表 2-111H Y1log 2 log 2 1 比特 / 符号2211111H Y1 Xlog1 log1 log2 log 2比特 / 符号4444211I X;Y1 H Y1 H Y1 X 1 = 比特 / 符号22同样可求出 P XY2 及 P Y2 ，如表 2-2 所示：所以11H Y2log 2 log 2 1 比特 / 符号22111H Y2 X log1 log1 log1 0 比特 / 符号442I X;Y2 H Y2 H Y2 X 1 比特/ 符号因此第二个实验好些。（ 2 ） I X ;Y1Y2 H Y2Y2 H Y2Y2 X ，

9、 因 此 要 求 出 P Y1Y2 ， P Y1Y2 X 和P XY1Y2 。由于 Y1 、 Y2是相互独立的实验，所以 P Y1Y2 X =P Y1 X P Y2 X 。1P Y1Y2 XP XY1Y2P Y1Y2 （见表 2-2 和表 2-3 ）P Y2 X 1 2 1 2 1 2P Y1 X0100010010201/201/2表 2-3Y1Y2P XY1Y20001101101/40001001/40201/401/4P Y1Y21/41/41/41/41H Y1 X1log41log 441log 44H Y1Y2 X14log114log1114 log 2可以看到：做可以看到：做

10、3)II X ;Y1Y2H Y1Y2H Y1Y2 Xlog 44114log 22 1= 3222 比特 / 符号11 比特 / 符号2比特 / 符号Y1和 Y2两个实验比做Y1一个实验可多得到的信息为I X;Y1Y2Y1和 Y2两个实验比做I X;Y1Y2X;Y1 Y2 I X ; Y1Y231I X;Y1 23 12=1 比特/ 符号Y2 一个实验可多得到的信息为I X;Y2I X;Y2323211= 1 比特/ 符号211= 比特 /符号 ，它表示做完 Y2实2验以后，从 Y1 实验可得到关于 X 的信息量。3 X;Y1 Y2 I X ; Y1Y2 I X;Y121=12比特/ 符号 ，

11、它表示做 Y1完实验以后，从Y2实验可得到关于X 的信息量。6.X 设信源 P X0x.16 0x.24 通过一干扰信道，接收符号为 Y y1,y2 ，信道传递概率如图 2-7 所示。求：(1) 信源 X 中事件 x1和 x2 分别携带的自信息量。（2） 收到消息 yj j 1,2 后，获得的关于 xi i 1,2 的信息量。（3） 信源 X 和信源 Y 的信息熵。（4）损失熵 H X Y 和噪声熵 H Y X（5）接收到消息 Y 后获得的平均互信息。答：（1）因为P x10.6P x20.4所以I x1log0.60.737（比特）I x2log0.41.322（比特）（2）收到消息 yi

12、的概率为：P y1i 1P xi P yi xi0.6* 560.4* 34 0.8P y21 P y1 0.2所以收到消息 yj 后获得的关于xi 的信息量即 Ixi, yj 为：x1,y1logP y1 x15log 60.80.059 （比特/符号 ）P y1x1, y2logP y2 x11 log 60.20.263 （比特/符号 ）P y2x2, y1logP y1 x23 log 40.80.093 （比特/符号 ）P y1x2,y2logP y2 x2P y21log 40.20.322 （比特/符号）其中3)HXHY4)所以噪声熵：损失熵：P xi logP xi i12P

13、i1YXyi logP yiHYX0.6*log 0.6 0.4*log 0.40.971 （比特 /符号 ）0.8*log 0.8 0.2*log 0.2 0.722 （比特 / 符号 ）P X,Y log 1 X ,YPYXx1,y1P x1 P y1 x10.6*60.5x1,y2Px1P y2 x110.6*60.1x2,y1Px2P y1 x230.4*40.3x2,y2Px2P y2 x210.4*0.1PPPP0.5*log 1560.1*log0.715(比特 /符号)H X Y H X H Y X111116 0.3*log 314 0.1*log 114H Y 0.971

14、0.715 0.7220.964(比特 /符号 )5)接收到消息 Y 后所获得的平均互信息量为：I X,Y H X H X Y 0.971 0.964 0.007 （比特/符号 ）7. 某信源的消息符号集的概率分布和二进制代码如题表 2-5 所示。表 2-5 习题 7 表信源符号u0u1u2u3概率1/21/41/81/8代码010110111试求：(1) 消息的符号熵。(2) 平均每个消息符号所需要的二进制码元的个数或平均代码长度结果求码序列中的 一个二进制码元的熵。（3） 消息是由符号序列组成的， 若各符号之间相互独立， 假设其对应的二进码序列中出现“0”和“ 1”的无条件概率为 p 0

15、和 p 1 ，求相邻码间的条件概率 p 01 、p 10 、p 11 、答：1）信源熵为1117log 2 log4 log8 比特 / 符号2444（ 2 ）设平均代码长度为L，则111L12248二进制码元的熵为HULHU3）由于符号间相互独立，因此1 比特 / 二进制码元173 1 3 7 二进制码元 / 符号11p 0 2 4L18 1 18 ， p 1 1 p 0 2284为求相邻码元间的条件概率，先求相邻码元间的联合概率：1111所以p 1,18848p 11p 1,1 1p 1 2p 0 1 1 p 11同理1 1 1 1 1 1p 0,0 2 2 4L 2 8 2 14p 0,

16、0 1p 0 2p 10 1 p 028. 二次扩展信源的熵为 H X 2 ，而一阶马尔可夫信源的熵为 H X 2 X1 ，试比较两者 的大小，并说明原因。答：H X 2 2H X H X H X2 X1二次扩展信源的熵是一个联合熵，其值应该大于单符号信源熵，而马尔可夫信 源的熵是一个条件熵，其值小于单符号信源熵。马尔可夫信源符号间的依赖关系提 供了额外的信息量，从而减小了信源的不确定性。9. 设有一个马尔可夫信源， 它的状态集为 s1,s2,s3 ,符号集为 a1, a2 , a3 ，及在某状态下 发出符号的概率为 P ak si i,k 1,2,3 ，如图 2-8 所示。图 2-8 习题

17、9 图试求：(1) 求出图 2-8 中马尔可夫信源的状态极限概率，并找出符号的极限概率。(2) 计算信源处在某一状态下输出符号的条件熵 H X S j j s1,s2 ,s3(3) 求出马尔可夫信源熵 H 。答：()由状态图得：1P S1 12P S1 P S311PS2P S1PS2412PS31P S11PS2412PS1P S2P S31所以信源的状态极限概率为：所以信源的符号极限概率为：P a1S1P S2S312PS1S3P S1a2S2a3S3）信源处在某一状态输出符号的条件熵为：H X S1H 1,1,11 2 4 41 log 1221log 1 1log 13（比特/符号 ）

18、4 4 442）马尔科夫信源熵为：3P Sii1X S2X S310. 一个马尔可夫过程的基本符号为 的转移概率。（1） 画出一阶马尔可夫过程的状态图，（2） 画出二阶马尔可夫过程的状态图， 答：（状态图略）（ 1 ）一阶马尔可夫过程共有Si0，0,1,1201,0,01322l，2，1（比特 /符号）0（比特 /符号）1*4*1 1*0 1（比特 /符号 ）4这 3 个符号等概率出现，并且具有相同并求稳定状态下的一阶马尔可夫信源熵并求稳定状态下二阶马尔可夫信源熵H1。H2。种状态，每个状态转移到其他状态的概率均为1/3，设状态的平稳分布为W W1,W2,W3 ，根据W1W13W23W3311

19、1W2W131W23213W3W31W131W231W33W1 W2W31可得 W 13,13,1 3 ，3 种状态等概率分布。一阶马尔可夫信源熵为H1 3 1 H 1,1,1 1.585 比特/ 符号1 3 3 3 3信源剩余度为H1H11 1 1 1 0H0log3（ 2 ）二阶马尔可夫信源有9 种状态，同样列方程组求得状态的平稳分布为W 1,1,1,1,1,1,1,1,1999999999 二阶马尔可夫信源熵为1H2 9 log3 1.585 比特/ 符号9信源剩余度为H 2 H21 2 1 2 0H 0 log3由于在上述两种情况下， 3 个符号均为等概率分布，所以信源剩余度都等于 0

20、。11. 证明对于平稳信源有 H X3 X1X2 H X2 X1 ，并说明等号成立的条件。答：设 离 散 平 稳 信 源 输 出 的 随 机 符 号 序 列 为 X1,X2,X3 。 又 设x1 X1，x2 X 2，x3X3，而且x1，x2，x3都取自于同一符号集A a1，a2， ,aq ，并满足有Px2x2 x11，x3x1x1Px2x1x2x1x2P x3 x2P x2 x2P x2x3 x31，x3x1P x3 x1x2 x3x3P x1x3 1 x3P x1x2x3x1x2x3在区域 0,1 内设fxxlogx， f x 在内是上凸函数，所以满足詹森不等式qPi f xii1Pixii

21、1其中Pi 1i1现令 xi P x3 x2 x1 ，设其概率空间为 P x1 x2 ，并满足P x1 x2 1x1所以根据詹森不等式得P x1 x2 xi log xiP x1 x2 xi log P x1 x2 xix1x1x1P x1 x2 P x3 x1x2 log P x3 x1x2x1Px1x1 x2 P x3 x1x2 log P x1x1x2P x3 x1x2所以P x1x2 x3 x1P x2 x3P x1x3 x2 P x2P x3 x2 P x2上式对所有 x1, x2 , x3的取值都成立，所以P x1 x3 x2 P x3 x2x1即P x2 x1 P x3 x1 x

22、2 P x3 x2x1所以P x1 x3 x2 log P x3 x1 x2P x3 x2 log P x3 x2x1因为 0 P x2 1， xx2 X 2所以上式两边相乘，等号不变。有P x2Px1 x3x2log Px3x1 x2Px2Px3 x2log Px3 x2上式对所有 x2 , x3都成立，所以对所有x2, x3求和下式也成立P x1x2x3 log P x3 x1x2P x2 x3 log P x3 x2x1 x2 x3x2 x3因为H X3 X1X2 H X 3 X2所以是平稳信源H X3 X 2 H X2 X1H X3 X1X2 H X2 X1只有当 P x3 x1x2

23、P x3 x2 (对所有 x1,x2,x3 )时等式成立。证毕12.(1)(2) 答：1p si 91, i 1,L,9 ，2、 3、4、7 号格子，因此状态的稳态分布为均匀分布：在一个 33的国际象棋棋盘上，试求： “王”随机行走的熵率。 相同情况下“车” 、“象”和“后”对应的熵率 （“象”分为两种 ）。（ 1 ）由于“王”不能停在当前格上，必须走一步，所以就9 个状态的稳态分布Wi psiEi E其中Ei 是从第 i 格出发能够到达的格子数，EEi 。i通过简单的计算可得：W1 W3 W7 W9430 ， W2W4W6 W858， W540 ， W5 40再根据“随机行走”的意义可得lo

24、g3i 1,3,7,9HXsilog5i 2, 4,6,8log8i5因此最终结果为3H 王 4 log345log58log82.2365 比特/步404040（2）“车”不管在哪个格子，它都有4 个走向，例如它在1 号格子，它可以去为Wi车随机行走的熵率为同样可得13.(1)1log42 比特 / 步左象 1 比特/步 ； H 右象1.3333 比特/步； H 后 2.6443 比特/ 步求具有如下概率密度函数的随机变量的熵。1指数分布 f x 1 e x,x 02(2) f x 1 e2（3） 单边高斯密度 f x22,x答：1）lnx dxlnx dx2）1023）设2 2单边高斯分布

25、14. 连续随机变量lnln奈特 / 样值）ln1ln2e x dxlnln122eln （奈特 / 样值）lnx dxx2 2 2x 2 表示高斯密度函数，它的微分熵为2hXx2 20202log 212log2 x ,x 0 的微分熵为log f xlog 2log 2dx2eX 和 Y 的联合概率密度为11 p xy 2 SN exp 2N试求 h X ， h Y ， h Y X 和 I X;Y 。答：dxdxx log x dxlogdx （因为 xlog 2 （比特 /样值）1 N 2xy y2 S1 log 2 e 2 。x）pxp xy dy12 SN exp1 x22NN 2x

26、ySdyhYXh XY12S exphxx22Syxln 2Sln 2Sp xylnln2Sxyln 2Nln 2N2N12N exp2 yx 2Ndy12S expx22Sp xypxx dxdx2Spx12N expp x lny2N121S expx ln expx22Sx22Sdxdx2xdx2Sln 2eSln p y x dxdyln 2N 2N121Sexpln 2eNxyln p xydxdydxdy2S12N exp2Ndydxx22S exp2S12N exp2 yx 2Nlnx22 SN2S2 yx 2Ndxdyln 2 SN2xexp2S 2 S2S12N expyx2

27、Ndxdy2yx2N2x exp2 S2S12N exp2Ndxdy1ln 2 SN21 ln 2e SN2h Y h XY h X ln 2e S N1 S NI X;Y h Y h Y X 12lnSNN15. 一信源产生的时不变波形信号 分布为(即信号统计特性不随时间而变 )的带宽为 4kHz，幅度xp x e ,x 0试求该信源的信息输出速率。答：该信源的绝对熵H X h X limln由于本题中0.5，并不趋于0，所以HXhXlnhp x ln p x dx ln a2xe0xdxln1 3e 2 ln 2 (奈特 / 样值)按照奈奎斯特定理， 对该波形信号的抽样率至少为 2 4 1

28、03次/秒 。信源的输出信息率为：32Ht nH X 2 4 103 1 3e 2 ln2 (奈特 /秒)第3章1. 假设一个二元等概率离散无记忆信源 X 0,1 ，通过一个二进制对称信道， 表示 符号传输差错，其失真函数 d(xi,yj)和信道转移概率 p(yj / xi )分别为d(xi,yj)1i0i， p(yj / xi )试求失真矩阵 d( xi , y j )和平均失真度 D 。 答：由式( 3-4 )的失真矩阵可得0110d(x1,y1) d(x1, y2)d(x2,y1) d(x2, y2)由 信 道 转 移 概 率 矩 阵 P(yj /xi)和 式 ( 3-7 )nmDp(x

29、i)p(yj /xi)d(xi,yj) 可以得到，平均失真度D为i 1 j 12. 已知一个等概率无记忆信源 X 0,1,2,3 ，其失真函数为d(xi,yj)试求： (1)率失真函数 R(D) ；(2)当信源 X 0,1, ， D 1/ 2 时的 R(D) 。 答：1)失真函数矩阵d为d(x1,y1)d(x1,y2)d(x1,y3)011dd(x2,y1)d(x2,y2)d(x2, y3)101d(x3,y1)d(x3,y2)d(x3, y3)110由信道对称性可设信道转移概率矩阵为1A1A A2 1A2P(yj /xi)1A1A1AA 22由 p(xi) 1/3(i 1,2,3) 得， 允

30、许失真 D为nmD Dp(xi yj )d(xi,yj) 1 A A 1 Di1j1又因为 p(yj) 1/ 3(j 1,2,3) ，由( 3-13 )可得率失真函数 R(D)为R(D)min I(X;Y) p(yj /xi) PDH(Y) H(Y/ X)1log 1 Dlog D (1 D)log(1 D)3 3 22)当信源 X 0,1, ， D 1/ 2 时，R(D) 1 H(D,1 D) 03. 设一个符号等概率输出的离散无记忆信源X 的失真函数矩阵为d(xi,yj)112211试求： (1)率失真函数 R(D) ；(2)信道转移概率 P(X /Y)。答：由失真函数可知通过的信道为对称

31、信道，故可设对称性可设信道的转移概率A A 1 2APji1 2A A A则 由 信 源 概 率 分 布 和 信 道 转 移 概 率 分 布 可 得 到 信 宿 接 收 信 号 的 概 率 分 布p(yj)p( xi )Pji ，得 iP(yj)1 (1 2A), 1 A 12 2 211A,12 (1 2A) 21 A则最大限定失真度 Dpi Pji d ij1212A (2因为信宿的信息熵为(11A), A,12 (1 A)p1P11d11p1P21d12 p1P31d13p2P12d 21 p2P22d 22p2P32d 23A1(1 2A)2 (1 2A) 2 A2 4A 2 4A A

32、 AD)/2H(Y) Hp(yj) H(D4,2 2D,D4)A1H(Y/ X) H(Pji)可以求出信息率失真函数R(D)(2R(D)I (X;Y)信道转移概率矩阵为4 4A2 2AlogD442 2D log2D2DlogD44H(22D 2 D log 22 D)log(2 D)D 2 D ,D 1)(D(D1) log( D1) log( D1)1)(D 1)log( D 1)H(Y) H(Y/ X)DD log 242 D 22 log2D2PjiD12D22D24. 设一等概率离散无记忆信源 X 0,1,2,3 ，信宿接收符号 Y 0,1,2,3 ，其失真函数矩阵为1d(xi,yj

33、)1试求最大失真度 Dmax 、最小失真度Dmin 和率失真函数 R(D) 。答：由已知对称信源和失真函数矩阵d(xi ,yj)可知，它的平均失真度再根据最大失真度的定义，有Dmax根据率失真函数定义可得R(D)minYlog4R(D) 0 D 34n 进制离散无记忆信源5. 设一个试证明：证：P(xi,yj)iXYp( xi )d ( xi , yj)Dlog3 H (D)X 的失真函数为ad(xi,yj )0R(D) D log D /aa 1 (1/ n)D(1 )log n1 aPE(D/ a)由失真函数 d(xi,yj) 的对称性和信道转移概率矩阵Pji的归一性可以求得可以求得ijP

34、ji1An11An11An1p(xi)Pjid(xi, yj)1An1(1 A)an11An1A 1 D/a。p(yj)p(xi)Pji 1n (j 1,2, , n)in进一步可求得率失真函数 R(D)R(D) H p(yj) HPjilog n Alog A (1 A)log(1A) (A 1)log n(1 1)nAlog nA (1 A)log1A1 1/ nD D /a loga 1 (1/ n)(1 D)log n1 a(D /a)证比。6. 设一个等概率离散无记忆信源11X 1,0,1 ，信宿接收符号为 Y 1,1 ，其失真函22数矩阵为12d(xi ,yj ) 1 121试求信

35、源的最大失真度 Dmax和最小失真度 Dmin ，并求选择何种信道可以满足最大失真度 Dmax和最小失真度 Dmin 的要求。答：由最大平均失真度的定义可知Dmax mYin P(x)d(xi, yj)YX1 1 2 2 1 1min( ),( )Y 3 3 3 3 3 3最小失真度为3DminP(xi)mijn d(xi,yj)min i 1 i j i j1(1 1 1) 13如果信道要达到最大失真度 Dmax ，信道的转移概率矩阵为10011P(yj /xi) 10 ，或 P(yj / xi )01 ，或 P(yj / xi)1(01)100111010P(yj / xi) 01 ，或P

36、(yj/ xi)10 ，或 P(yj / xi)010111227. 已知一个等概率离散无记忆信源 阵为X0,1 ，信宿接收符号为 Y10010,1,2 ，失真函数矩d(xi,yj)0101如果信道要达到最大失真度Dmin ，信道的转移概率矩阵为试求信源的率失真函数 R(D) 。答：1 由失真函数 d(xi, yi )可以看出 ,信源输出消息符合为0,1,且等概率 P0 P1，信0 1 2宿接收到的消息符号有 3 个，分别为 0，1，2，由失真函数 d(xi,yi) 可知： d(0,1)d(1,1) 0； d(1,0)。d(0,0) 0 ； d(0,2) 1； d(1,2) 1；由于失真度 d

37、(xi, yi )为对称性，p(yj / xi) 亦为对称性，并由概率归一性，故可进步假设转移概率矩阵：其中，假设p(yj / xi )p(y1/ x1)p(y1/ x2)A为信道的转移概率。p(y2/ x1) p(y3/ x1) p(y2/x2) p(y3/ x2)A1A01Ap( xi ) p( yj / xi)d(xi, yj) jp(x1)p(y1/ x1)d( x1, y1) p(x1)p(y2/ x1)d(x1,y2) p(x2)p(y1/ x2)d( x2 , y1)1212(110 (1 A)21A) 2(1 A) 1p( x2)p( y2 / x2 )d( x2, y2) 1

38、100212 0p( x1) p( y3 /x1)d(x1,y3) p(x2)p(y3 /x2)d(x2,y3) 11(1 A) 1 A 022将 D 1 A 代入到转移概率矩阵P(Y / X) ，得到：P(Y / X)1 D D0D再由概率性质 p(yj )p(xi)p(yj/ xi ) ，求得信宿端各符号的概率分布为 i,jp(y1)p(x1)p(y1 /x1)p(x2)p(y1/ x2)p(y2)p(x1)p(y2 /x1)p(x2)p(y2 / x2 )p(y3)p(x1)p(y3/ x1)p(x2)p(y3 /x2)211211021D2(1A)(1 A) D1D进而可以得到信宿接收的各消息的概率分布p(yj)12D,D,12由此可以得到：H(Y) H p(yj)1 D ,D,12H(Y/ X) H p(yj/ xx) H 1 D,D,0最后可求得：R(D)I (X;Y)H(Y) H(Y/ X)H 1 D,D,1 D221 D,D,01 Dlog1 D DlogD 1(1 D)log(1 D) (1 D)log 2 (1 D)log(1 D)D log1 D (1 D)log(1 D) Dlog D1 D (比特 / 信源符号)8. 设一等概率离散无记忆信源 X x1,x2,x3 ，其失真函数为汉明失真函数，(1)试求最小失真度 Dmi