信息理论基础第四版 答案

1 2.1 同时掷出一对质地均匀的骰子，也就是各面朝上发生的概率均为 1/6，试求： (1) “3 和 5 同时出现”这事件的自信息量； (2) “两个 1 同时出现”这事件的自信息量； (3) “两个点数中至少有一个是 1”这事件的自信息量。 解： (1) bitxpxI xp ii i 17. 4 18 1 log)(log)( 18 1 6 1 6 1 6 1 6 1 )( (2) bitxpxI xp ii i 17 . 5 36 1 log)(log)( 36 1 6 1 6 1 )( (3) bitxpxI xp ii i 71 . 1 36 11 log)(log)( 36 11 11 6 1 6 1 )( 2.4 居住某地区的女孩中有 25%是大学生，在女大学生中有 75%是身高 1.6m 以上的，而女孩 中身高 1.6m 以上的占总数的一半。假如我们得知“身高 1.6m 以上的某女孩是大学生”的消 息，问获得多少信息量？ 解： 设随机变量 X 代表女孩子学历 Xx1（是大学生）x2（不是大学生） P(X)0.250.75 设随机变量 Y 代表女孩子身高 Yy1（身高160cm）y2（身高160cm） P(Y)0.50.5 已知：在女大学生中有 75%是身高 160 厘米以上的 即：bitxyp 75 . 0 )/( 11 求：身高 160 厘米以上的某女孩是大学生的信息量 即：bit yp xypxp yxpyxI 415 . 1 5 . 0 75 . 0 25 . 0 log )( )/()( log)/(log)/( 1 111 1111 2.5 一副充分洗乱了的牌（含 52 张牌） ，试问： (1) 任一特定排列所给出的信息量是多少？ (2) 若从中抽取 13 张牌，所给出的点数都不相同时得到多少信息量？ 解： (1) 52 张牌共有 52！种排列方式，假设每种排列方式出现是等概率的则所给出的信息量是： 2 !52 1 )( i xp bitxpxI ii 581.225!52log)(log)( (2) 52 张牌共有 4 种花色、13 种点数，抽取 13 张点数不同的牌的概率如下： bit C xpxI C xp ii i 208.13 4 log)(log)( 4 )( 13 52 13 13 52 13 2.6 试问四进制、八进制的每一波形所含的信息量是二进制每一波形所含的信息量的多少 倍？ 解： 四进制脉冲可以表示 4 个不同的消息，例如：0, 1, 2, 3 八进制脉冲可以表示 8 个不同的消息，例如：0, 1, 2, 3, 4, 5, 6, 7 二进制脉冲可以表示 2 个不同的消息，例如：0, 1 假设每个消息的发出都是等概率的，则： 四进制脉冲的平均信息量bitnXH 24loglog)( 1 八进制脉冲的平均信息量bitnXH 38loglog)( 2 二进制脉冲的平均信息量bitnXH 12loglog)( 0 所以： 四进制、八进制脉冲所含信息量分别是二进制脉冲信息量的 2 倍和 3 倍。 2.9 如有 6 行 8 列的棋型方格，若有 2 个质点 A 和 B，分别以等概率落入任一方格内，且它 们的坐标分别为),( AA YX、),( BB YX，但 A 和 B 不能落入同一方格内。试求： (1) 若仅有质点 A，求 A 落入任一方格的平均自信息量； (2) 若已知 A 已入，求 B 落入的平均自信息量； (3) 若 A、B 是可分辨的，求 A、B 同时落入的平均自信息量。 解： (1) bitnXH xp i 58 . 5 48loglog)( 48 1 )( (2) bitnxypxypxpXYH xyp xp ij ijiji ij i 55 . 5 47loglog)/(log)/()()/( 47 1 )/( 48 1 )( (3)bitXYHXHXYH 14.1155 . 5 58 . 5 )/()()( 3 2.10 一个消息由符号 0，1，2，3 组成，已知 8 3 )0(p， 4 1 ) 1 (p， 4 1 )2(p， 1 (3) 8 p。试求 由 60 个符号构成的消息的平均信息量。 解： bitXH bit xpxpXH i ii 36.114906. 160)(60 906. 1 )125. 0log125 . 0 25 . 0 log25 . 0 25 . 0 log25. 0753 . 0log753 . 0( )(log)()( 2.13 已知信源发出 1 a 和 2 a两种消息，且5 . 0)()( 21 apap。此消息在二进制对称信道上传 输，信道传输特性为 )/()/( ,1)/()/( 12212211 abpabpabpabp 求互信息量);( 11 baI和);( 22 baI。 解： 1 )1 ( 2 1 2 1 )1 ( 2 1 )/()( )/()( )/( 1 2 1 )1 ( 2 1 )1 ( 2 1 )/()( )/()( )/( 2 222 22 1 111 11 i ii i ii abpap abpap bap abpap abpap bap bit ap bap baI bit ap bap baI )1log(1 2 1 )1 ( log )( )/( log);( )1log(1 2 1 )1 ( log )( )/( log);( 2 22 22 1 11 11 2.15 黑白传真机的消息元只有黑色和白色两种，即X=黑，白，一般气象图上，黑色的出 现概率P(黑)= 0.3，白色的出现概率P(白)= 0.7。假设黑白消息视为前后无关，求信息熵 H(X)。 解： bitxpxpXH i ii 881 . 0 )7 . 0log7 . 03 . 0log3 . 0()(log)()( 2.17 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态， 调查结果得联合出现的相对频度如下： 4 忙 晴 雨 冷 12 暖8 暖 16 冷 27 闲 晴 雨 冷8 暖 15 暖 12 冷4 若把这些频度看作概率测度，求： (1) 忙闲的无条件熵； (2) 天气状态和气温状态已知时忙闲的条件熵； (3) 从天气状态和气温状态获得的关于忙闲的信息。 解： (1) 根据忙闲的频率，得到忙闲的概率分布如下： bitxpxpXH xx XP X i i i 096 . 0 210 39 log 210 39 210 63 log 210 63 )(log)()( 210 39 210 63 闲忙 )( 2 21 (2) 设忙闲为随机变量 X，天气状态为随机变量 Y，气温状态为随机变量 Z bit zyxpzyxpXYZH ijk kjikji 198 . 2 210 12 log 210 12 210 4 log 210 4 210 15 log 210 15 210 8 log 210 8 210 16 log 210 16 210 27 log 210 27 210 8 log 210 8 210 12 log 210 12 )(log)()( bitYZHXYZHYZXH bit zypzypYZH jk kjkj 938 . 0809 . 1198 . 2)()()/( 809 . 1 210 28 log 210 28 210 13 log 210 13 210 23 log 210 23 210 20 log 210 20 )(log)()( (3) bitYZXHXHYZXI 211 . 0938 . 0096. 0)/()();( 2.18 有两个二元随机变量X和Y，它们的联合概率分布函数如题表 2.1 所列。 题表 2.1 5 Y X 01 01/83/8 13/81/8 同时定义另一随机变量Z = XY（一般乘积） 。试计算： (1) 熵H(X),H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)； (2) 条件熵H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和 H(Z/XY)； (3) 互信息I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。 解： (1) bitxpxpXH yxpyxpxp yxpyxpxp i ii 1)(log)()( 2 1 8 1 8 3 )()()( 2 1 8 3 8 1 )()()( 22122 21111 bitypypYH yxpyxpyp yxpyxpyp j jj 1)(log)()( 2 1 8 1 8 3 )()()( 2 1 8 3 8 1 )()()( 22212 12111 Z = XY 的概率分布如下： bitzpzpZH zz ZP Z k k k 544 . 0 8 1 log 8 1 8 7 log 8 7 )(log)()( 8 1 8 7 10 )( 2 21 bitzxpzxpXZH zpzxp zxpzxpzp zxpzpzxp zxpzxpzp xpzxp zxp zxpzxpxp ik kiki 406 . 1 8 1 log 8 1 8 3 log 8 3 2 1 log 2 1 )(log)()( 8 1 )()( )()()( 8 3 5 . 0 8 7 )()()( )()()( 5 . 0)()( 0)( )()()( 222 22212 11112 12111 111 21 21111 6 )()()( 8 3 5 . 0 8 7 )()()( )()()( 5 . 0)()( 0)( )()()( 22212 11112 12111 111 21 21111 zypzypzp zypzpzyp zypzypzp ypzyp zyp zypzypyp bitzypzypYZH zpzyp jk kjkj 406. 1 8 1 log 8 1 8 3 log 8 3 2 1 log 2 1 )(log)()( 8 1 )()( 222 bit zyxpzyxpXYZH yxpzyxp yxpzyxpzyxp zyxp yxpzyxp yxpzyxpzyxp zyxpzxpzyxp zxpzyxpzyxp yxpzyxp yxpzyxpzyxp zyxp zyxp zyxp ijk kjikji 811 . 1 8 1 log 8 1 8 3 log 8 3 8 3 log 8 3 8 1 log 8 1 )(log)()( 8 1 )()( )()()( 0)( 8 3 )()( )()()( 8 3 8 1 2 1 )()()( )()()( 8/1)()( )()()( 0)( 0)( 0)( 22222 22222122 122 12112 12212112 11111121 11111121 11111 11211111 212 221 211 (2) 7 bitXYHXYZHXYZH bitXZHXYZHXZYH bitYZHXYZHYZXH bitYHYZHYZH bitZHYZHZYH bitXHXZHXZH bitZHXZHZXH bitXHXYHXYH bitYHXYHYXH bityxpyxpXYH ij jiji 0811. 1811. 1)()()/( 405 . 0 406 . 1 811 . 1 )()()/( 405 . 0 406 . 1 811 . 1 )()()/( 406 . 0 1406. 1)()()/( 862 . 0 544 . 0 406. 1)()()/( 406 . 0 1406 . 1 )()()/( 862 . 0 544. 0406 . 1 )()()/( 811 . 0 1811 . 1 )()()/( 811 . 0 1811 . 1 )()()/( 811 . 1 8 1 log 8 1 8 3 log 8 3 8 3 log 8 3 8 1 log 8 1 )(log)()( (3) bitZYHYHZYI bitZXHXHZXI bitYXHXHYXI 138. 0862. 01)/()();( 138. 0862 . 0 1)/()();( 189. 0811. 01)/()();( bitYZXHYXHYZXI bitXZYHXYHXZYI bitYZXHZXHZYXI 406 . 0 405 . 0 811 . 0 )/()/()/;( 406 . 0 405 . 0 811 . 0 )/()/()/;( 457 . 0 405 . 0 862 . 0 )/()/()/;( 2.19 有两个随机变量X和Y，其和为Z = X + Y，若X和Y相互独立，求证：H(X) H(Z), H(Y) H(Z)，H(XY) H(Z)。 证明： (1) )()( )/()( )()(log)()( )/(log)/()()/(log)()/( )( 0 )( )( )()/( ZHYH XZHZH YHypypxp xzpxzpxpxzpzxpXZH Yxz Yxzyp xzpxzp YXZ ij jji ik ikiki ik ikki ik ikj ikik 同理可得)()(ZHXH。 (3) 8 )()( 0)/( )()/()()( )()/()()( ZHXYH XYZH ZHXYZHXYHXYZH ZHZXYHZHXYZH 2.20 对于任意三个随机变量 X、Y、Z，求证： )()()()( )/;()/()()( XHXZHXYHXYZH XYZIXYHXZHXYZH 证明： )( )/()( )/()/()/()()/( )/()/()/()()/( )/;()/()( XYZH XYZHXYH XYZHXZHXYHXHXZH XYZHXZHXYHXHXZH XYZIXYHXZH )()()()( )()()/( )()()/( )/()/( 0)/()/( )/()/()/;( 0)/;( XHXZHXYHXYZH XHXZHXZH XYHXYZHXYZH XZHXYZH XYZHXZH XYZHXZHXYZI XYZI 2.21 证明：)/()/( 13213 XXHXXXH 证明： )/()/( 0)/()/( )/()/()/;( 0)/;( 13123 12313 12313123 123 XXHXXXH XXXHXXH XXXHXXHXXXI XXXI 2.26 已知信源包含 8 个数字信息 0，1，2，3，4，5，6，7。为了在二进制信道上传输，用 信源编码器将这 8 个十进制数编成三位二进制代码组，信源各消息的先验概率及相应的代码 组见题表 2.2。 题表 2.2 i u 01234567 代码组 000 zyx 100 zyx 010 zyx 110 zyx 001 zyx 101 zyx 011 zyx 111 zyx 000001010011100101110111 9 i up 4 1 4 1 8 1 8 1 16 1 16 1 16 1 16 1 求： (1) 互信息量);( 03 xuI，);( 103 yxuI，);( 1103 zyxuI； (2) 在 0 x 给定的条件下，各消息与 1 y 之间的条件互信息量； (3) 在 10y x给定的条件下，各消息与 1 z 之间的条件互信息量。 解： (1) bit up xup xuI 415 . 0 8 1 6 1 log )( )/( log);( 3 03 03 bit up yxup yxuI 2 8 1 2 1 log )( )/( log);( 3 103 103 bit up zyxup zyxuI 3 8 1 1 log )( )/( log);( 3 1103 1103 (2) bit xup xyup xyuI 585 . 1 6 1 2 1 log )/( )/( log)/;( 02 012 012 bit xup yxup xyuI 585 . 1 6 1 2 1 log )/( )/( log)/;( 03 103 013 bitxyuIxyuIxyuIxyuIxyuIxyuI 0)/;()/;()/;()/;()/;()/;( 017016015014011010 (3) bit yxup zyxup yxzuI 1 2 1 1 log )/( )/( log)/;( 103 1103 1013 bityxzuIyxzuIyxzuI yxzuIyxzuIyxzuIyxzuI 0)/;()/;()/;( )/;()/;()/;()/;( 101710161015 1014101210111010 3.1 设有一离散无记忆信源，其概率空间为 10 8/14/1 32 4/18/3 10 )( 4321 xxxx XP X 该信源发出的信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。 求： (1) 此消息的自信息量是多少？ (2) 此消息中平均每符号携带的信息量是多少？ 解： (1) 此消息总共有 14 个 0、13 个 1、12 个 2、6 个 3，因此消息发出的概率是： 62514 8 1 4 1 8 3 p 此消息的信息量是：bitpI 811.87log (2) 此消息中平均每符号携带的信息量是：bitnI 951 . 1 45/811.87/ 3.2 某一无记忆信源的符号集为0, 1，已知信源的概率空间为 4/34/1 10 )(XP X (1) 求信息符号的平均熵； (2) 由 100 个符号构成的序列，求某一特定序列（例如有m个“0”和（100 -m）个“1” ） 的自信息量的表达式； (3) 计算(2)中序列的熵。 解： (1) bitxpxpXH i ii 811 . 0 4 3 log 4 3 4 1 log 4 1 )(log)()( (2) bitmxpxI xp m ii m mm i 585 . 1 5 . 41 4 3 log)(log)( 4 3 4 3 4 1 )( 100 100 100 100 100 (3) bitXHXH 1 . 81811 . 0 100)(100)( 100 3.5 某信源的消息符号集的概率分布和二进制代码如题表 3.2 所列。 题表 3.2 11 信源 0 u 1 u 2 u 3 u p 1/21/41/81/8 代码010110111 (1) 求信息的符号熵； (2) 求每个消息符号所需要的平均二进制码的个数或平均代码长度。进而用这一结果求码序 列中的一个二进制码的熵； (3) 当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进制码序列中出现 0 和 1 的无条件概率 0 p 和 1 p，求相邻码间的条件概率 1/0 p、 0/1 p、 1/1 p、 0/0 p。 解： (1) bitxpxpXH i ii 75 . 1 8 1 log 8 1 8 1 log 8 1 4 1 log 4 1 2 1 log 2 1 )(log)()( (2) bitXH L XH N XH lxplEL N i iii 1)( 1 )( 1 )( 75 . 1 3 8 1 3 8 1 2 4 1 1 2 1 )()( (3) 设消息序列长为N，则 0 u、 1 u、 2 u、 3 u的个数分别为8/ , 8/ , 4/ , 2/NNNN个。 则 0 的个数为 8 7 0 8 1 8 1 4 1 2 NNNNN 而 1 的个数为 8 7 3 8 2 8 1 4 0 2 NNNNN 因而5 . 0 10 pp 2 1 2 1 4 1 / 2 1 2 1 2 1 2 1 / 2 1 2 1 2 1 2 1 / 2 1 2 1 4 1 / 1111/11010/1 0000/01101/0 pppppp pppppp 3.7 设有一个信源，它产生 0，1 序列的信息。该信源在任意时间而且不论以前发生过什么消 息符号，均按 P(0) = 0.4，P(1) = 0.6 的概率发出符号。 (1) 试问这个信源是否是平稳的； 12 (2) 试计算H(X 2), H(X3/X1X2)及H； (3) 试计算H(X 4)并写出 X 4信源中可能有的所有符号。 解： (1) 这个信源是平稳无记忆信源。因为有这些词语： “它在任意时间 而且不论以前发生过什么符号 ” (2) bitXHXXXXHH bitxpxpXHXXXH bitXHXH NNN N i ii 971 . 0 )()./(lim 971 . 0 )6 . 0log6 . 04 . 0log4 . 0()(log)()()/( 942 . 1 )6 . 0log6 . 04 . 0log4 . 0(2)(2)( 121 3213 2 (3) 1111111011011100 1011101010011000 0111011001010100 0011001000010000 的所有符号： 884 . 3 )6 . 0log6 . 04 . 0log4 . 0(4)(4)( 4 4 X bitXHXH 3.11 有一马尔可夫信源，已知转移概率为3/2)/( 11 SSp，3/1)/( 12 SSp，1)/( 21 SSp， 0)/( 22 SSp。试画出状态转移图，并求出信源熵。 解： bit SSpSSpSpH Sp Sp SpSp SpSp SpSp SpSpSp SSpSpSSpSpSp SSpSpSSpSpSp ij ijiji 689 . 0 3 1 log 3 1 4 3 3 2 log 3 2 4 3 )/(log)/()( 4/1)( 4/3)( 1)()( )( 3 1 )( )( 3 1 )( )()( 3 2 )( )/()()/()()( )/()()/()()( 2 1 21 12 12 211 1212222 2121111 13 3.21 黑白传真机的信息元只有黑色和白色两种X=黑，白，一般气象图上黑色出现的概率为 P(黑)= 0.3，白色出现的概率为P(白)= 0.7，黑白消息前后没有关联，其转移概率为P(白 /白)= 0.9，P(黑/白)= 0.1，P(白/黑)= 0.2，P(黑/黑)= 0.8。求该一阶马尔可夫信源 的不确定性H(X/X)，并画出该信源的状态转移图。 解： bit SSpSSpSpH Sp Sp SpSp SpSp SpSpSp SpSpSp SSpSpSSpSpSp SSpSpSSpSpSp ij ijiji 553 . 0 9 . 0log9 . 0 3 2 1 . 0log1 . 0 3 2 2 . 0log2 . 0 3 1 8 . 0log8 . 0 3 1 )/(log)/()( 3/2)( 3/1)( 1)()( )(2)( )(2 . 0)(9 . 0)( )(1 . 0)(8 . 0)( )/()()/()()( )/()()/()()( 2 1 21 12 122 211 1212222 2121111 3.23 设信源产生A, B, C三种符号2/1)/(BBp，4/1)/()/(BCpBAp，8/5)/(AAp， 4/1)/(ABp，8/1)/(ACp，8/5)/(CCp，4/1)/(CBp，8/1)/(CAp。试计算冗余 度。 解： )( 8 5 )( 4 1 )( 8 1 )( )( 4 1 )( 2 1 )( 4 1 )( )( 8 1 )( 4 1 )( 8 5 )( CBAC CBAB CBAA spspspsp spspspsp spspspsp 14 138 . 0 3log 366 . 1 11 366 . 1 8 5 log 8 5 3 1 4 1 log 4 1 3 1 8 1 log 8 1 3 1 4 1 log 4 1 3 1 2 1 log 2 1 3 1 4 1 log 4 1 3 1 8 1 log 8 1 3 1 4 1 log 4 1 3 1 8 5 log 8 5 3 1 )/(log)/()( 3/1)( 3/1)( 3/1)( 1)()()( )()()( 0 333 H H R bit p eepeepepH sp sp sp spspsp spspsp ijk ijiji C B A CBA CBA 3.26 一阶马尔可夫信源的状态图如下图所示。信源X的符号集为0, 1, 2。 (1) 求平稳后信源的概率分布； (2) 求信源的熵H。 解： (1) )( 4 3 )( 3 1 )( )( 4 1 )( 3 2 )( )( 4 1 )( 4 3 )( 323 122 311 spspsp spspsp spspsp 15 11/4)( 11/3)( 11/4)( )( 4 3 )( )()( 3 2 1 12 31 sp sp sp spsp spsp (2) bit eepeepepH ijk ijiji 840 . 0 4 3 log 4 3 11 4 4 1 log 4 1 11 4 3 1 log 3 1 11 3 3 2 log 3 2 11 3 4 1 log 4 1 11 4 4 3 log 4 3 11 4 )/(log)/()( 333 4.1 设有一离散无记忆信源，其概率空间为 4 . 06 . 0)( 21 xx XP X 它们通过一干扰信道，信道输出端的接收符号集为 Y = y1, y2 ，信道转移概率如题图 4.1 所示。求： (1) 信源X中事件x1和事件x2分别含有的自信息； (2) 收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量； (3) 信源X和信宿Y的信息熵； (4) 信道疑义度H(X/Y)和噪声熵H(Y/X)； (5) 接收到信息Y后获得的平均互信息。 解： 信道转移矩阵为： 4 1 4 3 6 1 6 5 1) bitxpxI bitxpxI 322 . 1 4 . 0log)(log)( 737 . 0 6 . 0log)(log)( 22 11 2) 5/6 1/4 3/4 1/6 1 x 2 x 2 y 1 y 题图 4.1 16 bit yp xyp yxI bit yp xyp yxI bit yp xyp yxI bit yp xyp yxI xypxpxypxpyp xypxpxypxpyp 322 . 0 2 . 0 4/3 log )( )/( log);( 093 . 0 8 . 0 4/1 log )( )/( log);( 263 . 0 2 . 0 6/1 log )( )/( log);( 059 . 0 8 . 0 6/5 log )( )/( log);( 2 . 0 4 1 4 . 0 6 1 6 . 0)/()()/()()( 8 . 0 4 3 4 . 0 6 5 6 . 0)/()()/()()( 2 22 22 1 21 12 2 12 21 1 11 11 2221212 2121111 3) bitypypYH bitxpxpXH j jj i ii 722 . 0 )2 . 0log2 . 08 . 0log8 . 0()(log)()( 971 . 0 )4 . 0log4 . 06 . 0log6 . 0()(log)()( 4) ij ijiji xypxypxpXYH)/(log)/()()/( bit YHXYHXHYXH YXHYHXYHXH bit 964 . 0 722 . 0 715 . 0 971 . 0 )()/()()/( )/()()/()( 715 . 0 4 3 log 4 3 4 . 0 4 1 log 4 1 4 . 0 6 1 log 6 1 6 . 0 6 5 log 6 5 6 . 0 5) bitYXHXHYXI 0075 . 0 964 . 0 971 . 0 )/()();( 4.2 设有扰离散信道的输入端是以等概率出现的 A, B, C, D 四个字母。该信道的正确转移概 率为 1/2，错误转移概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均 信息量为 0.21 bit。 解： 该信道为强对称信道，并且信源符号等概率分布，因此平均互信息量达到信道容量。即信道上每个字母传 输的平均信息量都达到最大，都等于信道容量。 17 bit p n p pppnC 21 . 0 14 2/1 log 2 1 1log 2 1 14log 1 log1log1log 4.5 考虑一二元删除信道 3 2 ) 1/1( , 6 1 ) 1?/( , 3 2 ) 1/0( 6 1 )0/1( , 6 1 )0?/( , 3 2 )0/0( 3 2 ) 1( , 3 1 )0( XYpXYpXYp XYpXYpXYp XpXp 求);( )/( ),/( ),( ),(YXIXYHYXHYHXH和。 解： 信道转移矩阵为： 3 2 6 1 6 1 6 1 6 1 3 2 该信道行可排列，列不可排列，是准对称信道。 3 1 3 2 6 1 3 1 3 2 )/()()/()()( 918 . 0 3 2 log 3 2 3 1 log 3 1 )(log)()( 1010000 xypxpxypxpyp bitxpxpXH i ii bitXYHYHYXI bitYHXYHXHYXH YXHYHXYHXH bit xypxypxYHXYH bitypypYH xypxpxypxpyp xypxpxypxpyp j ijiji j jj 207 . 0 252 . 1 459 . 1 )/()();( 711 . 0 459 . 1 252 . 1 918 . 0 )()/()()/( )/()()/()( 252 . 1 6 1 log 6 1 6 1 log 6 1 3 2 log 3 2 )/(log)/()/()/( 459 . 1 2 1 log 2 1 6 1 log 6 1 3 1 log 3 1 )(log)()( 2 1 3 2 3 2 3 1 6 1 )/()()/()()( 6 1 3 2 6 1 3 1 6 1 )/()()/()()( 1110101 1?10?0? 4.19 设有一批电阻， 按阻值分 70%是 2K， 30%是 5 K； 按瓦分 64%是 0.125W， 其余是 0.25W。 现已知 2 K阻值的电阻中 80%是 0.125W，问通过测量阻值可以得到的关于瓦数的平均信息 量是多少？ 18 解： 对本题建立数学模型如下： );(求： 2 . 0)/( , 8 . 0)/( 36 . 0 64 . 0 4/18/1 )( 瓦数 3 . 07 . 0 52 )( 阻值 1211 2121 YXI xypxyp yy YP Yxx XP X 求解过程如下： bitypypYH bitxpxpXH yxpypyxp yxpyxpyp yxpypyxp yxpyxpyp xypxpyxp xypxpyxp j jj i ii 943 . 0 36 . 0 log36 . 0 64 . 0 log64 . 0 )(log)()( 881 . 0 3 . 0log3 . 07 . 0log7 . 0)(log)()( 22 . 0 14 . 0 36 . 0 )()()( )()()( 08 . 0 56 . 0 64 . 0 )()()( )()()( 14 . 0 2 . 07 . 0)/()()( 56 . 0 8 . 07 . 0)/()()( 21222 22212 11112 12111 12121 11111 bitXYHYHXHYXI bit yxpyxpXYH ij jiji 186 . 0 638 . 1 943 . 0 881 . 0 )()()();( 638 . 1 22 . 0 log22 . 0 08 . 0 log08 . 0 14 . 0 log14 . 0 56 . 0 log56 . 0 )(log)()( 4.20 设二元对称信道的传递矩阵为 3 2 3 1 3 1 3 2 (1) 若P(0)= 3/4,P(1)= 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求该信道的信道容量及其达到信道容量时的输入概率分布； 解： 1) 19 bitYXHXHYXI bitYHXYHXHYXH YXHYHXYHXHXYH bitypypYH xypxpxypxpyxpyxpyp xypxpxypxpyxpyxpyp bit xypxypxpXYH bitxpxpXH j jj ij ijiji i ii 062 . 0 749. 0811 . 0 )/()();( 749 . 0 980. 0918. 0811 . 0 )()/()()/( )/()()/()()( 980. 0)4167 . 0 log4167 . 0 5833 . 0 log5833 . 0 ()(log)()( 4167. 0 3 2 4 1 3 1 4 3 )/()()/()()()()( 5833 . 0 3 1 4 1 3 2 4 3 )/()()/()()()()( 918. 0 3 2 log 3 2 4 1 3 1 log 3 1 4 1 3 1 log 3 1 4 3 3 2 log 3 2 4 3 )/(log)/()()/( 811 . 0 4 1 log 4 1 4 3 log 4 3 )(log)()( 22212122212 21211112111 2) 2 1 )( 082 . 0 3 2 log 3 2 3 1 log 3 1 2log)/(log);(max i i xp bitxYHmYXIC 4.22 证明信道疑义度 H(X/Y) = 0 的充分条件是信道矩阵P中每列有一个且只有一个非零元 素。 证明： P每列有一个且只有一个非零元素= H(X/Y) = 0 取P的第 j 列，设0)/( kj xyp而其他),.,2 , 1 ,( 0)/(nikixyp ij )( 0 )( 0 )( )/()( )( )( )/( 1 )/()( )/()( )/()( )/()( )( )( )/( ki ypyp xypxp yp yxp yxp xypxp xypxp xypxp xypxp yp yxp yxp jj iji j ji ji kjk kjk i iji kjk j jk jk bit yxpyxpyp yxpyxpYXH xyp xyp yxp ji jijij ij jiji ij ij ji 0 )/(log)/()( )/(log)()/( 0)/( 1 0)/( 0 )/( 20 4.26 设有扰离散信道的传输情况分别如题图 4.3 所示。试求出这种信道的信道容量。 解： 该信道的转移矩阵为： 2 1 00 2 1 2 1 2 1 00 0 2 1 2 1 0 00 2 1 2 1 行列都可排列，此信道为对称信道。 4 1 )( 1 2 1 log