信息论部分习题参考解答

=精选公文范文，管理类，工作总结类，工作计划类文档，欢迎阅读下载=信息论部分习题参考解答2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求： “3和5同时出现” 这事件的自信息量。 “两个1同时出现” 这事件的自信息量。 两个点数的各种组合的熵或平均信息量。 两个点数之和的熵。 两个点数中至少有一个是1的自信息。 解： 设X为3和5同时出现这一事件，则P=1/18，因此I(X)?log2p(x)?log218? (比特) 设两个1同时出现这一事件为X，则P=1/36，因此I(X)?log2p(x)?log236? (比特) (3 ) “两个相同点数出现”这一事件的概率为1/36,其他事件的概率为1/18,则 H(X)? 615log236?log218?(比特/组合) log236?log218?(?)log212?(?)log29?(?)log2?2?(?)log26?(比特/两个点数之和)18H(X)? 两个点数至少有一个为1的概率为P= 11/36I(X)?log211? 362-6设有一离散无记忆信源，其概率空间为 ?X?x1?0x2?1x3?2x4?3?P?3/81/41/41/8? 该信源发出的信息符号序列为，求： 此信息的自信息量是多少？ 在此信息中平均每个符号携带的信息量是多少？ 解：无记忆性，可得 I?14I(0)?13I(1)?12(2)?6I(3)? H?I/45? 2-9在一个袋中放有5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再放进去。求： 一次实验包括的不确定度。 第一次实验X摸出的是黑球，第二次实验Y给出的不确定度； 第一次实验X摸出的是白球，第二次实验Y给出的不确定度； 第二次实验Y包含的不确定度。 123log23?log2? ?log2?log2?H14?log2?log2? H?H?H? H33?解：H2-11两个试验X和Y，X?x1,x2,x3?联合概率p(xiyj)?pij已,Y?y1,y2,y3?，给出， 如果有人告诉你X和Y的试验结果，你得到的平均信息量是多少？ 如果有人告诉你Y的试验结果，你得到的平均信息量是多少？ 在已知Y试验结果的情况下，告诉你X的试验结果，你得到的平均信息量是多少？ ?p11?p21?p?31 解： p12p22p32p13?7/241/240?p23?1/241/41/24? ?p33?1/247/24?0?72411log2?2?log24?4log224?2. ?log23?log23?log23? 333?H?H(XY)?H(Y)? 2-12有两个二元随机变量X和Y，他们的联合概率如表所示，并定义另一随机变量Z=XY。试计算： (1) H，H，H，H，H和H。 2 (2) H，H，H，H，H，H，H H和H。 (3) I，I，I，I，I和I。 X Y 0 1 0 1/8 3/8 1 3/8 1/8 解： P2）?P?P?2 H?12log122?2log22?1 (比特/符号) H?1比特/符号 2H?p(zi)log2p(zi)i?1? ?7818log27?8log28? 表得H?(1log3828?8log823)?2? H?比特/符号 H?比特/符号 H?比特/符号 H?H(XY)?H(Y)?1? H?H(XY)?H(X)?1? H?H(XZ)?H(Z)? H?H(XZ)?H(X)?1? H? 3 H? H?H(XYZ)?H(YZ)?H(XYZ)?H(XY)? ?H(X)?H(X/Y)?1?(3) I I?H(X)?H(X/Z)?1? I?H(Y)?H(Y/Z)?1? I?I(X;YZ)?I(X;Z) ?H(X)?H(X/YZ)?I(X;Z)?1?I(Y;ZX)?I(Y;Z)?H(Y)?H(Y/ZX)?I(Y;Z)?1? 2-13一个信源发出二重符号序列消息，其中第一个符号i 可以是A，B，C中的任一个，第二个符号j可以是D，E，F，G中的任一个。已知各个P和P值列成如下表。求这个信源的熵）。 P D PE F G A 1/2 1/4 1/4 1/4 1/4 B 1/3 3/10 1/5 1/5 3/10 C 1/6 1/6 1/2 1/6 1/6 ?解：H111log22?log23?log26? 2364 H?p(i)p(j/i)log2p(j/i)i?0j?11?(log24)?4?log2?(log25)?2?log2?log26?log?log26?log26?(比特/符号序列)3636 H?IJ?H?H?log23?log25?log23 -14在一个二进制信道中，信源消息集X=0，1，且p(1)=p(0)，信宿的消息集Y=0，1，信道传输概率p(1/0)=1/4,p(0/1)=1/8。求： 在接收端收到y=0后。所提供的关于传输信息x的平均互信息量I。 该情况所能提供的平均互信息量I。 解： 0?X?P?=?1?21?1? ?2?3?4信道转移概率矩阵为(p(yj|xi)?1?8? 7?8?143/401/41/817/810p(xi,yj)?p(yj|xi)p(xi)得 ?(X,Y)?1?1638? 7?16?1? 9?16?18?0关于y的边际分布为Y?7?166?7p(xi|yj)?得信道逆向转移概率矩阵(p(xi|yj)?1p(yj)?7p(xi,yj)29? 7?9?所以 5 ?p(xi/0)log2i?01p(xi/0)61212?log2?log2?(xi)7777 ?p(yj)p(xi/yj)log2i,jp(xi/yj)p(xi)? 2-24某一无记忆信源的符号集为0，1，已知p0?1/4,p1?3/4。 求符号的平均熵。 有100个符号构成的序列，求某一特定序列个“1”）的自信息量的表达式。 计算中的序列的熵。 ?解：H134log24?log2? 44313p(x?m)?()m()100?m 44I(X)?200?100log23?mlog23?(比特)于该信源是无记忆的符号集，所以H哪些码是非延长码？ 100）?100H?100?816 所有唯一可译码的平均码长和编码效率。 符号 概率 C1 000 C2 0 C3 C4 0 C5 C6 u1 1/2 0 1 01 u2 u3 1/4 001 01 10 10 000 001 1/16 010 011 110 1101 001 100 u4 u5 u6 1/16 011 0111 1110 1100 010 101 1/16 100 01111 11110 1001 110 110 1/16 101 1111 110 111 解：根据kraft不等式，C5中可译码 ?2?ki?2?1?5?2?3?i?1691，所以C5不是唯一8C1，C2，C3，C4，C6中C4不是唯一可译码。例如，有2译码方式 u2u1u2u2和u5u1u2，所以C4不是唯一可译的，C1，C2，C3，C6是唯一可译码。 根据即时码定义，即时码又叫非前缀码，C2中u1是其它码的前缀，故C2不是7 即时码。因此C1， C3，C6是即时码。 C1：平均码长k1平均信息率 ?3 K1?k1log2m?k1?3 111H?X?log22?log24?4?log216? 2416H(X)2?% 3K1?C2：k2? 11117?1?2? 24168?H(X)2?17?% k28 C3：k3?178?H(X)2?% 17k38C6：k6?111?2?3?3?4? 2416?H(X)2?80% 3-5某信源有8个符号?u1?u8?，概率分别为1/2，1/4，1/8，1/16，1/32，1/64，1/128，1/128，编成这样的码：000，001，010，011，100，101，110，111。求 信源的符号熵H； 出现一个“1”或一个“0”的概率； 这种码的编码效率； 相应的香农码和费诺码； 该码的编码效率。 11111解： H?log22?log24?log28?log216?log ?11log264?(log2128)?2?(比特/符号)? (0)?p(1)?1p(?0)?H(X)?66% 3Klog221香农码： 信源消息符号ui 符号概率累加概率p(ui) pi ?log2p(ui)? 码字 码字长度 u1 1/2 0 1 0 1 9 u2 u3 1/4 1/2 2 10 2 1/8 3/4 3 110 3 u4 u5 u6 u7 u8 1/16 7/8 4 1110 4 1/32 15/16 5 11110 5 1/64 31/32 6 6 1/128 63/64 7 7 1/128 127/128 7 7 ?2?3?4?5?6?7?28log221?1费诺码： 10 U1U2U3U4U5U6U701U2U3U4U5U6U7U101U3U4U5U6U7UU201U4U5U6U7U8U301U5U6U7U8U401U6U7U8U501U7U8U601U7U8 费诺码为：0 10 110 1110 11110 同样?H(X)?1 K3-7已知符号集合?x1,x2,x3?为无限离散集合，它们的出现概率分别为p(x1)?1/2，p(x2)?1/4，p(x3)?1/8，p(xi)?1/2i,?。 用香农编码方法写出各个符号的码字。 计算码子的平均信息传输率。 计算信源编码效率。 解：香农编码如表 11 信源消息符号xi 符号概率累加概率p(xi) pi ?log2p(xi)? 码字 码字长度 x1 1/2 0 1 0 1 x2 ? 1/4 1/2 2 10 2 ? ? ? ? ? xi 1/2 i2i?1?1 2i?1? i 11?110 ?i?1个i ? (2)? ? ? ? 111ilog2?log4?log2222iH(X)42R?2?1(比特/码元)?K?p(xi)kii?1 (3) k?1 ? HL(X)HL(X)HL(X)HL(X)?1 Kklog2mk?1k3-8某信源有6个符号，概率分别为3/8，1/6，1/8，1/8，1/8，1/12，试求三进码元的费诺码，并求出编码效率。 解：费诺码编码过程 12 信源消息符号xi 符号概率p(xi) 第一次分组 第二次分组 码字 码字长度 x1 3/8 0 0 1 x2 x3 1/6 1 0 10 2 1/8 1 1 11 2 x4 x5 x6 1/8 2 0 20 2 1/8 2 1 21 2 1/12 2 2 22 2 38111p(x)logp(x)?log?log6?(log8)?3?log212?Li2ii ? H?L=1 平均码长 k?13p(x)k?求该信源符号熵H(X)。 用哈夫曼编码成二元变长码，计算其编码效率。 解： 6iH? 11? 01 故码字分别为11，10，00，010，0111，0110 k?(?)?2?3?(?)?4?(比特/符号) ?14 HL(X)?% 3-11 信源符号X有6种字母，效率为。 求符号熵 H(X) 用香农编码编成二进制变长码，计算其编码效率。 用费诺编码编程二进制变长码，计算其编码效率。 用哈夫曼编码编程二进制变长码，计算其编码效率。 用哈夫曼编码编程三进制变长码，计算其编码效率。 若用单个信源符号来编定长二进制码，要求能不出差错的译码，求所需要的每符号的平均信息率和编码效率。 解： 6 Hi1111? ? 信源消息符号xi 11?符号概率累加概率p(