《信息论与编码基础》唐朝京课后答案.pdf

第二章 离散信源 2.1 同时掷出两个正常的骰子，也就是各面呈现的概率都为 1/6，求： (1) “3 和 5 同时出现”这事件的自信息； (2) “两个 1 同时出现”这事件的自信息； (3) 两个点数中至少有一个是 1 的自信息量。 解： (1) bitxpxI xp ii i 170. 4 18 1 log)(log)( 18 1 6 1 6 1 6 1 6 1 )( 22 = =+= (2) bitxpxI xp ii i 170. 5 36 1 log)(log)( 36 1 6 1 6 1 )( 22 = = (3) bitxpxI xp ii i 710. 1 36 11 log)(log)( 36 11 11 6 1 6 1 )( 22 = = 2.2 居住某地区的女孩子有 25%是大学生，在女大学生中有 75%是身高 160 厘米 以上的，而女孩子中身高 160 厘米以上的占总数的一半。假如我们得知“身高 160 厘米以上的某女孩是大学生”的消息，问获得多少信息量？ 解： 设随机变量 X 代表女孩子学历 X x1（是大学生） x2（不是大学生） P(X) 0.25 0.75 设随机变量 Y 代表女孩子身高 Y y1（身高160cm） y2（身高 log6 不满足信源熵的极值性。 = 17 . 0 16 . 0 17 . 0 18 . 0 19 . 0 2 . 0)( 654321 xxxxxx XP X 解： 585. 26log)( / 657. 2 )17. 0log17. 016. 0log16. 017. 0log17. 018. 0log18. 019. 0log19. 02 . 0log2 . 0( )(log)()( 2 222222 6 2 = = += = XH symbolbit xpxpXH i ii 不满足极值性的原因是。 107. 1)( 6 = i i xp 2.11 每帧电视图像可以认为是由 3?10 5个像素组成的， 所有像素均是独立变化， 且每像素又取 128 个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含 有多少信息量？若有一个广播员，在约 10000 个汉字中选出 1000 个汉字来口述 此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等 概率分布，并彼此无依赖）？若要恰当的描述此图像，广播员在口述中至少需要 多少汉字？ 解： 1) symbolbitXNHXH symbolbitnXH N / 101 . 27103)()( / 7128loglog)( 65 22 = = 2) symbolbitXNHXH symbolbitnXH N / 13288288.131000)()( / 288.1310000loglog)( 22 = = 3) 158037 288.13 101 . 2 )( )( 6 = = XH XH N N 课后答案网 课后答案网 2.12 设有一个信源，它产生 0，1 序列的信息。它在任意时间而且不论以前发生 过什么符号，均按 P(0) = 0.4，P(1) = 0.6 的概率发出符号。 (1) 试问这个信源是否是平稳的？ (2) 试计算H(X 2), H(X 3/X1X2)及H； (3) 试计算H(X 4)并写出X4信源中可能有的所有符号。 解： (1) 这个信源是平稳无记忆信源。因为有这些词语： “它在任意时间 而且不论以前发生过什么符 号 ” (2) symbolbitXHH symbolbitxpxpXHXXXH symbolbitXHXH i ii / 971. 0)( / 971. 0)6 . 0log6 . 04 . 0log4 . 0()(log)()()/( / 942. 1)6 . 0log6 . 04 . 0log4 . 0(2)(2)( 2223213 22 2 = =+= =+= (3) 4 22 4 ()4()4 (0.4log 0.40.6log 0.6)3.884 / 0000000100100011 0100010101100111 1000100110101100 1101111011111011 H XH Xbit symbol X = += 信源中可能发出的所有符号为： 2.13 设信源发出二重延长消息 i x yi,其中第一个符号为 A、B、C 三种消息，第二 个符号为 D、E、F、G 四种消息，概率和( ) i P x(|) ji P yx如题 13 表所示，求该二 次扩展信源的共熵 H（XY） 。 A B C ( ) i P x 1/2 1/3 1/6 D 1/4 3/10 1/6 E 1/4 1/5 1/2 F 1/4 1/5 1/6 (|) ji P yx G 1/4 3/10 1/6 解： 课后答案网 课后答案网 ()( ) (| ijiji P x yp x P yx )=根据公式：，先画出二重延长消息的联合概率密度： () ij P x y A B C D 1/8 1/10 1/36 E 1/8 1/15 1/12 F 1/8 1/15 1/36 G 1/8 1/10 1/36 所以： 34 11 ()()3.415/2 ij ij H XYP x ybitsymbol = = 2.14 设有一概率空间，其概率分布为并有。若取 ，其中 21 pp , 21q pppL 21 20pp 1, 10 2 2 1 1 P P P P 因上式等号不成立 log)2( 12 1 + 2） ，所以不能直接连接 1 ( ) 2.66log2.660.72 2.661.9/sec2/sec i i i RH sPbitcbit P = 则从中任取一个码字与中每个码字相加，结果也为一个码字， 且该码字为奇重码（奇重码+偶重码=奇重码） o C i C e C 该运算将得到Q个奇重码， 但由于， 说明产生的奇重码有些不在 集合中，违反封闭性 PQ o C 2）Q +=+11 按照最小距离译码时， 纠错 11 CR 当发出错t 但时，得 1 Ce 2 R 3 R 无论，存在检错圈内，可检 2 R 3 R 1 C 课后答案网 课后答案网 若 );();( 2313 CRdCRd=无法确定错误位置，不可纠 同时可检 e 个错 4、 3)(min 0 0 = i C Cwd i 5、 3 0 =dQ 检错方式下 21 0 =de 纠错方式下1 2 1 0 = = d t 无法满足111 0 +=dQ1 0 +ted 且 te 无法工作在纠检结合方式下 6、不能 课后答案网 课后答案网 第七章 线性分组码第七章 线性分组码 1、解：由得（7，4）码码字： 0 MGC = 信息组 M 码字 C 0000 0000000 0001 0001110 0010 0010011 0011 0011101 0100 0100101 0101 0101011 0110 0110110 0111 0111000 1000 1000111 1001 1001001 1010 1010100 1011 1011010 1100 1100010 1101 1101100 1110 1110001 1111 1111111 = 1000111 0101101 0011011 H 2、解：将题 1 中 16 个码字从上到下表示为 161 VV 0000000 2 V 3 V 16 V 0000001 22 EV + 22 EV + 216 EV + 0000010 32 EV + 33 EV + 316 EV+ 0000100 0001000 0010000 0100000 1000000 82 EV + 83 EV + 816 EV + 第一列的错误图样从上到下表示为，其中为全 0； 81 EE 1 E 课后答案网 课后答案网 3、解：1） T RHS = )111(),110110(=SR )010(),010100(=SR 2）1, 3 0 =td 4、解：由编码规则可得： = 10000111 01001110 00101011 00011101 0 H 4 0 =d 5、解：1）H 矩阵是一个nkn)(阶矩阵，其 n-k 行线性无关， H 为 n+1 列， n-k+1 行矩阵，而新加入的一行与前 n-k 行均不相关1+=knHrank kknnk=+=) 1() 1( 所以，新码为（n+1,k）码。 2）对于新码，由于得最后一行运算得： TT CH0= 0 011 =+ CCCC nn 除全 0 码外，只有偶数个 1 之和为 0，所以，码字重量比为偶数 3）将HH,矩阵按列分块 . 11.11 0. ,. 121 21 21+ = = nn n n hhhh hhh HhhhH Q 原码最小距离为， 则 H 中任意 0 d1 0 d列线性无关， 扩展到 H 矩 阵中，这任意列线性无关，且加入一列也与任1 0 d 1 . 0 1 0 d列无关； 同时原码 H 中相关的列扩展到 0 d H 矩阵后，由于每列增加了一个 1 课后答案网 课后答案网 只有奇数个“1”之和不为 0，所以在 H 矩阵中也不相关，而列可能相关 1 0+ d 新码最小距离为 1 0+ d 6、 = 110100 011010 111001 )3 , 6( G = 100101 010111 001011 )3 ,6( H 7、解：根据汉明限 9 . 6121log)1 (loglog 2 0 2 15 1 1522 =+= = t i i n CCCr 至少取7个校验元 8、解：1）由H矩阵结构可知，它是一个knn+ 21 行， 21 nn +列矩阵 knnHrank= 21 该线性分组码码长为 21 nn +，信息元为k 2）证明：根据线性分组码G与H得关系可知 , 0r T r IQGQIH= 本题 = + T k T knn P I P QQIH 2 1 0 , 21 2121 GGIPIPG kk = 再利用).( 212101 CCGGmmMGC k = 当时，C为全0码字； )0.0(=M 当时，两部分均不为0 0M 21,C C C的非0码字是由非0的码和码链接而成， 1 C 2 C 而，此处 2211 )(,)(dCwdCw)()()( 2121 CwCwCCw+=+ 2121 )(ddCCw+ 证毕！ 课后答案网 课后答案网 第八章 循环码基础第八章 循环码基础 1、1）是循环码。因为码集合中任意码字循环移位都得到一个码字，且该码满足 封闭性，是具有循环移位特点的线性分组码。 2） 1)( 3 +=xxxg = 1101000 0110100 1110010 1010001 0 G 3） = 1001011 0101110 0010111 0 H 2、证： ) 1)(1(1 3524581015 +=+xxxxxxxxxx 所以，为（15，5）循环码的生成多项式 1 245810 +xxxxxx 若信息多项式为 1)( 4 +=xxxM 则校验元多项式 xxxxxxxxMxRxr r xg +=+= 678101114 )( )()( 所以，系统码码字多项式为 xxxxxxxxC+= 678101114 )( 6、1）1 )( ! )( 2357811 += + =xxxxxxx xg x xh n 2）对偶码生成多项式为原码校验多项式的互反多项式 1)()( 3468910111 += xxxxxxxxhxxh k 课后答案网 课后答案网 3) = 1100 0110 0011 1101 1010 0101 1110 0111 1111 1011 1001 11110 IG = 100010011010111 010011010111100 001001101011110 000100110101111 0 H 4) 1, 3 0 =td 若工作在检错方式，可检 2 位以内的错 7、1）编码电路 +D0D1D2D3 门1 门2 m(x) C(x) 1-11拍 12-15拍 若则 1)( 810 +=xxxm1)( 241214 +=xxxxxC 2）当时 1)( 414 +=xxxxR 1)()( 3 )( +=xxRRxs xg 伴随式为（1001） 当时，译码电路如下： 1 14 =e 课后答案网 课后答案网 +D0D1D2D3 门1 控制2，第5- 15拍打开 + + + R(x) 15级缓存器 控制1，第16节 拍打开 D0D1D2D3 e )( xC 译码过程： 节拍 输入 伴随式状态 D0 D1 D2 D3 纠错 e 15 级缓存 器输出 C 0 1 2 3 4 5 6 7 8 9 10 11 12