《信息论与编码》答案

1、第四章4.1解：依题意可知：失真矩阵：d =0，转移概率p(b I a )=1 -881 0j i81 -8_信息论与编码信息率失真函数习题答案平均失真：D =竟 2 p(a ) p (b I a )d (a , b ) i j i i ji=1 j =1=1/2x(1 -8)x0 +1/2xe x 1 +1/2xe x 1 +1/2x(1 -8)x0 = 84.2解： . 一一一 0 11依题意可知：失真矩阵：d=，2 0D . = p(x)mind (x , y .) = 1/2 x 0 +1/2 x 0 = 0D = min D = min p(x )d(x , y ) = 1/2 x

2、0 +1/2 x 1 = 1/2(1/2 x 2 +1/2 x 0 = 1 舍去)j i当 D = 0，R(D ) = R(0) = H(X) = log 2 = 1bitminmin1 0因为没有失真，此时的转移概率为P = c .当D = 1/2，R(D ) = 0max因为取的是第二列的罗 值，所以输出符号概率:p(b1) = 0,p(b2) = 1,此编码器的转移概率为P=4.3 解：D = min D = min p( x )d (x , y ) = 4x1 + x1 + x1 + x 0 = maxji i j 44444i1111=p(x )mind(x ,y ) = x0 +

3、x0 + x0 + _x0 = 0i j i i 4444R( D ) = R (0) = H (X) = log 4 = 2bitDmini当 Dmin = 0，min因为没有失真，此时的转移概率为P=1000010000100001当D = 3/4，R(D ) = 0因为任何一列的D值;匀为3/4，所以取输出符号概max率:p(b ) = 1, p(b ) = 0, p(b ) = 0, p(b4) = 013000100010001000码器的转移概率为P=即 a b ,a b ,a b ,a b 因此编112131414.4解：依题意可知：失真矩阵：d =1/4一1/4Dmaxp3.)

4、mind(x ,y ) = 1/2x 0 +1/2x 0 = 0=min D = min p(x )d(x , y ) = min(1 / 2 x 1/4 +1/2 x 1/4) = 1/4(其它2个均为1/2)， J /，R (D ) = R(0) = H (X) = log 2 = 1bit当 Dmin = 0，min因为没有失真，此时的转移概率为P=0 一0_当 D = 1/4，R (D) = 0max因为取的是第三列的DL值为1/4,所以取输出符号概率:p(b ) = 0,p(b2) = 0, p(b3) = 3，即a b ,a b因此编码器的转移概率为P =13234.5 解：(1)

5、依题意可知：失真矩阵：d =，转移概率为:P=D =彦p(x )p(y I x )d(x , y ) = p x 1 x 0 + p x 0 x 1 + (1 - p) x q x 1 + (1 - p) x (1 - q) x 0/ i i Ji=1 J=1= q x (1 - p )min(2) D = p(x )mind(x ,y ) = p x 0 + (1 - p) x 0 = 0一 .J因为R(D)是D的递减函数，所以max( R(D) = R(D . ) = H(p) - H (D . ) = -p log p - (1 - p)log(1 - p)当q = 0时可达到max(#

6、(D)，此时D = 0 D = min D = min p(x )d(x , y ) = p x 0 + p x 1 = p(另一个 1-p更大，舍去)/ i，因为R(D)是D的递减函数，所以min( R (D) = R (D) = H (p) - H (D ) = 0当q = 1时可达到min(R(D)，此时D = 1 - p(图略，见课堂展示)4.6 解：依题意可知：失真矩阵：d =信源P(U )01/21/2D =Z p(x )mind(x ,y ) = 1/2x0 +1/2x0 = 0 , mini，1 JD = minD = minZ p(x )d(x , y ) = min(1 /

7、2x0 +1/2x3,1/2x3 +1/2x0,1/2x 1 +1/2x 1)J i，=min 3,3,1 = 1(另二个3, 舍去)0 D 1因为二兀等概信源率失真函数：(D R (D) = ln n - H 其中n = 2,a = 1,所以率失真函数为:R( D) = 1 - D4.7解：失真矩阵为0 1d =10 1，按照P81页方法求解(例4-5是二元输入和输入，本题是三元输入和输入,1 1 0超麻烦！明天再算好发送过来噢)4.8信息率失真函数R(D)物理意义：R(D)是信源给定的情况下，在可容忍的失真度内再现信源消息所必须获得的最小平均信 息量；R(D)是反映给定信源可压缩的程度；R

8、(D)求出后，就与选择的试验信道无关，而只是信源特性的参量，不同的信源，其R(D) 是不同的。R(D)函数的性质：性质1 : R(D)在定义域内是下凸的性质2 : R(D)在定义域内是连续的性质3 : R(D)在定义域内是单调递减的因此：R(D)是非负函数，定义域0Dmax值域0H(X)；R(D)是单调不增、下凸的连续函数。信息论与编码课后习题解答假设一副充分洗乱了的扑克牌(含52张牌)，试问任一特定排列所给出的信息量是多少？若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？解：52张牌共有52!种排列方式，任一特定的排序方式是等概率出现的，则所给出的信息量是:(、1p(x )=i 5

9、2!I (x.) = - log p (x.) = log52!= 225.581 bit(2) 52张牌共有4种花色、13种点数，从中抽取13张点数不同的牌的概率如下：413P(x )=i C13 52413I(x ) = -logp(x ) = -log= 13.208 bitiiC13522.3居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高 160厘米以上的占总数的一半。假如我们得知“身高160厘米以上的某女孩是大学生”的消息，问获得多 少信息量？解：设随机变量X代表女孩子学历，则是大学生的概率为P(xJ/=，不是大学生的概率为P(x2 =

10、。设随机变量Y代表女孩子身高，则身高大于160cm和小于160cm的概率分别为P(y1)=0.5、P(y2)又有已知：在女大学生中有75%是身高160厘米以上的， 即：p(y / x ) = 0.75 bit所以身高160厘米以上的某女孩是大学生的信息量 即：I(x /y ) = -logp(x /y ) = -log p(xp(yx=-log0.2*?75 = 1.415 bit1 11 1p (y1)0.52.4设离散无记忆信源P( X )x = 03/8x = 11/4x = 21/4此消息的自信息量是多少？此消息中平均每符号携带的信息量是多少？解：(1)此消息总共有14个0、13个1、

11、12个2、6个3,因此此消息发出的概率是:此消息的信息量是：I = -logP = 87.811 bit(2)此消息中平均每符号携带的信息量是：I/n = 87.811/45 = 1.951 bit2.5从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位男士： “你 是否是色盲？ ”他的回答可能是“是”，可能是“否”，问这两个回答中各含多少信息量，平均每个回答中 含有多少信息量？如果问一位女士，则答案中含有的平均自信息量是多少？解：男士：p(x ) = 7%I(x ) = -logp(x ) = -log0.07 = 3.837 bitp(x ) = 93%I

12、气)=-logp(XN) = -log0.93 = 0.105 bitH(X) = -22 p(x )logp(x) = (0.07log0.07 + 0.93log0.93) = 0.366 bit/symboli女士：H(X) = -2 p(x )log p(x ) = -(0.005log0.005 + 0.995log0.995) = 0.045 bit / symbol iii同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：(1) “3和5同时出现”这事件的自信息； “两个1同时出现”这事件的自信息；两个点数的各种组合(无序)对的熵和平均信息量；解：(1)p(x ) = 1 X 1 + 1 X 1 = 1i 6 6 6 6 18I(x ) = 一logp(x ) = 一logL = 4.170 bitii 18(2)p(x ) = 1X1 = -1i 6 6 36I(x ) = 一logp(x ) = 一logL = 5.170 bit 36(3)两个点数的排列如下：111213141516212223242526313233343