信息论与编码答案

1、信息论与编码（第二版）曹雪虹的回答第二章2.1马尔可夫源有三个符号，转变概率为：绘制状态图，求出各符号的稳态概率。解：状态图如下所示状态转移矩阵如下所示将状态u1、u2、u3稳定的概率分别设为W1、W2、W3得到由得订正算法由2.2代码集 0，1 构成的二次马尔可夫链的转变概率产生=0.8、=0.2、=0.2、=0.8、=0.5、=0.5、=0.5、=0.5、=0.5的状态图，并且校正每个状态的稳态概率。解：这样，可以按如下方式列出转变概率矩阵状态图如下所示设各状态00、01、10、11的稳态分布概率为W1、W2、W3、W4时必须加以修正2.3同时出现两个正常的骰子，即各面出现的概率均为1/6

2、，求出(1) “3和5同时出现”事件的自我信息(2)“两个一同时出现”事件的自我信息(3)两个分数的各种组合(无序)对的熵和熵量(4)两个分数之和(即，由2、3、12组成的子集)的熵(5)两个分数中至少有一个是1的自我信息量。解： (1) (2)(3)两个点的排列如下111213141516212223242526313233343536414243444546515253545556616263646566有21个组合其中11、22、33、44、55、66的概率为其它15个的组合的概率(4)参考上述两个分数的排列，两个分数的合并概率分布如下(5)二-四2.5某地区25%的女孩是大学生，75%

3、的女大学生身高160厘米以上，女孩中身高160厘米以上占总数的一半。 如果知道“身高160厘米以上的女孩是大学生”的新闻，能得到多少信息量？解：设随机变量x表示女孩的学历xx1(大学生)x2(不是大学生)对号0.250.75设随机变量y表示女孩的身高yy1(身高160厘米)y2(身高160厘米)p (空间)0.50.5众所周知，75%的女大学生身高在160厘米以上即：求：身高160厘米以上的女孩是大学生的信息量即：2.6掷两个骰子，上面的小点之和为3时，该信息中包含的信息量是多少？小点之和为7时，该信息中包含的信息量是多少？解：1 )点之和为3的概率这条信息从信息量2 )点之和为7的概率这条信

4、息从信息量2.7提供离散无记忆源，其概率空间为(1)求每个符号的自信息量(2)来自始发者的消息符号序列为 2021201302130012032103210021032011223210 ，并对该序列的自信息量和每个符号所具有的信息量进行平均解：同样可以求出由于信道源没有存储，因此消息序列的信息量等于该序列内的每个符号的信息量的和有的每符号的便携信息量是比特/符号2.8四进制八进制脉冲中包含的信息量是二进制脉冲的几倍？解：四进制脉冲可以表示四个不同的消息。 可以表示八条不同的消息，例如0、1、2、3、4、5、6、7。二进制脉冲可以表示两个不同的消息，如 0，1 假设每条消息的发送是等概率的：四

5、进制脉冲的熵信息量八进制脉冲的熵信息量二进制脉冲的熵因此，4进制、8进制脉冲中包含的信息量分别是2进制脉冲信息量的2倍和3倍。2-9 “-”用3脉冲“”用1脉冲1) I()=I(-)=(2) H=2-10 (2) P (黑/黑)=P (白/黑)=H(Y/黑)=(3) P (黑/白)=P (白/白)=H(Y/白)=(4) P (黑)=P (白)=H(Y)=。2.11有可旋转的圆盘，盘面上平均分为38份，用1，38的数字表示，其中2份涂绿色，18份涂红色，18份涂黑色，圆盘停止后，盘面上的指针指的是某个数字和颜色。(1)如果只对颜色感兴趣，则修正平均不确定度。(2)如果只对颜色和数字感兴趣，则修正

6、平均不确定度(3)如果知道颜色，则校正条件熵解：如果指定x表中有指针的数字，则x= 1，2，2，38y表示指针指向某种颜色，Y=l绿、红、黑y是x的函数，从题意上可以看出来(1)位/符号(2)位/符号(3)位/符号2.12两个实验x和y、X=x1 x2 x3、Y=y1 y2 y3、l联合概率为(1)如果有人告诉我x和y的实验结果，你得到的熵量是多少？(2)如果有人告诉我y的实验结果，你得到的熵量是多少？(3)如果知道y的实验结果，请告诉我x的实验结果，你得到的熵量是多少？解：联合概率是多少？yxy1y2y3x1七月二十四日二十四分之一0x2二十四分之一四分之一二十四分之一x30二十四分之一七月

7、二十四日=2. 3比特/符号x概率分布xx1x2x3p型八月二十四日八月二十四日八月二十四日位/符号y概率分布=0. 72比特/符号yy1y2y3p型八月二十四日八月二十四日八月二十四日2.13有两个二维随机变量x和y，它们的联合概率是y-x系列机动战士x1=0x2=1y1=0八分之一三分之八y2=1三分之八八分之一定义另一个随机变量Z=XY (一般乘积)，并尝试进行修正运算h (x )、H(Y )、H(Z )、H(XZ )、H(YZ )和H(XYZ )。H(X/Z )、H(Y/X )、H(X/Z )、H(Z/X )、H(Y/Z )、h(z/z )(3) I(X )； y )、I(X； z )

8、、I(Y )； z )、I(X； Y/Z )、I(Y； Z/X和I(X； Z/Y )。解：(1)Z=XY的概率分布如下。(2)(3)二一四(1)P(ij)=P(i/j)=(2)方法1:=方法2:2-15战斗机P(j/i)=2.16黑白传真的信息源只有黑白两种，即X=黑，白，在一般气象图中，黑的出现概率p (黑)=0.3，白的出现概率p (白)=0.7。(1)将黑白信息视为前后无关，求出源熵H(X )，描绘该源的香农线图(2)实际上各要素之间存在关联，其转变概率为p (白|白)=0.9143、p (黑|白)=0.0857、p (白|黑)=0.2、p(3)比较两种源熵的大小，说明原因。解： (1)

9、比特/符号p (黑|白)=P (黑)p (白|白)=P (白)p (黑|黑)=P (黑)p (白|黑)=P (白)根据(2)题意，这个一次马尔可夫连锁平稳(p (白)=0.7不随时间变化，p (黑)=0.3不随时间变化之间的变化)=0. 512比特/符号2.17每帧的电视图像可以认为由3105个像素构成，所有像素独立变化，各像素又取128个不同的亮度等级，亮度等级设为等概出现，并询问各帧的图像中包含有多少信息量。 播音员从大约10000个汉字中选择1000个汉字来口述电视图像，并请播音员说明该图像所播放的信息量是多少(假定汉字词汇是等概率分布，彼此不依赖)。 为了正确地记述这张图像，播音员在口

10、述时至少需要多少汉字解：1)二)三)2.20给定语音信号样本值x的概率密度对Hc(X )求得并确保小于相同方差的正规变量的连续熵。解2.24连续随机变量x和y的联合概率密度是： H(X )，H(Y )，H(XYZ )和I(X； y )。(提示：)解：2.25个无存储器源的码元集合是 0，1 ，在其中已知P(0)=1/4，P(1)=3/4。(1)求符号的平均熵(2)有100个符号的序列，求某特定序列(例如有m个“0”和(100 )个“1”)的自信息量的公式(3)修正(2)中的系列的熵。解：(1)(2)(3)二二六P(i)=P(ij)=H(IJ)=2.29有一阶平稳马尔可夫链，其中每个Xr取集合的

11、值，并且已知的开始概率P(Xr )的转移概率如下图所示日本职业足球联赛123123二分之一三分之二三分之二四分之一0三分之一四分之一三分之一0(1)求出的联合熵和平均符号熵(2)求出该链的极限平均码熵(3)对它们进行修订，说明对应的冗长性解： (1)符号X1、X2的联合概率分布1231四分之一八分之一八分之一2六分之一0十二分之一3六分之一十二分之一0123四月二十四日五月二十四日五月二十四日X2的概率分布那么=1. 209比特/符号X2X3的联合概率分布1231七月二十四日七月四十八日七月四十八日2五月三十六日0五月十二日3五月三十六日五月十二日0那么=1. 26位/符号/符号所以平均码熵/

12、码(2)将a 1，a2，a3稳定的概率分布分别设为W1，W2，W3，转变概率设为距离矩阵从得到的修正算中得到满足不可约性和非周期性/符号(3)/符号/符号/符号2-30 (1)稳态概率P(j/i)=求解方程组(2)源熵为：二三一P(j/i)=解方程组为W1=、W2=、W3=2.32一次马尔可夫源的状态图如图213所示，其中，源x的符号集合是(0，1，2 )。(1)求发信源稳定后的概率分布P(0)，P(1)，P(2)(2)求该源的熵(3)在近似地考虑该源无记忆的情况下，编码的概率分布成为平滑的分布。 求近似源的熵H(X )，并将其与解：基于香农图列举转移概率的距离矩阵将使状态0、1、2平稳后的概

13、率分布分别设为W1、W2、W3修正后得到可以通过一次扫描得到从最大熵定理可以看出符号存在极大值可替代地，也可以按照以下方式确定极大值：的存在所以当p=2/3的时候0第二个实验比第一个实验好P(y1y2x )000110110四分之一000100四分之一020四分之一0四分之一(2)由于y 1和Y2相互独立，P(y1y2|x )00011011010001001020二分之一0二分之一y1y200011011p型四分之一四分之一四分之一四分之一位/符号=1. 5比特/符号由此可知，进行2个实验的情况与单独进行Y1相比，关于x的信息量多，与单独进行Y2相比，0.5比特的信息量多。(3)=1.5-1=0. 5比特/符号创建