2022年《信息理论与编码》-答案-考试重点(1--3章)

1、.编辑版编辑版.编辑版?信息理论与编码?习题参考答案1. 信息是什么?信息与消息有什么区别和联系?答：信息是对事物存在和运动过程中的不确定性的描述。信息就是各种消息符号所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数据等的具体表现形式。2. 语法信息、语义信息和语用信息的定义是什么？三者的关系是什么？答：语法信息是最根本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。语用信息是信息的最高层次。它以语法、语义信息为根底，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使

2、用者的效用和价值。三者之间是内涵与外延的关系。第2章1. 一个布袋内放100个球，其中80个球是红色的，20个球是白色的，假设随机摸取一个球，猜测其颜色，求平均摸取一次所能获得的自信息量？ 答：依据题意，这一随机事件的概率空间为 其中：表示摸出的球为红球事件，表示摸出的球是白球事件。a)如果摸出的是红球，那么获得的信息量是比特b)如果摸出的是白球，那么获得的信息量是比特c) 如果每次摸出一个球后又放回袋中，再进行下一次摸取。那么如此摸取次，红球出现的次数为次，白球出现的次数为次。随机摸取次后总共所获得信息量为d)那么平均随机摸取一次所获得的信息量为2. 居住某地区的女孩中有25%是大学生，在女

3、大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假设我们得知“身高1.6米以上的某女孩是大学生的消息，问获得多少信息量？答：设事件A为女孩是大学生；设事件B为女孩身高1.6米以上。根据题意，那么知：而“身高1.6米以上的某女孩是大学生这消息说明是在B事件发生的条件下，A事件发生。所以其概率为根据贝叶斯定律可得那么得知“身高1.6米以上的某女孩是大学生这消息，能获得的信息量比特3. 设一个系统传送10个数字：0,1,2,9。奇数在以0.5的概率传送时，接收端有可能错误地判断成为另外的奇数，而其他数字完全正确地接收。求收到一个数字后平均得到的信息量？答：发送集合接收集

4、合其中因为所以最后得：比特/符号4. 某一无记忆信源的符号集为0,1，信源的概率空间为。(1)求信源熵。(2)求由个“0”和(100-)个“l构成的某一特定序列的自信息量的表达式。(3)计算由100个符号构成的符号序列的熵。答：1信源熵为2该特定序列用表示那么3因为信源是无记忆信源，所以5. 有一离散无记忆信源，其输出为，相应的概率为，设计两个独立实验去观察它，其结果分别为，。条件概率如表2-4所示。表2-4 习题5表010101001010111021/21/2201(1)求和，并判断作哪一个实验好些。(2)求，并计算作Y1和Y2两个实验比作Y1或Y2中的一个实验各可多得多少关于的信息。(3

5、)求和，并解释它们的含义。答：1，要求和需要先求，。，要求和需要先求，。由及联合概率分布与边缘概率分布的关系可得及，如表2-1所示：表2-1 010101/4001/40101/411/4021/41/4201/21/21/21/21/2所以同样可求出及，如表2-2所示：所以因此第二个实验好些。2，因此要求出，和。由于、是相互独立的实验，所以。见表2-2和表2-3表2-2 000110110100010010201/201/2表2-3 0001101101/40001001/40201/401/41/41/41/41/4可以看到：做和两个实验比做一个实验可多得到的信息为可以看到：做和两个实验比

6、做一个实验可多得到的信息为3，它表示做完实验以后，从实验可得到关于的信息量。，它表示做完实验以后，从实验可得到关于的信息量。6. 设信源通过一干扰信道，接收符号为，信道传递概率如图2-7所示。求：(1)信源中事件和分别携带的自信息量。(2)收到消息后，获得的关于的信息量。(3)信源和信源的信息熵。(4)损失熵和噪声熵。(5)接收到消息后获得的平均互信息。图2-7 习题6图答：1因为所以(比特)(比特)2收到消息的概率为：所以收到消息后获得的关于的信息量即为：(比特/符号)(比特/符号)(比特/符号)(比特/符号)3(比特/符号)(比特/符号)4其中所以噪声熵：(比特/符号)损失熵：(比特/符号

7、)5接收到消息后所获得的平均互信息量为：(比特/符号)7. 某信源的消息符号集的概率分布和二进制代码如题表2-5所示。表2-5 习题7表信源符号概率1/21/41/81/8代码010110111试求：(1)消息的符号熵。(2)平均每个消息符号所需要的二进制码元的个数或平均代码长度结果求码序列中的一个二进制码元的熵。(3)消息是由符号序列组成的，假设各符号之间相互独立，假设其对应的二进码序列中出现“0”和“1”的无条件概率为和，求相邻码间的条件概率、。答：1信源熵为2设平均代码长度为，那么二进制码元的熵为3由于符号间相互独立，因此，为求相邻码元间的条件概率，先求相邻码元间的联合概率：所以同理8.

8、 二次扩展信源的熵为，而一阶马尔可夫信源的熵为，试比较两者的大小，并说明原因。答：二次扩展信源的熵是一个联合熵，其值应该大于单符号信源熵，而马尔可夫信源的熵是一个条件熵，其值小于单符号信源熵。马尔可夫信源符号间的依赖关系提供了额外的信息量，从而减小了信源的不确定性。9. 设有一个马尔可夫信源，它的状态集为,符号集为，及在某状态下发出符号的概率为，如图2-8所示。图2-8 习题9图试求：(1)求出图2-8中马尔可夫信源的状态极限概率，并找出符号的极限概率。(2)计算信源处在某一状态下输出符号的条件熵。(3)求出马尔可夫信源熵。答：由状态图得：所以信源的状态极限概率为：所以信源的符号极限概率为：信

9、源处在某一状态输出符号的条件熵为：(比特/符号)(比特/符号)(比特/符号)马尔科夫信源熵为： (比特/符号)10. 一个马尔可夫过程的根本符号为0，l，2，这3个符号等概率出现，并且具有相同的转移概率。(1)画出一阶马尔可夫过程的状态图，并求稳定状态下的一阶马尔可夫信源熵H1。(2)画出二阶马尔可夫过程的状态图，并求稳定状态下二阶马尔可夫信源熵H2。答：状态图略1一阶马尔可夫过程共有3种状态，每个状态转移到其他状态的概率均为1/3，设状态的平稳分布为，根据可得，3种状态等概率分布。一阶马尔可夫信源熵为信源剩余度为2二阶马尔可夫信源有9种状态，同样列方程组求得状态的平稳分布为二阶马尔可夫信源熵

10、为信源剩余度为由于在上述两种情况下，3个符号均为等概率分布，所以信源剩余度都等于0。11. 证明对于平稳信源有，并说明等号成立的条件。答：设离散平稳信源输出的随机符号序列为。又设，而且都取自于同一符号集，并满足有，在区域0,1内设，在内是上凸函数，所以满足詹森不等式 其中现令，设其概率空间为，并满足所以根据詹森不等式得所以 上式对所有的取值都成立，所以即所以因为，所以上式两边相乘，等号不变。有上式对所有都成立，所以对所有求和下式也成立因为所以是平稳信源得只有当对所有时等式成立。证毕12. 在一个33的国际象棋棋盘上，试求：(1)“王随机行走的熵率。(2)相同情况下“车、“象和“后对应的熵率(“

11、象分为两种)。 答：1由于“王不能停在当前格上，必须走一步，所以就9个状态的稳态分布为其中是从第格出发能够到达的格子数，。通过简单的计算可得：，再根据“随机行走的意义可得因此最终结果为2“车不管在哪个格子，它都有4个走向，例如它在1号格子，它可以去2、3、4、7号格子，因此状态的稳态分布为均匀分布：，车随机行走的熵率为同样可得；13. 求具有如下概率密度函数的随机变量的熵。(1)指数分布(2)(3)单边高斯密度答：1奈特/样值2奈特/样值3设表示高斯密度函数，它的微分熵为。单边高斯分布的微分熵为 因为比特/样值14. 连续随机变量和的联合概率密度为试求，和。答：15. 一信源产生的时不变波形信

12、号(即信号统计特性不随时间而变)的带宽为4kHz，幅度分布为试求该信源的信息输出速率。答：该信源的绝对熵由于此题中，并不趋于0，所以奈特/样值按照奈奎斯特定理，对该波形信号的抽样率至少为。信源的输出信息率为：奈特/秒第3章1. 假设一个二元等概率离散无记忆信源，通过一个二进制对称信道，表示符号传输过失，其失真函数和信道转移概率分别为，试求失真矩阵和平均失真度。答：由式3-4的失真矩阵可得由信道转移概率矩阵和式3-7可以得到，平均失真度为2. 一个等概率无记忆信源，其失真函数为试求：(1)率失真函数；(2)当信源，时的。答：1失真函数矩阵为由信道对称性可设信道转移概率矩阵为由得， 允许失真为又因

13、为，由3-13可得率失真函数为2当信源，时，3. 设一个符号等概率输出的离散无记忆信源的失真函数矩阵为试求：(1)率失真函数；(2)信道转移概率。答：由失真函数可知通过的信道为对称信道，故可设对称性可设信道的转移概率那么由信源概率分布和信道转移概率分布可得到信宿接收信号的概率分布，得那么最大限定失真度因为信宿的信息熵为可以求出信息率失真函数信道转移概率矩阵为4. 设一等概率离散无记忆信源，信宿接收符号，其失真函数矩阵为试求最大失真度、最小失真度和率失真函数。答：由对称信源和失真函数矩阵可知，它的平均失真度再根据最大失真度的定义，有根据率失真函数定义可得5. 设一个进制离散无记忆信源的失真函数为

14、试证明：。证：由失真函数的对称性和信道转移概率矩阵的归一性可以求得可以求得 。进一步可求得率失真函数证比。6. 设一个等概率离散无记忆信源，信宿接收符号为，其失真函数矩阵为 试求信源的最大失真度和最小失真度，并求选择何种信道可以满足最大失真度和最小失真度的要求。答：由最大平均失真度的定义可知最小失真度为如果信道要到达最大失真度，信道的转移概率矩阵为，或，或如果信道要到达最大失真度，信道的转移概率矩阵为，或，或7. 一个等概率离散无记忆信源，信宿接收符号为，失真函数矩阵为试求信源的率失真函数。答：由失真函数可以看出,信源输出消息符合为0,1,且等概率，信宿接收到的消息符号有3个，分别为0，1，2

15、，由失真函数可知：；。由于失真度为对称性，亦为对称性，并由概率归一性，故可进一步假设转移概率矩阵：其中，假设为信道的转移概率。将代入到转移概率矩阵，得到：再由概率性质，求得信宿端各符号的概率分布为进而可以得到信宿接收的各消息的概率分布由此可以得到：最后可求得：比特/信源符号8. 设一等概率离散无记忆信源，其失真函数为汉明失真函数，(1)试求最小失真度和。(2)试求最大失真度和。(3)假设最大允许失真度，试问信源每一个符号的平均二进制码长是多少？答：汉明失真函数和信道转移概率矩阵分别为，1最小失真度和分别为，。2最大失真度和分别为=09. 设一离散无记忆信源，每秒发出2.66个符号，通过一个二进制无噪信道传输，该信道每秒仅能传两个二进制符号，试问：(1)该信道能否实现对该信源符号的无失真传输。(2)如果不能，在失真度为汉明失真的条件下，该信道的最大允许失真为多少？答：1由信源可以求得该信源的熵比特/信源符号信源输出的信息率为比特/秒，而在二元无噪无损信道中传输时，由于该信道每秒仅能传两个二进制符号，即信道的最大信息传输率为比特/秒根据信道编码定理，无论采用何种信源编码都必