信息论基础各章参考答案

各章参考答案2．1．（1）4.17比特；（2）5.17比特；（3）1.17比特；（4）3.17比特2．2．

1.42比特2．3．（1）225.6比特；（2）13.2比特2．4．（1）24.07比特；（2）31.02比特2．5．（1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡②左倾③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。（2）第三次称重类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时,第三步用一个真币与其中一个称重比较即可。对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息.2．6．（1）＝15比特；（2）1比特；（3）15个问题2．7.

证明：（略）2．8．证明：（略）2．9．，，，，。2．10．证明：（略）2．11.证明：（略）2．12.证明：（略）2.

13.（１），，，，（２），，，，，（３），，，，（单位均为比特／符号）2．14.（１），（２），（３）2．15．（１），，，；（２）；；（３），（单位均为比特／符号）2．16．（１），（２）比特／符号，（３），；（４）第（３）种情况天气预报准确率高，原来的天气预报有意义。2．17.

（１）提示：方差为０，表明随机变量是常数，设；（２）；表明独立；（３）对于（ａ）有：，，；对于（ｂ）有：，。2．18.证明：（略）2．19.证明：（略）2．20．证明：（略）3.1

证明：（略）3.2

（１）０.811比特/符号，（２）41.48＋1.58m比特（m为０的个数）（３）81.1比特／信源符号3.3

证明：（略）3.4证明：（略）3.5

（１）（２）3.6

证明：（略）3.7

（１），（２）,3.8

3.9

（1），，（2），，3.10

（1）比特/符号，比特/符号（2）比特/符号（3）比特/符号，比特/符号，比特/符号3.11

（1），（2），（3）当时，达到最大值为，当时，熵为0，当时，熵为；（4）3.12（1），,；（2）比特/符号，比特/符号，；（3）比特/信源符号3.13（1）有；（2）

（3）3.14

比特/符号3.15

3.16

（1）周期：3；（2）；（3）0．9477比特/符号3.17

证明：（略）3.18

过渡状态：C

；遍历状态：A,B4.1（1）比特/符号，比特/符号，比特/符号，比特/符号；（2）比特/符号，。4.20.0817比特/符号4.3（1）；

，（2）；（3）（4），4.4（1）比特/符号；（2）；（3）0.0032比特/符号，，4.5（1）；（2）；（3）时，输入等概率。4.6，，4.7比特/符号，其中4.8证明：可求得n各级联信道转移概率矩阵为：

，容量

，当时，4.9（１）证明：（略）（２）

，输入等概率．4.10（1）准对称信道：（2）准对称：5.1（1）；（2）0.001675.2（1）；（2）5.3

否；是；5.4

设长度为j的码序列个数为，则，解得：，;5.5

(1)比特/符号，（2），（3），，，；（4），，，，5.6

，，比特/符号5.7

%5.8（1）比特/符号；（2），；（3），；（4）5.9

24种最优码，8种Huffman码。5.10

（1），，；（2）：，，；：，；：不编码（3）5.11

（1）；（2）5．12

（略）5．13

2，3，3，1，3，4，5，10，11，6，105．14

（略）5．15

6.1

1.6Kbps6.2（1）200bps;

（2）198.56bps6.3（1）,,或，，，或，；（2），，；（3）当时，两准则同6.4，，，6.5（1）0.5比特/符号（2对每个传送消息，译码后结果是唯一的，所以译码差错率为06.6（1）；（2）用1个符号传送2个消息，消息编码为1，消息编码为3；（3）5个消息，编为：，，，，，（4）采用编码：，，，，各接收序列不相交，唯一，此时可译，所以译码差错为0。6.7（1）；（2）；（3）或（4）最多能纠1个错6.8

译码原则，，，，，，，，，6.9

（1）0.26比特；（2）第2枚；（3）；（4）6.10（1）；（2）已给定，采用如下编码方式：将信息编成长为m的二元序列，每个二元符号最多发送K次，若其中有一个符号连续接收错误，则判定码字传输错误。设，i为消息序号，则，根据或令来选择K。通过可得平均传输每个二元符号需要的传送符号数为，所以信道编码的平均码为，所以。满足设计要求。6.11

（1），，，

；（2），，或或；（3）设重复码，，长度为，接收当接收序列中含1个“0”，或“1”就判为“0”或“1”，，当时，。6.12

证明：（略）6.13（1）（ⅰ），其中；（ⅱ）；（ⅲ）比特/符号（2）（ⅰ），（ⅱ）6.14

（1），；（2）；（3），，，；（4）与“择多译码”方式不同；（5），，当时，都趋于0。6.15证明：，其中第一次最大，所以，可证明级数收敛，所以当时，。6.16（1）不能；（2）10.87秒。6.17设信源模型为，每秒发出2.5个信源符号，将此信源的输出通过某一个二元无噪信道传输，且每秒只传送两个符号；解：（1）不能；（2），采用适当编码可以通过信道无失真传输；（3）采用二次扩展Huffman编码：，，，，平均码长，，满足传输要求。7.1（1）；（2）。7.2。7.3，，，。7.4，，。7.5，，，。7.6证明：（略）7.7，，（后面两个没有答案）7.8。7.9，，，，：欧拉常数7.10。7.11。7.12证明：（略）7.137.14满足，。7.15（1）；（2）。8.1

（1），，；（2）。8.2

（1）证明略；（2）。8.3

（略）8.4

（略）8.5

证明：（略）8.6

（1），，，，比特/自由度（2），，，，比特/自由度8.7

（略）．8.8

（1）30.9kbps

;(2)1.44Mbps

;(3)140Mbps

.8.9（1）；（2），，；（3），。8.10（1）；（2）9710Hz

。8.11

（略）．8.12

（略）8.13解：（1）；（2）8.14

（略）8.15

证明：（略）8.16

证明：（略）8.17

解：（略）9．1解：，，9．2证明：（略）9．3解：，，9．4