《信息论-基础理论与应用（第五版）》傅祖芸课后答案

《信息论—基础理论与应用（第五版）》傅祖芸课后答案第一章绪论课后答案一、核心概念题信息、情报、知识、消息及信号的区别与联系区别：①信息是事物运动状态或存在方式的不确定性的消除，是最本质、最广泛的概念；②情报是针对特定对象的、具有决策价值的特定信息，范围较窄；③知识是对信息整理、概括后形成的高层次、具有普遍性的信息；④消息是信息的载体（如文字、语言、图像等），能被感知和传递，同一信息可通过不同消息承载；⑤信号是消息的物理体现（如电信号、光信号），是适合信道传输的物理量。联系：信号承载消息，消息载荷信息，情报和知识是信息的特定形态，四者层层递进、相互关联。香农信息定义的优点和缺点优点：①科学量化：有明确的数学模型（概率模型）和定量计算方法；②贴合日常：与日常用语中信息的核心含义一致；③客观中立：排除主观因素，同一消息对所有收信者的互信息量一致，形式化程度高。缺点：①模型局限：仅基于经典集合论的概率模型，无法覆盖模糊性等非概率不确定性；②忽略主观：未考虑收信者的主观特性、信息的实际用途和重要程度，与实际应用存在偏差。信息的核心特性①普遍性与无限性：存在于一切事物运动过程中，总量无限；②动态性与时效性：随事物变化而更新，价值随时间衰减；③可传递性与可转换性：可通过多种渠道传递，能在不同形式（消息、信号）间转换；④可共享性与可复制性：传递后不消失，可多人同时获取；⑤可度量性：可通过熵、互信息等指标定量描述；⑥相对独立性：与物质、能量并列，但不依赖特定载体独立存在。通信系统模型的核心组成部分及功能①信源：产生随机消息的源头（人、机器等），输出状态具有不确定性但有规律；②编码器：将消息转换为适合信道传输的信号，含信源编码（提高传输效率）和信道编码（提高可靠性）；③信道：传输信号的媒介（如电缆、光纤、无线电波空间），会引入干扰；④译码器：将受干扰的信号反变换为消息，是编码的逆过程；⑤信宿：接收消息的对象（人、机器等），与信源可处于不同时空。信息论的研究目的找到信息传输的普遍规律，实现信息传输的“四性优化”：①可靠性：消息传输尽可能准确、不失真；②有效性：用最少的时间、设备传递最多信息；③保密性：仅授权接收者可获取消息；④认证性：接收者能验证消息的真实性和完整性，防止伪造或篡改。二、简答题为什么说信息与物质、能量是构成世界的三大要素？物质是世界的客观载体，能量是物质运动的动力，而信息是物质运动状态的描述和规律的体现。三者不可分割：任何物质运动都伴随能量转换和信息产生，人类通过获取信息认识物质、利用能量，信息是连接物质与能量的核心纽带，共同构成世界的基础。广义通信系统与狭义通信系统的区别狭义通信系统：仅指以电磁波为传输媒介的传统通信（如电话、广播），核心是信号的传输与转换；广义通信系统：涵盖所有信息传递过程（如生物神经传导、计算机网络、卫星通信），强调信息从信源到信宿的完整流动，包括加密、认证、存储等延伸功能。第二章离散信源及其信息测度课后答案一、计算题假币称重问题：12枚同值硬币，1枚假币（轻重未知），用天平称重，至少称多少次可确定假币？解题思路：利用信息熵量化不确定性，确定最少测量次数。步骤：①总可能情况：12枚硬币中每枚可能是假币（12种），且假币可能重或轻（2种），总不确定性为\log_2(12\times2)=\log_224\approx4.58比特；②每次天平称重有3种结果（左重、右重、平衡），每次测量最多获取\log_23\approx1.58比特信息；③最少测量次数n满足n\times\log_23\geq\log_224，解得n\geq3。结论：至少称3次可确定假币。骰子点数信息量计算：同时扔一对均匀骰子，求以下情况的信息量：（1）点数之和为2；（2）点数之和为8；（3）点数为3和4。解题基础：一对骰子总可能结果数为6\times6=36种，每种结果概率相等（p=1/36），信息量公式I=-\log_2p。计算过程：①点数之和为2：仅（1,1）一种结果，p=1/36，I=-\log_2(1/36)=\log_236\approx5.17比特；②点数之和为8：含（2,6）（3,5）（4,4）（5,3）（6,2）共5种结果，p=5/36，I=-\log_2(5/36)\approx2.85比特；③点数为3和4：含（3,4）（4,3）共2种结果，p=2/36=1/18，I=-\log_2(1/18)\approx4.17比特。星期几咨询的信息量计算：（1）未知今天是星期几时，问“明天是星期几？”的信息量；（2）已知今天是星期四时，问同一问题的信息量。解答：①未知今天是星期几：明天可能是7天中的任意一天，概率p=1/7，信息量I=-\log_2(1/7)\approx2.81比特；②已知今天是星期四：明天必然是星期五，概率p=1，信息量I=-\log_21=0比特（确定事件无信息）。二、概念应用题信源熵的物理意义是什么？为什么信源熵最大时信源最不确定？物理意义：信源熵H(X)=-\sump(x_i)\log_2p(x_i)是信源输出消息的平均不确定性的度量，也是平均每个消息携带的信息量。熵最大原理：当信源所有输出消息的概率相等（均匀分布）时，不确定性达到最大，此时熵值最大。例如，二元信源（0,1）中，当p(0)=p(1)=0.5时，H(X)=1比特，是二元信源的最大熵；若概率偏离均匀分布，不确定性降低，熵值减小。联合熵、条件熵与互信息的关系核心公式：I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)物理意义：①联合熵H(XY)：描述信源X和Y联合输出消息的平均不确定性；②条件熵H(X|Y)：已知Y后，X仍存在的平均不确定性；③互信息I(X;Y)：通过观测Y获得的关于X的平均信息量，即X的不确定性减少的程度。第三章信道与信道容量课后答案（核心要点）一、基础概念题信道容量的定义及物理意义定义：信道容量C是信道能够可靠传输的最大信息速率（单位：比特/符号或比特/秒）。物理意义：信道传输信息的理论上限，香农信道编码定理证明：当信息传输率R\leqC时，存在一种编码方式使传输错误概率任意小；当R>C时，错误概率无法趋近于零。离散无记忆信道（DMC）容量的计算思路核心公式：C=\max_{p(x)}I(X;Y)（在信源分布p(x)上最大化互信息）。计算步骤：①确定信道转移概率矩阵P(y|x)；②构造信源分布p(x)，计算联合分布p(xy)=p(x)P(y|x)；③计算边际分布p(y)=\sum_xp(xy)；④计算互信息I(X;Y)=\sum_x\sum_yp(xy)\log_2\frac{p(y|x)}{p(y)}；⑤遍历所有可能的p(x)，找到使I(X;Y)最大的值，即为信道容量。二、典型计算题二元对称信道（BSC）的容量计算信道模型：输入X=\{0,1\}，输出Y=\{0,1\}，转移概率P(0|1)=P(1|0)=p（错误概率），P(0|0)=P(1|1)=1-p（正确概率）。容量推导：当信源均匀分布p(0)=p(1)=0.5时，互信息最大，此时：C=1-H_b(p)，其中H_b(p)=-p\log_2p-(1-p)\log_2(1-p)是二元熵函数。示例：若p=0.1，则H_b(0.1)\approx0.469比特，信道容量C\approx1-0.469=0.531比特/符号。第四章信源编码课后答案（核心要点）一、核心概念信源编码的目的和分类目的：提高信息传输的有效性，通过压缩冗余信息，用最少的码元传输最多的信息。分类：①无损编码：压缩后可完全恢复原始信息（如霍夫曼编码、算术编码）；②有损编码：允许少量失真，追求更高压缩比（如音频/视频编码）。霍夫曼编码的基本步骤及特点步骤：①将信源符号按概率从大到小排序；②合并概率最小的两个符号，生成新符号，其概率为两符号概率之和；③重复步骤②，直到合并为一个概率为1的符号；④从最终节点回溯，为每个信源符号分配二进制码（左支路为0，右支路为1）。特点：①是最优前缀码（无歧义）；②概率越大的符号编码越短，平均码长接近信源熵，压缩效率高。二、计算题霍夫曼编码示例：信源，概率，求霍夫曼编码及平均码长。编码过程：①排序：x_1(0.4),x_2(0.3),x_3(0.2),x_4(0.1)；②合并x_3(0.2)+x_4(0.1)=0.3，新符号A(0.3)；③排序：x_1(0.4),x_2(0.3),A(0.3)，合并x_2(0.3)+A(0.3)=0.6，新符号B(0.6)；④合并x_1(0.4)+B(0.6)=1.0；⑤回溯编码：x_1=0，x_2=10，x_3=110，x_4=111（或等价编码，如x_3=111,x_4=110）。平均码长：\bar{L}=0.4\times1+0.3\times2+0.2\times3+0.1\times3=1.9比特/符号。信源熵：H(X)=-0.4\log_20.4-0.3\log_20.3-0.2\log_20.2-0.1\log_20.1\approx1.846比特/符号，编码效率\eta=H(X)/\bar{L}\approx97.2\%。第五章信道编码课后答案（核心要点）一、基础概念信道编码的目的和核心思想目的：提高信息传输的可靠性，通过在信息码中加入冗余码（监督码），实现错误检测和纠正。核心思想：利用冗余码建立信息码元之间的约束关系，接收端通过检验该约束关系判断是否出错，并定位错误位置进行纠正。汉明码的基本特性属于线性分组码，参数满足：n=2^r-1，k=n-r，d_{\text{min}}=3（n为码长，k为信息位长，r为监督位长）。纠错能力：能纠正1位随机错误，检测2位随机错误。示例：r=3时，汉明码参数为n=7,k=4,d_{\text{min}}=3（7,4）汉明码。二、应用题（7,4）汉明码的编码与译码示例监督方程（一致校验方程）：设信息位a_6a_5a_4a_3，监督位a_2a_1a_0，监督方程为：a_2=a_6\oplusa_5\oplusa_4a_1=a_6\oplusa_5\oplusa_3a_0=a_6\oplusa_4\oplusa_3（\oplus为异或运算）。编码：若信息位为1010，则a_2=1\oplus0\oplus1=0，a_1=1\oplus0\oplus0=1，a_0=1\oplus1\oplus0=0，编码输出为1010010。译码：接收端计算校正子S=[S_2S_1S_0]，S_2=a_6\oplusa_5\oplusa_4\oplusa_2，S_1=a_6\oplusa_5\oplusa_3\oplusa_1，S_0=a_6\oplusa_4\oplusa_3\oplusa_0。若S=000无错误，否则S的十进制值即为错误位位置（如S=010表示a_1位出错，取反纠正）。第六章网络信息论课后答案（核心要点）网络信息论与经典信息论的区别经典信息论：研究单信源、单信道、单信宿的点对点通信；网络信息论：研究多信源、多信道、多信宿的通信网络（如广播信道、多址接入信道、中继信道），核心是解决网络中信息的分配、协作与优化问题。多址接入信道（MAC）的容量区域定义：所有可达速率对(R_1,R_2)的集合，满足：R_1\leqI(X_1;Y|X_2)R_2\leqI(X_2;Y|X_1)R_1+R_2\leqI(X_1,X_2;Y)物理意义：两个信源同时向同一信宿传输信息时，速率对需落在容量区域内才能可靠传输。第七章信息论的应用课后答案（核心要