信息论基础试卷及详细答案.pdf

信息论基础模拟试题 命题者:08 级命题委员会小组 高级顾问：韩海清 一填空题 1.某随机变量集合有 n 个符号，其最大熵为logn（26 面） 2.一个线性分组码 C=000000,111111，该分组码的纠错个数为2（136 面） (提示：观察两个字符串不同数字的个数，设为 n，则纠错个数为 2 1n ，在本题中 n=6，所 以答案为 2) 3.I(X;Y),H(Y),H(Y|X)之间的关系为 I(X;Y)=H(Y)-H(Y|X)， H(X),H(X|Y)之间的关系为 H(X|Y)H(X) （26，27 面） 4.若信源符号数为 q，码符号数为 r，对信源符号进行编码，相应码长度为 q ll. 1 ，则异前 置码存在的充要条件是：1 1 = q i li r(课本 88 面，Kraft 定理) 5.加性高斯白噪声 （AWGN） 信道实现可靠通信的信噪比的下界为 -1.59db （课本 173 面） 6.一维高斯随机变量集的熵为)2log( 2 1 2 e（注意是平均方差，而 2 是方差，69 面） 7.一个加性高斯白噪声（AWGN）信道的噪声的功率谱密度为 2 0 N ，输入信号平均功率限制 为 P，信道的带宽为 W，那么信道每单位时间的容量为 C=)1log( 0W N P W+(169 面) 8 在 BSC（二元对称信道）中，错误率为 p，则其信道容量 C= 1-H(p)（121 面） 9 差熵为 h（X）的连续随机变量集合 X 的熵功率为 2 = )(2 2 1 Xh e e （72 面） 10.一个最小距离为 d 的二元分组码能纠错能力为 2 1 d （参考第二题） 二判断题 1.对称信道达到容量时，输入概率和输出概率唯一。（） （123 面） 2.设试验信道输入符号 321 ,aaa，概率分别为 1/3，1/3，1/3，失真矩阵为 123 312 321 ， 则 3/5, 1 maxmin =DD。 （） （186 面） 3.若（X,Y,Z）为马氏链，则（Z,Y,X）也是马氏链。 （） （60 面） 4.分组码的最小距离就是其最小重量的非零码字的重量。 （） （135 面， 应该是线性分组码） 5.为有效抵抗加性高斯噪声干扰，信道输入应该是高斯分布。 （） （164 面） 6.信道疑义度始终为正。 （） （138 面，应该是非负，可以为 0） 7.信道输入和输出之间的平均互信息是下凸函数。 （） （29 面，应该是上凸函数） 8.信息处理过程中熵是不会增加的。 （） （26 面） 9.典型序列信源符号出现的概率近似等于其频率。 （） （86 面） 10.若信道的输入与输出分别为 X,Y，输入符号的数目为 r，那么信道疑义度满 足 H(X|Y)rppH EE log)(+。 （） （138 面，应该是 r-1） 11.一个离散平稳无记忆信道的极限熵等于最小平均熵。 （） （119 面） 12.对于离散无记忆信道，达到容量时输入概率分布是唯一的。 （） （123 面，不唯一） 13.噪声功率相同的加性信道中以高斯噪声信道容量最大。 （） （应该是最小） 14.R(D)函数是平均失真函数的下凸函数。 （） （187 面） 15.MAP 准则是使译码平均错误率最小的准则。 （） （132 面） 16.任意两个典型序列的联合序列是典型序列。 （） 17.与离散信源一样，连续信源的平均互信息也具有对称性和非负性。 （） （73 面） 18.通过一一变换后，连续信源的差熵一定会变化。 （） （67 面，应该是可能会变化） 19.转移概率矩阵不随时间变化的马氏链是平稳马氏链。 （） （47 面，那是齐次马氏链） 20.RH存在无失真信源编码。 （） （7 面，还有几个类似的，如 RC存在译码差错 任意小的信道编码；R)(DR存在平均失真） 三计算题 1.给定离散无记忆信源的数学模型为 = 4/14/12/1 321 aaa P X ，求其二次扩展源的熵 )( 2 XH。 （40 面） 解：)( 2 XH=2H(X)=22) 4 1 log 4 1 ( 2 1 log 2 1 =3 比特/扩展符号 2.设直流平衡序列的滑动数字为 n，当 n=3 时写出其连接矩阵并计算其容量。(219 面) 解：当 n=3 时，连接矩阵为 = 010 101 010 3 D 设 3 D的最大特征值为 max ，则其容量为 C(3)= max2 log= ) 13( coslog2 + =2log2=0.5 比特/符号 3.一个二维独立高斯信源（ 21X X） ，其中 21,X X均值都为零，方差分别为 2 和 4，采用均 方失真测度，求该信源的 R(D)函数。 （201 面） 解：如果 21