信息论考试试题集

1、 自信息量的公式为 （ ）。2、 连续信源输出信号的峰值功率受限时，（ 均匀）分布的熵最大；连续信源输出信号的平均功率受限时，（ 正态 ）分布的熵最大。3、当X和Y相互独立时，互信息为（ 0 ）。 A、 1 B、 0 C、某一个正数4、信源为X，信宿为Y，条件熵H（X|Y）称为（ 信道损失熵 ）。5、信道编码定理：对于一个离散无记忆信道，若其信道容量为C，输入信源符号长度为L，当信息传输速率（ R C ）时，总可以找到一种编码方法，当L足够长时，译码的错误概率为任意小正数。1 已知X，Y0，1，XY构成的联合概率为：P（00）=P（11）=，P（01）=P（10）=，( ), 计算：（1） 熵H（X），H（Y）；（2） 条件熵H（X/Y），H（Y/X）；（3） 互信息I（X；Y）。解：1) p(x=0)=p(x=1)=p(y=0)=p(y=1)=0.5 H(X)=H(Y)=1(6分) 2) H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y) (6分) H(XY)=-2()=1.8113 H(Y|X)= H(X|Y)= 1.8113-1=0.8113(8分) 3) I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)=2-1.8113=0.1887 (5分2. 求下列信道的信道容量和最佳分布。( ) 该信道为对称信道，最佳分布是等概率分布p(X)= (6分) 信道容量：C=(9分)1. 某连续信道的带宽为8 kHz，信噪比为31，现在要以R=比特/秒以速度传输信息，能否实现？ 如果要实现信息传输，信噪比的最小值为多少？ (212.5= 5792.6)解： 香农定理： (8分) 这时通信传输不能实现。 SNR最小值为5791.6(2分)2 投掷一个正常的硬币直到正面出现为止，令变量X表示投掷次数。求：1列出随机变量X的概率分布；计算熵H(X)。1） 2） H（X）=2(10分)1条件自信息量的公式为（ ）。2离散无记忆信源输出n个不同的消息符号，当信源呈等概率分布情况下，信源熵取最大值，且为H（X）=（ ）。3、平均互信息I（X；Y）是输入信源概率分布p(ai),i=1,2,n的（ C ）。 A、非凸函数 B、下凸函数 C、上凸函数4、I（X；Y）=H（X）+H（Y）-H（XY），说明信道两端随机变量X和Y之间的平均互信息量等于通信前、后整个系统不确定度（ A减小 ）的量。5、当（ B ）条件，传递最大互信息称之为信道容量。A、 固定信源特性，改变信道特性B、 改变信源特性，固定信道特性C、 信源特性和信道特性都变化一、已知X，Y0，1，XY构成的联合概率为：P（00）=，P（10）=，P（01）=P（11）=，（ ），计算：（1）熵H（X），H（Y）；（2）联合熵H（XY），条件熵H（X/Y）；（3）互信息I（X；Y）。解：1) p(x=0)=，p(x=1)= ，p(y=0)= ，p(y=1)= H(X)=0.9799， H(Y)=1(6分) 2) H(XY)=H(X)+H(Y|X)=H(Y)+H(X|Y) (4分) H(XY)=-()=1.9591 H(X|Y)= 1.9591-1=0.9591(4分) 3) I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)=H(X)+H(Y)-H(XY)=0.9799-0.9591=0.0208 (5二、求下列信道的信道容量和最佳分布。( ) 该信道为对称信道，最佳分布是等概率分布p(X)= (6分) 信道容量：三、设电话信号的信息率为比特/秒，在一个噪声功率谱为、限频W、限输入功率P的高斯信道中传送。1） 若W=4kHz，问无差错传输所需的最小功率P是多少瓦？(214= 16384)2）若W趋于无穷大时，则P是多少瓦？(ln2=0.6931)解： 香农定理： (4分) 1） RC P=0.3277瓦(8分) 2) (6分)P最小值为(2分)四、一阶马尔可夫信源的状态转