信息论与编码考题标准答案.doc

信 息 论 与 编 码 考题与标准答案第一题 选择题1信息是（ b ）a. 是事物运动状态或存在方式的描述 b.是事物运动状态或存在方式的不确定性的描述c.消息、文字、图象 d.信号2下列表达式哪一个是正确的（e ）a. H(X/Y)=H(Y/X) b. c.d. e. H(XY)=H(X)+H(Y/X) 3离散信源序列长度为L，其序列熵可以表示为（ b ）a. b. c. d. 4. 若代表信源的N维随机变量的取值被限制在一定的范围之内，则连续信源为（ c ），具有最大熵。a. 指数分布 b. 正态分布 c. 均匀分布 d. 泊松分布5对于平均互信息，下列说法正确的是（ b ）a. 当一定时，是信道传递概率的上凸函数，存在极大值 b. 当一定时，是信道传递概率的下凸函数，存在极小值 c.当一定时，是先验概率的上凸函数，存在极小值 d.当一定时，是先验概率的下凸函数，存在极小值6当信道输入呈（ c ）分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量a. 均匀分布 b. 固定分布 c. 等概率分布 d. 正态分布7. 当信道为高斯加性连续信道时，可以通过以下哪些方法提高抗干扰性（b d ）a. 减小带宽 b. 增大发射功率 c. 减小发射功率 d.增加带宽第二题 设信源 通过一干扰信道，接收符号为Y=y1,y2，信道传递矩阵为 求：(1) 信源 X 中事件 x1 和 x2 分别含有的自信息量。(2) 收到消息yj(j=1,2)后，获得的关于 xi(i=1,2)的信息量I(xi;yj)。(3) 信源 X 和信宿 Y 的信息熵。(4) 信道疑义度 H(X/Y) 和噪声熵 H(X/Y)。(5) 接收到 Y 后获得的平均互信息量。(1) 信源 X 中事件 x1 和 x2 分别含有的自信息量。解：I(x1)= -log p(x1)= -log 0.4=1.32 (bit) I(x2)= -log p(x2)= -log 0.6=0.74 (bit) (2) 收到消息 yj(j=1,2) 后，获得的关于 xi(i=1,2) 的信息量。解：p(y1/x1)=5/6 p(y2/x1)=1/6 p(y1/x2)=1/4 p(y2/x2)=3/4 p(x1y1)= p(x1)p(y1/x1)= 0.45/6=1/3 p(x1y2)= p(x1)p(y2/x1)= 0.41/6=0.0667 p(x2y1)= p(x2)p(y1/x2)= 0.61/4=0.15 p(x2y2)= p(x2)p(y2/x2)= 0.63/4=0.45 p(y1)= p(x1y1)+p(x2y1)=0.33+0.15=0.483 p(y2)= p(x1y2)+p(x2y2)=0.0667+0.45=0.517I(x1; y1)=0.787bit (3) 信源 X 和信宿 Y 的信息熵(4) 信道疑义度 H(X/Y) 和噪声熵 H(X/Y) (5) 接收到 Y 后获得的平均互信息量第三题 有一个无记忆信源XX1X2X3， Xi 0，1，2，符号集中的各符号以等概率出现，写出该信源的数学模型并求信源的序列熵和平均符号熵数学模型 序列熵 平均符号熵 第四题 一个二元二阶马尔可夫源，信源符号集A0,1。信源开始时，它以p(x1): p(0)=p(1)=0.5发出随机变量X1。然后，下一单位时间输出的随机变量X2与X1有依赖关系，他们的依赖关系由条件概率表示如表1. 再下一单位时间输出随机变量X3，X3依赖于前面二个变量X1和X2他们的依赖关系由条件概率p(x3x1x2)表示，如表2。以后任一时刻发出的随机变量Xi只与前面两个随机变量Xi-1Xi-2有关。画出马尔可夫状态转移图，写出状态转移概率矩阵，求出稳态概率及信源熵 0001101100.40.20.30.410.60.80.70.6表1 表2 0100.30.410.70.6解 ：设S0为初始态，S1:00；S2: 01; S3: 10; S4: 11 马尔可夫信源的状态转移图表示为：00011110S00: 0.51: 0.50: 0.41: 0.60: 0.21:0.80: 0.41:0.60: 0.31:0.7状态转移矩阵：，符号条件矩阵由稳态分布的公式，解得 第五题 已知一信源包含8个符号，其出现的概率为p(X)0.1，0.18, 0.4, 0.05, 0.06, 0.1, 0.07, 0.04(1) 该信源在每秒内发出1个符号，求该信源的熵及信息传输速率(2) 对这8个符号作二进制哈夫曼编码，写出相应的码字，并求出编码效率(3) 采用香农编码，写出相应的码字，并求出编码效率解 （1）该信源在每秒内发出1个符号，求该信源的熵及信息传输速率(2)对这8个符号作二进制哈夫曼编码，写出相应的码字，并求出编码效率编码过程码字码长X10.40.40.180.190.130.101010.40.180.130.10.10.090.40.180.10.10.090.070.0601X20.18X30.1X40.1X50.07X60.06X70.05X80.04第六题 设输入信号的概率分布为P（1/2, 1/2），失真矩阵为。试求以及相应的编码器转移概率矩阵第七题 有一个二元