《信息论试卷》word版.doc

信息论与编码总结试 题:一 填空题（共15 分，每题1 分）1 单符号离散信源一般用随机变量描述，而多符号信源一般用随机矢量描述。2 离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。3 对于一阶马尔可夫信源，其状态空间共有个不同的状态。4 根据输入输出的信号特点，可将信道分成离散信道、连续信道、半离散或半连续信道 。5 对于离散无记忆信道和信源的N次扩展，其信道容量= NC 6 信道编码论定理是一个理想编码存在性理论，即：信道无失真传递信息的条件是 信息传输速率小于信道容量。 7 信源编码的目的是 提高通信的有效性 。8 对于香农编码、费诺编码和哈夫曼编码，编码方法唯一的是 香农编码 。9 在多符号的消息序列中，大量重复出现的，只起占时作用的符号称为 冗余位 。10 若纠错码的最小距离为d,则可以纠错任意小于等于 个差错。11 线性分组码是同时具有 分组特性和线性特性 的纠错码。12 平均功率为P的高斯分布的连续信源，其信源熵为 13 当连续信源和连续信道都是无记忆时，则 14 信源编码与信道编码之间的最大区别是，信源编码需 减少 信源的剩余度，而信道编码需 增加 信源的剩余度。15 离散信源的熵值H(X)越小，说明该信源消息之间的平均不确定性 减弱 。二 选择题 （共15分，每题3分）1 离散信源熵表示信源输出一个消息所给出的（ B ）。A、实际信息量；B、统计平均信息量；C、最大信息量；D、最小信息量；解：选择B。2 下图给出了两个连续信源的概率密度函数，其熵值间满足（ A ）。A、H(X) H(Y)； p(x) p(y)B、H(X)2），所以不能直接连接因为 所以，可以通过当编码在次信道中无失真的传输。可对信源的N词扩展信源进行无失真信源编码，只要N足够大取适当的编码就能与信道匹配。四 计算题（共46分，第2 题13分，其他每题11分）1、一个马尔可夫信源有3个符号，转移概率为：解：由题可得马儿克夫状态图为转移矩阵为： 设状态稳定后的概率分别为由2、设二元对称信道的传递矩阵为 2/3 00 1/32/31/3 11（1）画出传递函数矩阵；（2）若p(0)=3/4,p(1)=1/4,求H(X),H(X/Y)（3）求I（X,Y）；（4）求概率分布为何值时达到信道容量；（5）求信道容量；解：（1）由信道转移图可得 传递矩阵为 P=（2）已知X的概率则熵的公式可知所以根据熵和平均互信息的表达式，可计算（3）因为 （4）根据对称信道的性质可知，当P(0)=P(1)=1/2时，信道的传输率I(X;Y)达到信道容量。（5）对于二元对称信道，信道容量为3、一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。（1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？（3）若信道通频带减小为0.5MHZ时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？解：（1）（2）所以（3）又因为所以计算可得所以SNR=1204 设有信源两种符号a、b，它们出现的概率分别是P(a)=0.3,P(b)=0.7。当信源输出符号序列是ababba，对其进行算术编码。解：首先按照概率分布将区间分割成两个区间和，分别代表a、b。由于信源输出的第一个符号是a，那么取区间，再对该区间按照概率分步进行划分，得到区间和由于信源输出的第二个符号是b，那么取区间，再对该区间按照概率分布进行划分，得到区间和由于信源输出的第三个符号是a，那么取区间，再对该区间按照概率分布进行划分，得到区间和由于信源输出地第四个符号是b,那么取区间，再对该区间按照该概率分布进行划分，得到区间和由于信源输出地第五个符号是b,那么取区间，再对该区间按照概率分布进行划分，得到区间和由于信源输出的第六个符号是a，那么取区间即为符号序列对应的编码区间，在该区间内任选一实数