信息论试卷

信息论与编码总结试题一填空题（共15分，每题1分）1单符号离散信源一般用随机变量描述，而多符号信源一般用随机矢量描述。2离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。3对于一阶马尔可夫信源，其状态空间共有个不同的状态。MN4根据输入输出的信号特点，可将信道分成离散信道、连续信道、半离散或半连续信道。5对于离散无记忆信道和信源的N次扩展，其信道容量NCNC6信道编码论定理是一个理想编码存在性理论，即信道无失真传递信息的条件是信息传输速率小于信道容量。7信源编码的目的是提高通信的有效性。8对于香农编码、费诺编码和哈夫曼编码，编码方法唯一的是香农编码。9在多符号的消息序列中，大量重复出现的，只起占时作用的符号称为冗余位。10若纠错码的最小距离为D,则可以纠错任意小于等于个差错。MIN21MIND11线性分组码是同时具有分组特性和线性特性的纠错码。12平均功率为P的高斯分布的连续信源，其信源熵为EPXHCLOG213当连续信源和连续信道都是无记忆时，则NIIYXIYXI1,14信源编码与信道编码之间的最大区别是，信源编码需减少信源的剩余度，而信道编码需增加信源的剩余度。15离散信源的熵值HX越小，说明该信源消息之间的平均不确定性减弱。二选择题（共15分，每题3分）1离散信源熵表示信源输出一个消息所给出的（B）。A、实际信息量；B、统计平均信息量；C、最大信息量；D、最小信息量；解选择B。2下图给出了两个连续信源的概率密度函数，其熵值间满足（A）。A、HXHY；PXPYB、HX2），所以不能直接连接因为SEC2SEC916270621LOG62BITBITPSHRII所以，可以通过当编码在次信道中无失真的传输。可对信源的N词扩展信源进行无失真信源编码，只要N足够大取适当的编码就能与信道匹配。四计算题（共46分，第2题13分，其他每题11分）1、一个马尔可夫信源有3个符号，转移概率为321U号稳态概率画出状态图并求出个符,0,/2,3/3/2,0,/13313212UPUPUPUPU解由题可得马儿克夫状态图为转移矩阵为0321P设状态稳定后的概率分别为321,U321,W由256910132133123112321计算可得得WP2、设二元对称信道的传递矩阵为2/3001/32/31/3U1U2U3/2/23/2/11（1）画出传递函数矩阵；（2）若P03/4,P11/4,求HX,HX/Y（3）求I（X,Y）；（4）求概率分布为何值时达到信道容量；（5）求信道容量；解（1）由信道转移图可得传递矩阵为P321（2）已知X的概率则熵的公式可知127341000XYPXYPXY125341001XYPXYPXYX76123400/YPXXYYXX所以71234010/1YPXXYXP5312411/0YPXXYX5213411/YPXXYXP根据熵和平均互信息的表达式，可计算符号比特/74902018423152LOG3415LOG37LOG6LOGLXYYXYXH（3）因为符号比特06274981/YXHYXI（4）根据对称信道的性质可知，当P0P11/2时，信道的传输率IXY达到信道容量。（5）对于二元对称信道，信道容量为符号比特08231PHC3、一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。（1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大（3）若信道通频带减小为05MHZ时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大解（1）MBPSSNRWC1930LOG11LOG262（2）MBPS45932所以HZ86L593（3）SS1OG23又因为916504LNR所以计算可得所以SNR1204设有信源两种符号A、B，它们出现的概率分别是PA03,PB07。当信源输出符号序列是ABABBA，对其进行算术编码。解首先按照概率分布将区间分割成两个区间和，分别代表30,1,A、B。由于信源输出的第一个符号是A，那么取区间，再对该区间按照概,率分步进行划分，得到区间和09,3,由于信源输出的第二个符号是B，那么取区间，再对该区间按照30,9概率分布进行划分，得到区间和15,由于信源输出的第三个符号是A，那么取区间，再对该区间按15照概率分布进行划分，得到区间和089,30,由于信源输出地第四个符号是B,那么取区间，再对该区间89按照该概率分布进行划分，得到区间和12,15,2由于信源输出地第五个符号是B,那么取区间，再对该区间30按照概率分布进行划分，得到区间和390,9由于信源输出的第六个符号是A，那么取区间12即为符号序列对应的编码区间，在该区间内任选一实数1390,2代