南京工程学院信息论参考试卷A

1、南京工程学院信息论参考试卷 A、填空题（本题 15 空, 每空 1 分, 共 15 分 ）1 一个消息来自于四符号集 a，b，c，d ，四符 号 等 概 出 现 。 由 10 个 符 号 构 成 的 消 息 “abbbccddbb ”所含的信息量为（）bit ，平均每个符号所包含的信息量为（）bit 。2 两个二元信道的信道转移概率矩阵分别为1001/21/31/6P1,P21/61/21/300121/31/61/2则此信道的信道容量C1=（）bit/ 符号，信道 2 的信道容量 C2=） bit/ 符号。两信道串联后，得到的信道转移概率矩阵为（），此时的信道容量 C= （） bit/ 符号

2、。3 条 件 熵 H(Y/X)的物理含义为（），所以它又称为（）。4 一袋中有 5 个黑球、10 个白球，以摸一个球为 一次实验， 摸出的球重新放进袋中。 第一次实验包含的信息量为（）bit/ 符号；第二次实验包含的信息量为（ ）bit/ 符号。5 线性分组码的伴随式定义为（ ），其中 错误图案 E 指的是（ ）。二进制码中， 差错个数可等效为（ ）。6 设有一个二元等概信源： u=0 ，1，P0=P1=1/2， 通过一个二进制对称信道 BSC，其失真函数 dij与 信 道 转 移 概 率 Pji =p（v j /ui） 分 别 定 义 为1 i j i d ij 0 i j ， Pji 1

3、i则 失 真 矩 阵 d ij =），平均失真 D=（）、判断题（本题 10 小题, 每小题 1 分, 共 10分） 1、I（p i） = - logpi 被定义为单个信源消息的非平均 自信息量，它给出某个具体消息信源的信息度 量。 （ ）2、异前置码一定是唯一可译码。（）3、无记忆离散消息序列信道，其容量 C各个 单个消息信道容量之和。 （ ）4、冗余度是表征信源信息率多余程度的物理量， 它描述的是信源的剩余。 （ ）5、当信道固定时，平均互信息 I（X,Y） 是信源分布 的型凸函数。 （ ）6、BCH 码是一类线性循环码，其纠错能力强、 构造方便。 （ ）7、R（D）被定义为在限定失真为

4、D 的条件下，信源的最大信息速率。 （ ）8、设 P 为某马尔可夫信源的转移概率矩阵，若 存在正整数 N使得 PN 中的元素全都为 0，则该马 尔可夫信源存在稳态分布。（）9、信道容量随信源概率分布的变化而变化。（）10、如果两个错误图样 e1、e2 的和是一个有效 的码字，则它们具有相同的伴随式。 （）三 名词解释（本题 4小题, 每小题 5分,共20分）1 极限熵2 最佳变长码3 限失真信源编码4 信道容量四计算题（本题 3 小题, 共 25 分）111236P 1 1 16231111 有一离散信道，其信道矩阵为 3 6 2 ，并11设 P（x1） P（x2） 4,P（x3） 2，试按最

5、大似然概率译码准 则确定译码规则， 并计算其相应的平均译码错误 概率。 （7 分）2 彩色电视显像管的屏幕上有 5× 105 个像元， 设每个像元有 64 种彩色度，每种彩色 度又有 16 种不同的亮度层次，如果所有的彩色 品种和亮度层次的组合均以等概率出现， 并且各 个组合之间相互独立。试：1）计算一帧图像所包含的信息量；2）计算每秒传送 25 帧图像所需要的信道容量；3）如果信道上信号与噪声平均功率的比值为 30dB，为实时传送彩色电视图像， 信道的通频带 应为多大？（3+3+3=9 分）3 考虑一个（ 8，4 ）系统线性分组码，其校验位 与信息位的关系是：，其中m1m4 是信息

6、位（码元），C3C0 是校验位。求出此分组码的生成矩阵 G 和校验矩阵 H。（码 字排列为 m1m4C0C3）求此码的最小距离 dmin 。若输入信息 m=（1010），试求对应的输出码字。 若接收序列 R=（ 10111010），试判断接收是否有 错？并说明理由。（2+2+2+3=9 分）五综合题（本题 3 小题, 共 30 分）1 信源符号 X 的概率空间为 P 0.1 0.9 ，每次两 个符号一起编码，试写出其哈 夫曼编码，并求其平均码长L和编码效率 （ 4+4=8 分）2 设某卷积码的转移函数矩阵为 G（D）=（ 1+D，1+D2），试画出该卷积码的编码器结构图； 求该卷积码的状态图；

7、 求该码的自由距离 df。（3+4+3=10 分）3 设有一个二进制二阶马尔可夫信源， 信源符号集为 0,1 。条件概率为：p(0|00)=p(1|11)=p(1|00)=p(0|11)=0.5=p(0|01)=p(0 |10)=p(1|01)=p(1|10)=0.5。试： 1)求出状态转移矩阵 Pji=P(Sj/Si)；2)画出该马氏信源的状态转移图；Wi；的 极 限 熵 H 。3)求出各状态的平稳分布4) 求出该信 (3+3+3+3=12分)答案： 1、20 ， 22、1bit/符号， 0.126bit/ 符号， 0.126bit/符号3、唯一地确定信道噪声所需要的平均信息量， 噪声熵或散

8、布度4、0.915bit/ 符号， 0.915bit/符号 ，收码和发码5、S=EHT ，E=R-C (mod M) 的汉明距离123×4×5×67×89×106、，三、 1 极限熵序列长度趋于无限大时，序列的平均符号熵称为极限熵，又称极限信息量2 最佳变长码 变长编码中，所有编出的唯一可译码中平均码长最短的码即为紧致码。3 限失真信源编码离散无记忆信源 X 的信息率失真函数为 R(D) ，当信息率大于 R(D)时，只要信源 序列的长度足够长， 一定存在一种编码方法， 其译码失真小于或等于 D+ ；反之， 则无论采用什么方法，其译码失真必大于

9、D。4 信道容量平均互信息 I(X；Y)在转移概率 p(y/x) 一定时，关于 X 的概率分布是上凸函数，因此有极大值存在，这个极大值定义为信道容量 。四、1、解： 根据最大似然概率译码规则，得译码规则为：F(y1)=x1 F(y2)=x2 F(y3)=x3(1分)收到 y1后的错误概率 Pe1=1/2( 1分)收到 y2后的错误概率 Pe2=1/2( 1分)收到 y3后的错误概率 Pe3=1/2(1分)Y 的概率分布为： 1/4 1/4 1/2平均错误概率为： PE=p(y1)Pe1+P(y2)Pe2+P(y3)Pe3=1/4*(1/2)+1/4*(1/2)+1/2*(1/2)=1/2 ( 3分)2、解： 1)一帧图像的信息量 =5*105*6*4bit=1.2*10 7bit(3分)2)1秒送25帧图像所需的信道容量 C=1.2*107*25/s=3*108bit/s (3分)3)根据香农公式 C=Blog(1+SNR) ，可得： 通频带 B=C/log(1+1000)=1*10 8 Hz (3分)3、2）状态图：五、 1、 解：哈夫曼编码参考答案：0，11，100，101（哈夫曼编码并不唯一） （ 4分）平均码长 =0.81+0.09*2+0.10*3