信息科学基础2012A卷及答案汇总

A卷（共14页）第4页河北科技大学2012——2013学年第一学期《信息科学基础》试卷（A）学院理学院班级姓名学号题号一二总分得分得分一、简答题（共8题，每题5分）如有6行8列的棋型方格，若有两个质点A和B，分别以等概率落入任一方格内，且它们的坐标分别为、，但A，B不能落入同一方格内。试求：若仅有质点A，求A落入任一个格的平均自信息量；若已知A已入，求B落入的平均自信息量；若A，B是可分辨的，求A，B同时落入的平均自信息量。2．设离散无记忆信源为求信源的熵，并解释为什么不能满足信源的极值性。3.令离散无记忆信源（1）求对S的最佳二元码、平均码长和编码效率；（2）求对的最佳二元码、平均码长和编码效率。4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。5.一个马尔可夫过程的基本符号0,1,2，这三个符号以等概率出现，具有相同的转移概率，并且没有固定约束。（1）画出单纯马尔可夫过程的状态图，并求稳定状态下的马尔可夫信源熵；求的联合熵和平均符号熵；求这个链的极限平均符号熵；求，，和它们对应的冗余度。3.设有一离散信道，其信道矩阵为，求：（1）最佳概率分布？（2）当，时，求平均互信息信道疑义度（3）输入为等概率分布时，试写出一译码规则，使平均译码错误率最小，并求此4.设线性分组码的生成矩阵为，求：（1）此（n，k）码的n=？k=？，写出此（n，k）码的所有码字。（2）求其对应的一致校验矩阵H。（3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。（4）若接收码字为000110，用伴随式法求译码结果。5.某气象员报告气象状态，有四种可能的消息：晴、云、雨和雾。若每个消息是等概的，那么发送每个消息最少需要的二元脉冲数是多少？又若4个消息出现的概率分别为，问在此情况下消息所需的二元脉冲数是多少？如何编码？6.假定离散矢量信源N=3，输出矢量序列为，其中，的取值为{0,1}；经信源传输后的输出为，其中，的取值为{0,1}。定义失真函数求矢量失真矩阵。河北科技大学2011——2012学年第一学期《信息科学基础》答案（A）简答题（共8题，每题5分）1.（1）答：A落入任一格的概率为平均自信息量（2）答：A落入后，B再落入的概率（3）答：A，B同时落地的联合熵2.答：由定义，信源的熵信源的概率分布要求满足，而此题中。即各种可能发生的情况下，概率之和大于“1”，在实际情况下这是不可能发生的。3.（1）答：采用霍夫曼方法进行编码，得：1：00=01平均码长为(码元/信源符号)编码效率为（2）答：霍夫曼编码后：10：001：010：110：111：0000：0001：0110：0111平均码长为（码元/信源符号）信源熵为（bit/信源符号）编码效率为

4.答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。

最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。

最小距离译码准则下，将接收序列译为与其距离最小的码字。

三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。

5.（1）答：每个状态发出三条转移线，等概率出现。即每条转移线的转移概率为1/3，稳定状态下，三个状态的概率也为1/3。每一状态的熵稳定状态下的马尔可夫信源熵为(2)答：有九个不同状态，27条转移线。9个不同状态分别为00,01,02,10,11,12,20,21,22。每一状态的熵为又知二阶马尔可夫每一状态的概率为，所以二阶马尔可夫信源熵为6.答：无记忆的N次扩展信道的平均互信息是原信道平均互信息的N倍。

7.答：平均自信息为

表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。

平均互信息为

表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。平均互信息量I（X;Y）是信源概率分布p(x)的上凸函数，是信道传递概率p(y|x)的下凸函数。

8.答：是遍历的，p*p*p矩阵的所有元素全是正数，说明这个马尔可夫链存在平稳分布，是遍历的。

二、综合题（共6题，每题10分）1.答：（1）该信源的状态转移矩阵为（2）W=[W1,W2,W3,W4],其中W1=p(S1),W2=p(S2),W3=p(S3),W4=p(S4),由平稳分布的矩阵方程WP=W,以及p(S1)+p(S2)+p(S3)+p(S4)=1，可以得到平稳分布为：p(S1)=p(S4)=5/14,p(S2)=p(S3)=1/7.(3)该平稳分布的信源熵H=p(S1)*H(0.8,0.2)+p(S2)*H(0.5,0.5)+p(S3)*H(0.5,0.5)+p(S4)*H(0.8,0.2)=0.8bit/符号。2.（1）答：信源是一阶马尔可夫的，所以由知的联合概率为1231231/41/61/61/801/121/81/120因此由知的联合概率为1231237/245/365/367/4805/727/485/720的联合熵为平均符号熵为（2）答：设信源稳态符号概率分布，由解得信源的极限平均符号熵（3）三个熵分别为由冗余度的计算公式，得它们的冗余度分别为，，3.答：1）是准对称信道，因此其最佳输入概率分布为。

2）当，时，有

则

3）此时可用最大似然译码准则，译码规则为

且有

4.答：1）n=6，k=3，由C=mG可得所有码字为：

000000，001011，010110，011101，100101，101110，110011，111000

2）此码是系统码，由G知，，则

3）由H可知，其任意2列线性无关，而有3列线性相关，故有，能纠一位错。

错误图样E伴随式

100000101

010000110

001000011

000100100

000010010

000001001

4）由知E＝010000，则5.答：至少需要二位二进制编码元来发送4个等概率发生的信息晴-00云-01雨-10雾-114个信息的概率恰好是2的负整数幂，