2010信息理论基础习题.doc

四、作业第一章 绪论 习题1 第一次作业1-1 简述信源编码、信道编码和保密编码三种编码的联系。1-2 简述通信系统各个功能部件的作用。1-3 简述经典信源编码方法和现代信源编码方法的主要区别。1-4 简述信息与消息、信号的区别。1-5 简述香农信息定义的优缺点。1-6 维纳和香农研究信息传输的异同。第二章 离散信源 习 题2 第一次作业2.2 某大学设置有6个系，每个系的学生数分别为系别123456合计人数36036048060048036026400.182问“某学生A是五系学生”这一消息提供的信息量是多少？3 第二次作业2.3 某无线电厂生产A，B，C，D四种产品，其中A占10%、B占20%、C占30%、D占40%。有两个消息“现在完成1台B种产品”，“现在完成1台C种产品”，试确定哪一种消息提供的信息量大些？2.4 居住在某地区的女孩中有25%是女大学生，在女大学生中有75%是身高1.6米以上，而女孩中身高1.6米以上的占总数的一半。假如我们得到“身高1.6米上的某女孩是大学生”的消息，问获得多少信息量？2.5 设离散无记忆信源，其发出的消息为（202120130213001203210110321010021032011223210），求（1）此消息的自信息是什么？（2）在此消息中平均每个符号携带的信息量是多少？2.6 设甲地的天气预报为：晴（占4/8）、阴（占2/8）、小雨（占1/8）和大雨（占1/8）；乙地天气预报为：晴（占7/8）和小雨（占1/8）。试求两地天气预报各自提供的平均自信息量。2.10 对某城市进行交通忙闲的调查，并把天气分成晴雨两种状态，气温分成冷暖两个状态。调查结果得到联合出现的相对频率如下：若把这些频度视为频率测度，求（1）忙闲的无条件熵；（2）天气状态和气温状态已知时的条件熵；（3）从天气状态和气温状态获得的关于忙闲的信息。4 第三次作业3.3 某一离散、无记忆信源的符号集为0, 1，并已知p(0)=1/4,p(1)=3/4。试求：（1）消息符号平均熵；（2）由100符号构成的序列，求某一特定序列（例如有m个“0”和100-m个“1”）的自信息量表达式；（3）计算（2）中的序列熵。（5.21）3.4 某信源的消息符号集的概率分布和二进制代码如下所示：消息符号u0u1u2u3概率1/21/41/81/8代码010110111代码长度1233试求：（1）消息符号熵；（2）每个消息符号所需要的平均二进制的个数或平均代码长度。进而用这个结果求码序列中的一个二进制码的熵；（3）当消息是由符号序列组成时，各消息之间若相互独立。求其对应的二进码序列中出现“0”和“1”的无条件概率p(0), p(1)。（5.21）第三章 离散信道 习题5 第四次作业4.1 设有一离散无记忆信源，其概率空间为它们通过一干扰信道，信道输出端的接收符号集为Y=y1,y2，信道传递概率如题图4.1所示。试求：（1）信源X中事件x1, x2分别含有的自信息量；（2）收到消息yj(j=1,2)后，获得的关于xi(i=1,2)的信息量；（3）信源X和信源Y的信息熵；（4）信道疑义度H(X|Y)和噪声熵H(Y|X);（5）接收到消息Y后获得的平均互信息。（5.21）6 第五次作业3.4 设有一批电阻，按阻值分70%是2k，30%是5k；按瓦数分64%是1/8W，其余是1/4W。现已知2 k阻值的的电阻中80%是1/8W。问通过测量阻值可以平均得到的关于瓦数的信息量是多少？7 第六次作业3.11 有一个二元对称信道，其信道矩阵如图3.28所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中p(0)=p(1)=0.5。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完。第四章 无失真信源编码 习题7 第七次作业：4.2 设无记忆二元信源, 其概率为p1=0.005, p0=0.995。信源输出N=100的二元序列。在长为N=100的信源序列中只对含有3个或小于3个“1”的各信源序列构成一一对应的一组等长码。（1）求码字所需的最小长度。（2）考虑没有给予编码的信源序列出现的概率，该等长码引起的错误概率PE是多少？4.3 有一个信息源，有六个可能的输出，其概率分布如习题2-9表所示，表中给出了对应的码A、B、C、D、E和F。（1）求这些码中哪些是唯一可译码；（2）求哪些是非延长码（即时码）；（3）对所有唯一可译码求出其平均码长。习题2-9表消息p(ai)ABCDEFa11/200000000a21/400101101010100a31/160100111101101100101a41/160110111111011101101110a51/16100011111111010111110111a61/16101011111111110110111110118 第八次作业：5.1 设离散信源的概率空间为对其采用香农编码，并求出平均码长和编码效率。5.4 设有一离散无记忆信源试对下列两种情况将信源输出进行二进制霍夫曼编码，并求每个信源符号平均码长和编码效率。（1）对每个信源符号进行编码；（2）对每两个信源（二位扩展）符号进行编码。第五章 限失真信源编码 习 题9 第九次作业4-4 设有一个二元等概率信源：通过一个二进制对称信道（BSC）。其失真函数与信道转移概率分别定义为， 试求：（1）失真矩阵； （2）平均失真。10 第十次作业4-2 若某记忆信源U: ，接收符号，其失真矩阵为，求信源的最大平均失真度和最小平均失真度，并求选择何种信道可达到该Dmax和Dmin的失真。第六章 有噪信道编码 习题11 第十一次作业6.1 设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则和最大似然译码准则确定译码规则，并计算相应的平均错误概率。6.2