《信息论理论基础》补修复习资料.doc_第1页
《信息论理论基础》补修复习资料.doc_第2页
《信息论理论基础》补修复习资料.doc_第3页
《信息论理论基础》补修复习资料.doc_第4页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

信息论理论基础补修复习资料一、判断题(每小题2分, 共计20分)1. 当随机变量和相互独立时，条件熵等于信源熵.（ ）2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集.（ ） 3.一般情况下，用变长编码得到的平均码长比定长编码大得多.（ ）4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信.（ ）5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （ ）6. 连续信源和离散信源的熵都具有非负性.（ ）7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小.（ ）8. 汉明码是一种线性分组码.（ ）9. 率失真函数的最小值是.（ ）10.必然事件和不可能事件的自信息量都是.（ ）答案:1、；2、；3、；4、；5、；6、；7、；8、；9、；10、.二、填空题（每小题5分, 共计30分）1、码的检、纠错能力取决于 . 答案: 码字的最小距离（）.2、信源编码的目的是 ；信道编码的目的是 . 答案:（减少）冗余，提高编码效率; 提高信息传递的可靠性.3、把信息组原封不动地搬到码字前位的码就叫做 .答案: 系统码.4、香农信息论中的三大极限定理是 、 、 .答案: 无失真信源编码定理，信道编码定理，限失真信源编码定理.5、设信道的输入与输出随机序列分别为和，则成立的条件 . 答案: 信道和信源都是无记忆.6、某二元信源，其失真矩阵，则该信源的= . 答案: .三、解答题（四小题共计50分）1、（12分）某信源发送端有2种符号,；接收端有3种符号，转移概率矩阵为.（1） 计算接收端的平均不确定度；（2） 计算由于噪声产生的不确定度；（3） 计算信道容量以及最佳入口分布.解： 联合概率XY0 则的概率分布为Y （1） ； 取2为底 ； （2） ； 取2为底，； （3）. 取为底，令 = 0； 即，可得. 所以 ； 最佳入口分布为：. 2、（12分）一阶马尔可夫信源的状态转移图如右图所示，信源的符号集为.（1）求信源平稳后的概率分布；（2）求此信源的熵；（3）近似地认为此信源为无记忆时，符号的概率分布为平稳分布.求近似信源的熵并与进行比较.解：根据状态转移图，列出转移概率距阵 （1）令状态平稳后的概率分布为，则 得到 计算得到.（2）由齐次遍历可得 .（3）符号, 由最大熵定理可知存在极大值： . 又，所以；当p=2/3时； 0p2/3时 2/3p1时 所以当p=2/3时存在极大值,且符号, 所以.3、（13分）设码符号为，信源空间为， 试构造一种三元紧致码.解: 构造三元紧致码(三元霍夫曼码)要使短码得到充利用就必须让信源符号个数满足.信源的三元霍夫曼码如下：
人人文库> 全部分类> 生活休闲 > 科普知识

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论