信息论与编码第二章.doc_第1页
信息论与编码第二章.doc_第2页
信息论与编码第二章.doc_第3页
信息论与编码第二章.doc_第4页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

离散有记忆信源的序列熵对于有记忆信源，就不像无记忆信源那样简单，他必须引入条件熵的概念，而且只能在某些特殊情况下才能得一些有价值的理论。对于有两个符号组成的联合信源，有下列结论：式表明信源的联合熵（即前后两个符号同时发生的不确定度）等于信源发出前一个符号的信息熵加上前一个符号已知时信源发出下一个符号的条件熵。当前后符号无依存关系时，有下列推论;对于一般的有记忆信源如文字、数据等，它们输出的不是单个或两个符号，而是由有限个符号组成的序列，这些输出符号之间存在着相互依存的关系。可依照上述结论来分析序列的熵值。若信源输出一个L长序列，则信源的序列熵为 （2-3-2）记作 平均每个符号的熵为 （2-3-3）当信源退化为无记忆时，有若又满足平稳性，则有这一结论与离散无记忆信源结论是完全一致的。可见，无记忆信源是上述有记忆信源的一个特例。例 2-12 已知离散有记忆信源中各符号的概率空间为现信源发出二重符号序列消息，这两个符号的概率关系性用条件概率表示，并由表2-6给出。可以求出信源的序列熵和平均符号熵。表2-6 条件概率表示两个符号的关联性 9/112/1101/83/41/802/97/9条件熵 单信号信源熵 发二重符号序列的熵 平均符号熵比较上述结果可得 ，即二重序列的符号熵值较单符号熵变小了，也就是不确定度减小了，这是由符号之间存在的关联性（相关性）造成的。考虑离散平稳信源，其联合概率具有时间推移不变性，即此时有下列结论：结论1 是L的单调非增函数。由于条件熵小于或等于无条件熵，条件较多的熵小于或等于一些条件的熵，考虑到平稳性，所以（平稳性） （2-3-4）结论2 因为由结论1得上式中的是和式L项中最小的，所以结论3 是L的单调非增函数。因为 运用结论2得 （2-3-5）该式说明随着L的增大，增加的熵值越来越小（有结论1得），这导致平均符号熵随着L的增大而减小，即结论4 当时 （2-3-6）式中，称为极限熵，又称极限信息量。先证明式。根据上述结论1有 取足够大的，固定L，则前一项可忽略，而后一项系数接近于1，得 （2-3-7） 结论2和式（2-
人人文库> 全部分类> 应用文书 > 技术指导

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论