信息熵理论.doc_第1页
信息熵理论.doc_第2页
信息熵理论.doc_第3页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

信息熵理论在通信系统中，信息从发送到接收的传输过程是一个有干扰的信息复制过程。对每一个具体的应用而言，传输的信息是确定的，有明确的应用目的。对一个通信系统而言主，不同的用户要传送的具体的信息内容是不同的，则如何从这些繁杂的具体信息中提炼出它们的共同特征，并可进行量化估计是shannon信息论研究的基础。所谓量化估计就是用提炼的共同特征估计与某些具体内容所对应的需要传输的信息量大小。信息量定义的另一个重要特征是它能保证信息量值的大小与具体的信息内容无关。1.定义信息熵：设X是一个离散的随机变量，其定义空间为一个字符集E。，表示相应的概率分布函数，则称为离散随机变量的熵。有时记表示以概率分布对某随机变量或随机函数求概率平均。2.定义联合熵： 设XY是丙个离散的随机变量，（X,Y）的联合概率分布函数为，则称为离散随机变量X与Y的联合熵。有时记为：3.定义条件熵：如果则条件熵定义为 条件熵等于零的条件为 事实上，对任意的都有，从而得，又因为X与Y是取值空间完全相同的随机变量，所以有定义相对熵：设是两个不同的离散概率分布函数，则 为概率分布函数关于的相对熵。相对熵的物理意义 相对熵反映了一个变量因取值概率的差异导致的信息量变化情况。若将看作系统本身固有的概率分布，而看作人们对系统进行估计得到的经验概率分布，此时，相对熵反映了由于逼近误差引起的信息量的丢失量。定义互信息：设X,Y是两个离散的随机变量，其联合概率分布函数为相应的边沿分布密度函数为，则X与Y的互信息定义为 互信息的物理意义互信息反映了联合分布与边沿分布乘积的相对熵，也可看作利用边沿分布去逼近联合分布时所损失的信息量。如果考虑一个通信系统，X表示发送端的输入变量，Y表示接收端的输出变量。虽然要信号的传输过程中，变量X受到一些不确定因素的干扰，而以变量Y的形式出现，显然，变量X和变量Y之间的一定的相关性，但它们的联合分布与边沿分布的积是有差异的（因为后者代表了变量X与变量Y是统计独立的），这种差异可以利用信息量进行估计。反映了它们之间的相对熵，这种相对熵也可看作是传输信道引起的联合信息量的变化量。考虑一种特殊情况：当传输信道没有引入任何干扰，此时接收端收到的信号与发送端发送的信号完全相同，即Y=X，于是有 则 这表明发送端的信息完全传送到接收端而没有任何损失。信息熵、联合熵、条件熵、相对熵和互信息的非负性 上述四个关系式表明信息熵、联合熵、条件熵、相对熵和互信息都是大于或等于零的量。 当信息熵和联合熵为零时，相应的变量以概率1取一确定的值，此时，它可以看作一常量。同时，它也表明：一个恒定的常量是不载有任何信息的
人人文库> 全部分类> 行业资料 > 管理策划

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论