平均互信息量和各种熵关系.ppt_第1页
平均互信息量和各种熵关系.ppt_第2页
平均互信息量和各种熵关系.ppt_第3页
平均互信息量和各种熵关系.ppt_第4页
平均互信息量和各种熵关系.ppt_第5页
已阅读5页,还剩19页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1,第2章 信源熵,2.1 单符号离散信源 2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 平均互信息量 一、平均互信息量定义 二、平均互信息量物理意义 二、平均互信息量性质 2.1.6 各种熵之间的关系,2,离散集的平均互信息量,不同概率空间集合之间的平均互信息量对于通信问题的探讨十分重要。 通信的目的是在接收端准确地或以尽可能小的失真复现发送的消息。一般通信系统的输入和输出存在一定的概率关系。 令X和Y分别表示一个通信系统的输入事件集和输出事件集。 讨论输入X、输出Y均为离散的情况。研究离散集X和Y的平均互信息量。这时输入和输出均可用离散概率空间描述。,3,互信息量信道中信息流通的测度?,互信息量I(xi;yj)是定量研究信息流通问题的重要基础。 它只能定量地描述输入随机变量发出某个具体消息xi,输出变量出现某一具体消息yj时,流经信道的信息量。 “输入xi ,输出yj”是一个概率为p(xi yj) 的随机事件,相应的I(xi;yj)也是随xi和yj变化而变化的随机量。 互信息量I(xi;yj)不能从整体上作为信道中信息流通的测度。 这种测度应该是从整体的角度出发,在平均意义上度量每通过一个符号流经信道的平均信息量。 作为一个测度,它不能是随机量,而是一个确定的量。,4,输入X、输出Y的离散概率空间描述,5,输入X、输出Y的联合空间XY,6,平均条件互信息量,定义: 在联合集XY上,由 提供的关于集X的平均条件互信息量等于由 所提供的互信息量 在整个X中以 后验概率加权的平均值,其定义式为 由于互信息 是表示观测到 后获得的关于事件 的信息量,即 故平均条件互信息量又可以表示为,7,定理,定理: 联合集XY上的平均条件互信息量有 等号成立当且仅当X集中的各个 都与事件 相互独立。 平均条件互信息量表示观测到yj后获得的关于集X的平均信息量。 I(X; yj)仍然是一个随机变量,随yj的变化而变化,因此,不能作为信道中流通信息量的整体测度。,8,定理 I(X;yj)0 的证明,9,平均互信息量,定义:平均互信息量I(X;Y)是平均条件互信息量I(X;yj)在整个集Y上的概率加权平均值。其定义式为 定义:互信息量I(xi;yj)在联合概率空间P(XY)中的统计平均值 称I(X;Y)是Y对X的平均互信息量,简称平均互信息,也称平均交互信息量或交互熵。 平均互信息I(X;Y)克服了互信息量I(xi;yj)的随机性,成为一个确定的量,因此,可以作为信道中流通信息量的整体测度。,10,平均互信息量的其它定义,平均互信息量I(X;Y)也可定义为,11,平均互信息的性质,平均互信息量有以下基本性质: 1、互易性(对称性) 2、非负性 3、极值性 4、凸函数性 5、数据处理定理 平均互信息和各类熵的关系,12,平均互信息的性质,1、互易性(对称性) I(X;Y)= I(Y;X) 该性质表示从集Y中获得关于X的信息量等于从集X中获得关于Y的信息量。 当集X和集Y统计独立时,有I(X;Y)= I(Y;X)=0 它意味着不能从一个集获得关于另一个集的任何信息 2、非负性I(X;Y)0 当且仅当X与Y相互独立时,等号成立。即如果X与Y相互独立,它们之间相互不能提供任何信息。,13,性质1:非负性I(X;Y)0的证明,14,性质2:对称性I(X;Y)=I(Y;X)的证明,证明:按定义,15,平均互信息的性质(续),3、极值性 I(X;Y) H(X); I(X;Y) H(Y) 证明:因为I(X;Y)=H(X)-H(X/Y),条件熵H(X/Y)为非负,故两个不等式成立。 4、凸函数性 平均互信息量I(X;Y)是信源概率分布p(xi)的上凸函数; 该性质是研究信道容量的理论基础 平均互信息量I(X;Y)是信道传递概率p(yj/xi)的下凸函数。 该性质是研究率失真函数的理论基础,16,平均互信息量I(X;Y)的凸函数性例题,17,求平均互信息I(X;Y)例题,18,离散无记忆信源熵例题,19,第2章 信源熵,2.1 单符号离散信源 2.1.1 单符号离散信源的数学模型 2.1.2 自信息和信源熵 2.1.3 信源熵的基本性质和定理 2.1.4 加权熵的概念及基本性质 2.1.5 平均互信息量 2.1.6 各种熵之间的关系,20,平均互信息和各类熵的关系,平均互信息和各类熵的关系 I(X;Y)=H(X)-H(X/Y) I(X;Y)=H(Y)-H(Y/X) I(X;Y)=H(X)+H(Y)-H(XY),21,几个关系式的证明,22,维拉图,平均互信息量I(X;Y)和各类熵的关系可用维拉图表示。 当集X和Y统计独立时,I(X;Y)=0,得到 H(X,Y)max=H(X)+H(Y),23,损失熵H(X/Y),条件熵H(X/Y)表示在已知输出Y的条件下输入X的剩余不确定性,即信道损失。 根据互信息量I(X;Y)与条件熵H(X/Y)的关系可看出,I(X;Y)等于输入平均信息量H(X) 减去信道损失,它反映了信道传输信息的能力。最大平均互信息量就是信道容量。,24,小结,为了介绍两个离散集之间的平均互信息量,首先定义了在一个事件发生条件下,给

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论