西电田斌老师的无线课件第五讲_第1页
西电田斌老师的无线课件第五讲_第2页
西电田斌老师的无线课件第五讲_第3页
免费预览已结束，剩余5页可下载查看

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

2023/1/101第二章：信息量和熵§2.1离散型随机变量的非平均信息量（事件的信息量）§2.2离散型随机变量的平均自信息量（熵）§2.4离散型随机变量的平均互信息量§2.5连续型随机变量的平均互信息量和相对熵§2.6凸函数与(离散型随机变量的)平均互信息量的凸性2023/1/102§2.5连续型随机变量的平均互信息量和相对熵定义2.5.1

给定二维连续型随机变量{(X,Y),f(X,Y)(x,y)}（因此就给定了两个连续型随机变量{X,fX(x)}和{Y,fY(y)}）。事件x∈X与事件y∈Y的互信息量定义为定义2.5.2

给定二维连续型随机变量{(X,Y),f(X,Y)(x,y)}（因此就给定了两个连续型随机变量{X,fX(x)}和{Y,fY(y)}）。X与Y的平均互信息量定义为2023/1/103§2.5连续型随机变量的平均互信息量和相对熵平均互信息量的性质

1、I(X;Y)≥0。2、对称性：I(X;Y)=I(Y;X)。3、信息处理定理：对于如下的系统串联有I(X;Y)≤I(X;Z)。2023/1/104§2.5连续型随机变量的平均互信息量和相对熵（连续型随机变量为什么不能类似地定义平均自信息量——熵？这是因为，连续型随机变量的事件有无穷多个，每个事件发生的概率无穷小。如果类似地定义熵，则熵是无穷大。因此只能定义所谓“相对熵”，而“相对熵”的直观合理性大打折扣）相对熵的定义

给定连续型随机变量{X,fX(x)}。X的相对熵定义为2023/1/105§2.5连续型随机变量的平均互信息量和相对熵例2.5.2设X~U(a,b)，求X的相对熵（我们将发现，X的相对熵未必非负）。2023/1/106§2.5连续型随机变量的平均互信息量和相对熵例2.5.3设X~N(m,σ2)，求X的相对熵（我们将发现，X的相对熵未必非负）。2023/1/107§2.5连续型随机变量的平均互信息量和相对熵2023/1/108§2.5连续型随机变量的平均互信息量和相对熵相对熵的极大化（已知：当离散型随机变量X的事件有K个时，H(X)≤logaK；只有当X服从等概分布时才有H(X)=logaK）定理2.5.1

若连续型随机变量X的取值范围在区间(-M,M)之内，则Hc(X)≤loga2M；只有当X服从U(-M,M)分布时才有Hc(X)=loga2M。定理2.5.2

若连续型随机变量X的方差等于σ2，则Hc(X)≤(1/2)loga(2πeσ2)；只有当X服从N(m,

人人文库> 全部分类> 应用文书

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论