《信息论与编码基础》课件 12-连续信源的熵_第1页
《信息论与编码基础》课件 12-连续信源的熵_第2页
《信息论与编码基础》课件 12-连续信源的熵_第3页
《信息论与编码基础》课件 12-连续信源的熵_第4页
《信息论与编码基础》课件 12-连续信源的熵_第5页
已阅读5页，还剩9页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

§4波形信源与波形信道§4.1连续性信源的熵§4.2Shannon公式连续信源的熵波形信源的熵连续信源熵的性质一、连续信源的熵§4.1连续性信源的熵1.量化逼近法将X的取值范围[a,b]作N等分，每份=(b-a)/Np(x)ab0a+(i-1)Δa+iΔxΔ一、连续信源的熵则X落在第i区间内的概率为：Pi§4.1连续性信源的熵则连续信源X:

此信源合理！一、连续信源的熵§4.1连续性信源的熵（讨论X之熵）称为信源X的相对熵（差熵）§4.1连续性信源的熵一、连续信源的熵2.相对熵§4.1连续性信源的熵一、连续信源的熵例1：求高斯信源熵与均值无关！均值方差§4.1连续性信源的熵一、连续信源的熵2.相对熵二、波形信源的熵波形信源熵则，波形信源的相对熵为：对于限频W、限时T的平稳随机过程，（N=2WT）§4.1连续性信源的熵三、连续信源熵的性质1.链式法则和独立界

2.可为负例2.解：若b-a<1，则h(X)<0若b-a

1，则h(X)

0§4.1连续性信源的熵三、连续信源熵的性质3.变换性例3：设一个连续信源，其输出信号在［－1，＋1］范围内具有均匀的概率密度函数，试求该信源的相对熵；若将输出信号放大1倍，再求相对熵。解：对比离散信源......§4.1连续性信源的熵结论：三、连续信源熵的性质3.变换性

当变换为平移或旋转时，熵不变。§4.1连续性信源的熵例4：设信源X方差为σ2，均值为0的正态分布。经过放大倍数为k，直流分量为a的放大器输出，y=kx+a，求h(Y)。解：∴Y是均值为a，方差为k2σ2的正态变量。§4.1连续性信源的熵定理4.1一个连续信源输出信号的平均功率限定为P，则当输出信号幅度的概率密度分布是高斯分布时，信源具有最大熵，其值为

。离散信源也存在最大熵！（最大离散熵定理）

h(X)

为p(x)

的上凸函数，对某种p(x)的分布，h(X)可达到最大值。三、连续信源熵的性质§4.1连续性信源的熵4.凸状性A、平均功率受限条件下信源的最大熵定理4.2

若信源X输出的幅度被限定在区域[a,b]内，则当输出信号的概率密度函数是均匀分布时，信源具有最大熵。4.凸状性

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论