连续随机变量的相对熵和互信息.doc_第1页
连续随机变量的相对熵和互信息.doc_第2页
连续随机变量的相对熵和互信息.doc_第3页
连续随机变量的相对熵和互信息.doc_第4页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

6.2连续随机变量的相对熵和互信息定义6.2.1 两个分布密度为的相对熵定义为 定义6.2.2 设有联合分布密度和边际分布密度，定义的互信息为 互信息与可微熵，条件熵有以下关系： 类似地，可以定义条件互信息我们将相对熵和互信息的一些性质罗列如下:性质6.2.1期中等号成立的充要条件是几乎处处成立。性质6.2.2期中等号成立的充要条件是相互独立。性质6.2.3期中等号成立的充要条件是相互独立。性质6.2.4期中等号成立的充要条件是相互独立。推论6.2.1其中等号成立的充要条件是在给定条件下相互独立。应用性质6.2.1 我们可以证明在具有相同方差的连续分布中，正态分布有最大熵。定理6.2.1 设服从正态分布是任一实指随机变量，则证明 设与的各分布密度分别为和则由性质6.2.1， 所以现在我们来计算两个正态分布的相对熵。例6.2.1 设分别为维正态分布和分布密度。则它们的相对熵为 特别地，当分别是一维正态分布和的分布密度时我们有 6.3连续信源的率失真函数 先给出率失真测度的概念。 定义6.3.1 称为定义在字母集上的失真测度，如果它满足以下条件： 对任意； 对任意的成立，且等号成立的充要条件是设为两个随机变量，则它们的平方失真测度定义为 汉明失真定义为 两个维随机向量的平方是真定义为 以下给出失真函数的定义。定义6.3.2 对给定信源定义率失真函数为 与离散情形类似，利用拉格朗日乘法算子，可得连续无记忆信源率失真函数的充要条件。 定理6.3.1 设为连续无记忆信源，条件分布密度使互信息率失真函数充要条件是 其中 连续信源的率失真函数也有以下性质。定理6.3.2 设为任一连续信源率失真函数，则有：是的非增函数；是的凸函数；在上连续；如果，则在上连续。以上两个定理的证明留给读者。下面给出高斯信源的率失真函数。 定理6.3.3 设高斯信源服从正态分布，则在平方失真测度下的率失为： 证明： 由率失真函数的定义知，中的也可以是对所有的符合约束条件的条件分布取值。所以我们有 我们先导出的一个下界，然后证明这个下界是可达的。由条件熵和互信息的性质以及方差固定条件下正态分布有最大熵的性质，并注意到，我们有以下推理过程： 从而， 。为了证明下界是可达的，我们需要找到一个条件分布密度，使其对应的互信息为此，我们构造反向测试信道。令其中服从正态分布服从正态分布切与相互独立（见图6.3.1）。
人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论