




已阅读5页,还剩47页未读, 继续免费阅读
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
第8章微分熵与平均互信息 信息如何度量 8 1微分熵 1 单符号连续信源 定义 信源发出的消息为单一符号 这些符号随机取值于一个连续域 表示 连续型随机变量X 随机变量X的取值x为信源发出的消息 例1 例2 概率密度函数p x 如图所示 2 熵与微分熵 x落在第i个区域的概率 根据中值定理 熵 微分熵 消息x所对应概率密度函数p x 对数负值的数学期望 用h X 表示 定义 表示 微分熵不能作为连续信源的信息度量 定义微分熵的目的 微分熵差具有信息度量的意义连续信源的微分熵与离散信源的熵在形式上统一 均匀信源的微分熵 例3 高斯信源的微分熵 例4 不具有非负性 例如 当b a 1时 均匀分布信源的微分熵 严格上凸性 3 微分熵的主要性质和最大微分熵定理 平均功率受限下的最大微分熵定理 连续信源一般讨论特定限制条件下的最大微分熵 最常用的限制条件 平均功率受限 均值为0且方差受限 设p x 是任意概率密度函数 但 8 2联合微分熵与条件微分熵 信源发出的消息为有限或可数的符号序列 符号序列中任何时刻的符号都随机取值于同一个连续域 1 多符号连续信源 定义 表示 连续型随机变量序列X1X2 Xn 例1 例2 2 联合微分熵与条件微分熵 联合微分熵 消息x1x2 xn所对应联合概率密度函数p x1x2 xn 对数负值的数学期望 用h X1X2 Xn 表示 定义 表示 条件微分熵 消息x1x2 xn所对应条件概率密度函数p xk x1 xk 1 对数负值的数学期望 用h Xk X1 Xk 1 表示其中1 k n 定义 表示 3 微分熵的链式法则 4 联合微分熵的界 8 3平均互信息 1 单符号连续信道 定义 对应于单符号连续信源和单符号连续信宿的信道 表示 信源 连续型随机变量X信宿 连续型随机变量Y 随机变量X的取值x为信源发出的消息 随机变量Y的取值y为信宿收到的消息 p y x 为信道转移概率密度函数 2 噪声熵与噪声微分熵 x落在第i个区域基础上信道转移概率密度函数p y xi 如图所示i 1 2 N y xi落在第j个区域的信道转移概率 根据中值定理 噪声熵 噪声微分熵 信源消息x信宿消息y所对应信道转移概率密度函数p y x 对数负值的数学期望 用h Y X 表示 定义 表示 3 平均互信息 信宿消息y所对应概率密度函数p y 与信源消息x信宿消息y所对应信道转移概率密度函数p y x 比值对数负值的数学期望 用I X Y 表示 定义 表示 微分熵不能作为信息度量 平均互信息 微分熵差 具有信息度量的意义 以信宿为参考 利用信宿的微分熵和信道的噪声微分熵来度量信道中传输的平均信息量以信源为参考 利用信源的微分熵和信道的损失微分熵来度量信道中传输的平均信息量 4 平均互信息的主要性质 对称性 非负性 严格凸性 信道固定时 I X Y 对于信源概率密度函数p x 严格上凸信源固定时 I X Y 对于信道转移概率密度函数p y x 严格下凸 8 4联合平均互信息与条件平均互信息 1 多符号连续信道 定义 对应于多符号连续信源和多符号连续信宿的信道 表示 信源 连续型随机变量序列X1X2 Xn信宿 连续型随机变量序列Y1Y2 Yn p y1y2 yn x
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 广东省江门市新会区2024-2025学年四年级下学期期末科学试题(含答案)
- 2025电梯门套安装合同范本
- 2025年员工午休被发现睡觉企业违法解除劳动合同引争议
- 江苏省常州市武进区奔牛初级中学2026届中考冲刺卷物理试题含解析
- 道德和法治说课课件
- 疫情中考家长会课件图片
- 2025广州个体房屋租赁合同样本
- 疟疾防控宣传教育课件
- 疏浚工程与吹填工程课件
- 2025私人租房合同范本
- 7招培养孩子高效专注力
- 矿山投资入股协议书
- 《宫外孕处理常规》课件
- 控制计划考试试题及答案
- 煤矿机电运输设备技术与管理规范
- 2025四川眉山市国有资本投资运营集团有限公司招聘50人笔试参考题库附带答案详解
- 避孕药具随访管理制度
- T-SDFA 050-2024 混合型饲料添加剂中阿奇霉素的测定 液相色谱-串联质谱法
- 2025年三聚氰胺表面板行业深度研究分析报告
- T-CCPS 0014-2024 国有企业合规管理体系有效性评价原则与实施指南
- 《煤矿安全生产责任制》培训课件2025
评论
0/150
提交评论