




已阅读5页,还剩40页未读, 继续免费阅读
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
上节内容回顾 主要内容 一 单符号互信息 二 平均互信息 三 互信息的物理意义 上节内容回顾 一 单符号互信息 指通信前后不确定度的减小量 差值 称为互信息量 1 定义 对称性 干扰很大 相互独立 时 无干扰时 2 性质 一 单符号互信息 上节内容回顾 二 平均互信息 1 定义 指单符号互信息I xi yj 在X和Y集合上的统计平均值 上节内容回顾 二 平均互信息 2 性质 对称性 非负性 极值性 理论证明略 与单符号互信息相同 理论证明参考周荫清编的信息理论基础 直观理解 直观理解 上节内容回顾 二 平均互信息 当p xi 一定时 互信息是p yj xi 的U型函数 存在极小值 信息率失真函数的理论基础 当p yj xi 一定时 互信息是p xi 的n型函数 存在极大值 信道容量的理论基础 2 性质 上节内容回顾 二 平均互信息 平均互信息与联合熵之间的关系 上节内容回顾 上节内容回顾 三 互信息的物理意义 1 接收端收到yj后所获得的关于发送端xi的信息量 2 通信中实际传送的有用信息量 接收端 发送端 发送端 接收端 损失熵 疑义度 噪声熵 上节内容回顾 三 互信息的物理意义 2 2离散信源熵和互信息 四 熵的性质 非负性 例 2 2离散信源熵和互信息 四 熵的性质 2对称性 例 2 2离散信源熵和互信息 四 熵的性质 3确定性 只要信源符集中有一个符号出现的概率为1 即为确定信源 信源熵为0 2 2离散信源熵和互信息 四 熵的性质 4香农辅助定理 对于任意两个n维概率矢量P p1 p2 pn 和Q q1 q2 qn 如下不等式成立 任意概率分布 pi 对其他概率分布 qi 的自信息量取数学期望时 必大于 pi 对 pi 本身的自信息量取数学期望 等号当且仅当P Q成立 2 2离散信源熵和互信息 四 熵的性质 5最大熵定理 离散无记忆信源输出M个不同消息符号 当且仅当各符号出现的概率相等时 信源熵最大 直观理解 2 2离散信源熵和互信息 四 熵的性质 二元信源的概率空间为 例 画出二元信源熵曲线H p 2 2离散信源熵和互信息 四 熵的性质 6条件熵小于无条件熵 1 条件熵小于信源熵 2 两个条件下的条件熵小于一个条件下的条件熵 3 联合熵小于信源熵之和 2 2离散信源熵和互信息 四 熵的性质 7信源熵 条件熵 联合熵和互信息量之间的关系 2 2离散信源熵和互信息 四 熵的性质 7信源熵 条件熵 联合熵和互信息量之间的关系 2 2离散信源熵和互信息 2 2离散信源熵和互信息 2 2离散信源熵和互信息 五 数据处理中信息的变化 数据处理定理 当消息通过多级处理器时 随着处理器数目的增多 输人消息与输出消息之间的平均互信息量趋于变小 信息不增性 数据处理过程中只会丢失一些信息 绝对不会创造出新的信息 一旦丢失信息 则用任何处理手段也不可能恢复出丢失的信息 2 3离散序列信源熵 离散信源 发出单个符号信源 发出符号序列的信源 无记忆信源 发出单个符号的信源 一个符号代表一个消息 有记忆信源 发出符号序列的信源 一组含二个以上符号的符号序列代表一个消息 2 3离散序列信源熵 发出符号序列的信源 发出单个符号的信源 2 3离散序列信源熵 自信息量 发出单个符号的信源的表示方法 信源熵 2 3离散序列信源熵 设信源输出的随机序列为 序列中的单符号变量 其中的一个序列为 序列个数 2 3离散序列信源熵 信源的序列熵 与单符号信源熵相似 不同的是 2 3离散序列信源熵 一 无记忆信源序列熵 信源的序列熵 2 3离散序列信源熵 一 无记忆信源序列熵 2 3离散序列信源熵 若与序号l无关时 即满足平稳特性 信源的序列熵 平均每个符号 消息 熵为 一 无记忆信源序列熵 2 3离散序列信源熵 无记忆信源随机变量X 0 1 等概率分布 若以单个符号出现为一事件 则此时的信源熵 如果以两个符号出现 L 2的序列 为一事件 则随机序列X 00 01 10 11 信源的序列熵 可见 用2比特才能表示该事件 例 可见 用1比特就可表示该事件 信源的符号熵 2 3离散序列信源熵 例 有一离散平稳无记忆信源 求 信源熵 二次扩展信源序列熵和平均符号熵 2 3离散序列信源熵 二 有记忆信源序列熵 必须引入条件熵的概念 而且只能在某些特殊情况下才能得到一些有价值的结论 对于由两个符号组成的联合信源 有下列结论 当前后符号无依存关系时 有下列推论 2 3离散序列信源熵 二 有记忆信源序列熵 若信源输出一个L长序列 则信源的序列熵为 平均每个符号的熵为 若当信源退化为无记忆时 若当信源平稳时 2 3离散序列信源熵 离散有记忆信源各符号的概率空间 信源发出的二重符号 两个符号的概率关联性用条件概率p aj ai 表示 如表 p aj ai 求离散信源的序列熵和平均每个符号的熵 例 2 3离散序列信源熵 解 由p ai aj p ai p aj ai 计算得联合概率p aiaj 如表 序列熵 平均符号熵 2 3离散序列信源熵 当信源符号之间无记忆时 信源X的信息熵为 有记忆时平均符号熵 结论 有记忆时平均符号熵小于无记忆时的符号熵 即不确定度减小 原因 2 3离散序列信源熵 条件熵H XL XL 1 随L的增加是非递增的 条件较多的熵必小于或等于条件较少的熵 而条件熵必小于或等于无条件熵 三 离散平稳信源 即 条件越多 条件熵越小序列越长 条件熵越小 2 3离散序列信源熵 三 离散平稳信源 L给定时 平均符号熵 条件熵 HL X H XL XL 1 证 即 序列中平均符号熵大于最后一个符号的条件熵 2 3离散序列信源熵 三 离散平稳信源 HL X 是L的单调非增函数HL X HL 1 X 证 即 序列越长 平均每个符号的熵越小 2 4连续信源熵和互信息 离散信源的统计特性 用概率分布描述连续信源的统计特性 用概率密度函数描述 用离散变量逼近连续变量 2 4连续信源熵和互信息 单变量x 设 幅度连续的单个符号信源 是连续变量x的概率密度函数 由中值定理得 令 根据离散信源熵的定义 2 4连续信源熵和互信息 幅度连续的单个符号信源 2 4连续信源熵和互信息 幅度连续的单个符号信源 对比离散信源熵 连续信源熵定义为 2 4连续信源熵和互信息 幅度连续的单个符号信源 说明 1 形式相似 2 意义不同 连续信源的不确定度为无穷大离散信源的不确
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 食品药品与服装产业概览
- 软件开发技术选型
- 围术期脓毒性休克治疗
- 信息技术未来发展趋势
- 去医院拔牙流程
- 文化活动介绍
- 研究生第一次开组会中文文献汇报
- 精准高效守护新生
- 社团特色活动介绍
- 热泵原理与技术
- 2025年医师定期考核法律法规试题及答案
- 学堂在线 大学计算机基础 章节测试答案
- 县域共配仓农村物流配送成本控制报告
- 二级实验室生物安全管理手册
- 2024-2025学年北京市西城区人教版五年级下册期末测试数学试卷(含答案)
- 全国“安康杯”职工安全健康意识与应急技能知识竞赛试卷附答案
- 2025年taca试题及答案
- 皮肤科说课课件
- 中国古代教育的发展历程
- 人民医院心血管外科临床技术操作规范2023版
- 助理工程师考试试题以及答案
评论
0/150
提交评论