信息论与编码基础-教学课件-3.ppt

信息论与编码基础 离散信道 一 信道疑义度与平均互信息 二 信道容量 三 有噪信道编码定理 一 信道疑义度与平均互信息 二 信道容量 三 有噪信道编码定理 信道模型信道疑义度平均互信息及其性质 信息论与编码基础 离散信道 一 信道疑义度与平均互信息 二 信道容量 三 有噪信道编码定理 信道模型信道疑义度平均互信息及其性质 信息论与编码基础 离散信道 根据输入 输出信号的时间特性和取值特性 离散信道 连续信道 半离散或半连续信道 波形信道 信道的分类 数字信道 根据信道的用户多少 单用户信道 多用户信道 一对多 多对一 多对多 信息论与编码基础 离散信道 根据信道转移概率的性质 无扰信道 有扰信道 实际的通信信道几乎都是有扰信道 无记忆信道 有记忆信道 实际信道一般都是有记忆的 信道中的记忆现象来源于物理信道中的惯性 如电缆信道中的电感或电容 无线信道中电波传播的衰落现象等 按信道统计特性 恒参信道 变参信道 卫星信道 短波信道 根据信道噪声的性质 高斯噪声信道 非高斯噪声信道 信道的分类 信息论与编码基础 离散信道 离散信道的数学模型 信道 无扰 无噪 信道 有扰信道 无记忆信道 有记忆信道 信息论与编码基础 离散信道 信道 单符号离散信道 例1BSC信道 BSC p 信道是实际中几乎所有重要的二进制脉冲传输系统的模型 p为交叉 crossover 概率等于解调器 检测器出现硬判决译码错误的概率 信息论与编码基础 离散信道 条件转移概率 转移矩阵 转移概率图 信息论与编码基础 离散信道 单符号离散信道 一定比例的bit被删除 并且接收者知道是那些bit已经被删除 例2二进制删除信道 信息论与编码基础 离散信道 单符号离散信道 一 信道疑义度与平均互信息 二 信道容量 三 有噪信道编码定理 信道模型信道疑义度平均互信息及其性质 信息论与编码基础 离散信道 先验熵 后验熵 若信道中存在干扰时 信道疑义度 0 H X Y H X 损失熵 信息论与编码基础 离散信道 一 信道疑义度与平均互信息 二 信道容量 三 有噪信道编码定理 信道模型信道疑义度平均互信息及其性质 信息论与编码基础 离散信道 互信息 自信息 条件自信息 由于条件引入获得的信息量 1 对称性 I ai bj I bj ai 2 事件统计独立时I ai bj 0 3 可正 可负 4 I ai bj I ai 信息论与编码基础 离散信道 信息论与编码基础 绪论 练习 令随机变量x表示随机抽取人群中的性别 x 0为男性 x 1为女性 随机变量y表示随机抽取人是否抽烟 y 0表示抽烟 y 1表示不抽烟 1 若 x y 的联合概率分布如表1 1所示 求 已知抽取人为男性 对 该人抽烟 提供的信息量 2 若 x y 的联合概率分布如表1 2所示 求 已知抽取人为男性 对 该人抽烟 提供的信息量 本课小结 2 信道疑义度 互信息 信息论与编码基础 离散信道 1 信道模型 BSC BEC 信息论与编码基础 离散信道 一 信道疑义度与平均互信息 二 信道容量 三 有噪信道编码定理 一 信道疑义度与平均互信息 二 信道容量 三 有噪信道编码定理 信道模型信道疑义度平均互信息及其性质 信息论与编码基础 离散信道 互信息 由于条件引入获得的信息量 1 对称性 I ai bj I bj ai 2 事件统计独立时I ai bj 0 3 可正 可负 4 I ai bj I ai 信息论与编码基础 离散信道 平均互信息 定义令 为信道输入X与输出Y之间的平均互信息 接收到每个输出符号后获得的关于X的平均信息量 bit sig 互信息 信息论与编码基础 离散信道 信息传输率 不确定性消除的多少 获得信息量的大小 平均互信息是互信息的统计平均值 信息论与编码基础 离散信道 平均互信息 利用詹森不等式 信息论与编码基础 离散信道 接收者通过信道获得的信息量不可能超过信源本身固有的信息量 0 I X Y H X 信息论与编码基础 离散信道 发出X后获得的关于Y的平均信息量 信息论与编码基础 离散信道 4 与各类熵的关系 损失熵 噪声熵 散布度 表示信道输入信号由于干扰作用在输出端表现的散布范围 信息论与编码基础 离散信道 5 的凸函数性 于是 信息论与编码基础 离散信道 信息论与编码基础 离散信道 例1 续 当p 0时 当p 1时 当p 1 2时 信息论与编码基础 离散信道 思考题 令X Y1 Y2为二进制随机变量 1 如果I X Y1 0且I X Y2 0 可否推出I X Y1 Y2 0 试举例说明 2 如果I X Y1 0且I X Y2 0 是否可推出I Y1 Y2 0 请说明 信息论与编码基础 离散信道 若三个离散随机变量 又如下关系 其中X和Y相互统计独立 试证明 信息论与编码基础 离散信道 综合例题 信息论与编码基础 离散信道 一 信道疑义度与平均互信息 三 有噪信道编码定理 定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信道容量香农公式 二 信道容量 信息论与编码基础 离散信道 一 信道疑义度与平均互信息 三 有噪信道编码定理 定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信道容量香农公式 二 信道容量 信息论与编码基础 离散信道 平均互信息I X Y 代表了接收到每个输出符号后获得的关于X的平均信息量 又叫做信道的信息传输率 I X Y 能说明一个信道的好 坏吗 定义 说明 bit sig 1 信道给定后 p y x 就固定 C仅与p y x 有关 而与P x 无关 2 Ct是信道最大传输速率 Ct C t bit s 信源分布最佳时 信道容量最大 信息论与编码基础 离散信道 一 信道疑义度与平均互信息 二 信道容量 三 有噪信道编码定理 定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信道容量香农公式 信息论与编码基础 离散信道 1 无噪无损信道 I X Y H X H X Y 信息论与编码基础 离散信道 2 有噪无损信道 I X Y H X H X Y 信息论与编码基础 离散信道 3 有损无噪信道 I X Y H Y H Y X 信息论与编码基础 离散信道 总结 1 若严格区分 凡损失熵等于0的信道称为无损信道 凡噪声熵等于0的信道称为无噪信道 2 无损信道 3 无噪信道 信息论与编码基础 离散信道 例 求BEC的信道容量 信息论与编码基础 离散信道 信息论与编码基础 离散信道 一 信道疑义度与平均互信息 二 信道容量 三 有噪信道编码定理 定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信道容量香农公式 对称信道 信息论与编码基础 离散信道 信息论与编码基础 离散信道 例 强对称信道 信息论与编码基础 离散信道 有噪声的打字机信道 考虑26个键的打字机 1 如果每敲击一个键 它就准确地输出相应的字符 那么该容量C是多少 2 如果假设敲击一个键都会导致输出该键对应的字母或者下一个字母等概率出现 即敲A可能输出A或B 敲Z可能输出Z或A 那么此时的容量如何 信息论与编码基础 离散信道 本课小结 2 平均互信息性质 非负性 极值性 对称性 凸函数特性 信息论与编码基础 离散信道 1 平均互信息概念 3 信道容量及其计算 信息论与编码基础 离散信道 一 信道疑义度与平均互信息 二 信道容量 三 有噪信道编码定理 定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信道容量香农公式 对称信道 信息论与编码基础 离散信道 信息论与编码基础 离散信道 例 强对称信道 信息论与编码基础 离散信道 有噪声的打字机信道 考虑26个键的打字机 1 如果每敲击一个键 它就准确地输出相应的字符 那么该容量C是多少 2 如果假设敲击一个键都会导致输出该键对应的字母或者下一个字母等概率出现 即敲A可能输出A或B 敲Z可能输出Z或A 那么此时的容量如何 信息论与编码基础 离散信道 一 信道疑义度与平均互信息 二 信道容量 三 有噪信道编码定理 定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信道容量香农公式 信息论与编码基础 离散信道 信息论与编码基础 离散信道 离散无记忆N次扩展信道模型 1 信道模型 信道转移矩阵 其中 1 信道模型 BSC的二次扩展信道 信息论与编码基础 离散信道 2 平均互信息 bit N sig 信息论与编码基础 离散信道 矢量形式 定理 对于离散无记忆信道 有 证明 信息论与编码基础 离散信道 熵的链式法则 熵的独立界 2 平均互信息 信息论与编码基础 离散信道 信息论与编码基础 离散信道 定理 对于无记忆信源 则 证明 2 平均互信息 信息论与编码基础 离散信道 计算 达到的条件 只有当信源无记忆时 每一输入变量Xi的分布P x 各自达到最佳分布时 3 信道容量 信息论与编码基础 离散信道 一 信道疑义度与平均互信息 二 信道容量 三 有噪信道编码定理 定义简单离散信道的信道容量对称离散信道的信道容量扩展信道的信道容量香农公式 信息论与编码基础 离散信道 1 连续消息的信息度量 连续信源的可能取值数是无限多个 若设取值是等概率分布 那么 信源的不确定为无限大 连续信源的熵 1 与离散信源的熵在形式上统一 2 实际问题中常常讨论熵之间差值问题 相对熵 差熵 微分熵 信息论与编码基础 离散信道 高斯分布情况 2 高斯信道的信道容量 I X Y h y h y x h y h z 信息论与编码基础 离散信道 信道的输出功率为 E y2 E x z 2 E x2 0 E z2 S N 根据最大熵定理 平均功率受限条件下信源的最大熵定理若某信源输出信号的平均功率和均值被限定 则当其输出信号幅度的概率密度函数p x 是高斯分布时 信源达到最大熵值 信息论与编码基础 离散信道 2 高斯信道的信道容量 3 带限信道的信道容量 对于带限信号 采样定理指出 若信号的有效带宽为B 采样频率为fs 则当fs 2B时 样值序列能够保留原连续信号全部的频谱特征