4_第四章_多符号离散信源与信道

CompletesignalsetZero memoryinformationsourceInformationwithmemoryChannelwithoutmemoryChannelwithmemory I ai 代数性质 非负性 确定性 连续性 扩展性 强可加性 可加性 递推性 解析性质 极值性 上凸性 最大离散熵定理 对称性 复习 I ai bj 非负性 交互性 极值性 上凸性 不增性 I X Y 有极大值 信道容量 无噪信道 对称信道 Chapter4多符号离散信源与信道 概率复习 4 1多符号离散平稳信源的数学模型 信源每次输出的不是一个单个的符号 而是一个符号序列 通常一个消息序列的每一位出现哪个符号都是随机的 而且一般前后符号之间的出现是有统计依赖关系的这种信源称之为多符号离散信源 信源所发符号序列的概率分布与时间的起点无关 这种信源我们称之为多符号离散平稳信源 对于随机变量序列 若任意两个不同时刻i和j 信源发出消息的概率分布完全相同 则称这种信源为一维平稳信源 除上述条件外 如果联合概率分布也与时间起点无关 则称信源为二维平稳信源 这种信源在任何时刻发出两个符号的概率完全相同 各维联合概率均与时间起点无关的完全平稳信源称为离散平稳信源 k 1 2 k 1 2 平稳 各种概率分布不随时间变化而变化 k 1 2 N 4 离散平稳无记忆信源的信息熵 离散无记忆信源 离散信源在不同时刻发出的符号之间是无依赖的 彼此统计独立的 离散无记忆信源X的N次扩展信源 由离散无记忆信源输出N长的随机序列构成的信源 如果有一个离散无记忆信源X 取值于集合 其输出消息序列可用一组组长度为N的序列来表示 即等效于一个新的信源 新信源每次输出的是长度为N的消息序列 用N维离散随机矢量来描述X 其中每个分量都是随机变量 它们都取值于同一集合 且分量之间统计独立 则由随机矢量X组成的新信源称为离散无记忆信源X的N次扩展信源 数学模型 X信源空间的N重空间 信息熵 离散无记忆信源X的N次扩展信源 或称序列信源 的熵就是离散信源X的熵的N倍 信源X2 X1X2的概率分布为 信源X2的信源空间 信源X2的信息熵为 比特 2信符 消息 StationarystochasticprocessN thextensioninformationsourceN thextensionchannelDiscretesource channel Sourcecoding channelcoding 多符号离散平稳信源的数学模型 离散无记忆信源X的N次扩展信源 或称序列信源 的熵就是离散信源X的熵的N倍 离散平稳无记忆信源的信息熵 比特 2信符 消息 4 离散平稳有记忆信源的信息熵 有记忆信源 输出的随机序列X中各随机变量之间有依赖关系 但记忆长度有限 有记忆信源 一 二 平均符号熵 平均符号熵 极限熵 4 多符号离散平稳有记忆信源的极限熵 N维离散平稳有记忆信源的熵离散平稳信源有记忆信源的联合熵表示平均发一个消息 由N个符号组成 所提供的信息量 从数学角度出发 信源平均发一个符号所提供的信息量应为我们称为平均符号熵 当时 平均符号熵取极限值 称为极限熵或极限信息量 即 极限熵是否存在 如何计算 一 二 三 2 设计 N K 变量的联合熵 0 1 对于离散平稳信源 当时 具有以下性质 条件熵随N的增加是非递增的 N给定时 平均符号熵条件熵 平均符号熵随N增加是非递增的 说明 条件较多的熵必小于或等于条件较少的熵 而条件熵必小于等于无条件熵 对于离散平稳信源 当考虑依赖关系为无限长时 平均符号熵和条件熵都非递增地一致趋于平稳信源的信息熵 极限熵 可用条件熵或平均符号熵来作为平稳信源极限熵的近似值 MarkovprocessMarkovsourceentropyErgodicityErgodictheoremErgodicprocess 马尔科夫信源的概念m阶马尔科夫信源的数学模型m阶马尔科夫信源的极限熵等于m阶条件熵 4 马尔可夫信源的极限熵 一 M 链 1 什么叫M 链 马尔可夫过程 设 X t t T 为随机过程 若对任意正整数n及t10 且其条件分布满足 p X tn xn X t1 x1 X t2 x2 X tn 1 xn 1 p X tn xn X tn 1 xn 1 则称 X t t T 为马尔可夫过程 2 M 链的统计特性 m阶马尔可夫信源 信源每次发出的符号只与前m个符号有关 与更前面的符号无关 时齐马尔可夫信源 上述条件概率与时间起点i无关 a1a2 ar a1a2 ar a1a2 ar 3 各态历经 遍历 定理 例1 反射壁 例2 吸收壁 不具有各态历经性 4 状态转移图 Shannon线图 1 不可约性 2 非周期性 每一种状态回到自己状态的步数不存在大于1的公因子 a 不可约闭集 b 周期为2 二 M 信源的极限熵 m阶M 信源 m M信源 rm r rm 1 例 2 M信源 作业 P2023 63 9 EffectivenessReliabilityRedundancyVariationofinformationN thextensionChannelmatrix 信源冗余度及信息变差 由数据处理定理及离散熵的性质有表明信源的记忆长度越长 熵就越小 即信源符号的相关性越强 所提供的平均信息量就越小 定义 信源熵的相对率为信源实际的信息熵与同样符号数的最大熵的比值 信源的冗余度为1减去信源熵的相对率 冗余度也称为多余度 剩余度或富余度 4 信源的剩余度与结构信息 相对熵率 剩余度 信息变差冗余度的公式表明 信源的符号数一定 符号间的记忆长度越长 极限熵就越小 差值就越大 称为信息变差 总结 通信的效率和可靠性问题往往是一对矛盾 信源编码就是通过减少或消除冗余度来提高通信的效率 而信道编码是通过增加冗余度来提高通信的抗干扰能力 4 多符号离散信道的数学模型 第二时刻 第N时刻 一 输入符号集 二 输出符号集 三 传递特性 无记忆信道 4 离散无记忆信道的 次扩展 1 无记忆性 1 无预感性 反之 例1 BSC 二进制对称信道 1 输入 2 输出 3 传递概率 信道容量 4 次扩展无记忆信道的容量 例1 作业 P2033 12 小结 多符号离散信源的数学模型 离散平稳无记忆信源的信息熵离散平稳有记忆信源的信息熵平均符号熵 条件熵有下列关系平均符号熵与N 1维条件熵 马尔科夫信源的概念m阶马尔科夫信源的数学模型m阶马尔科夫信源的极限熵等于m阶条件熵 4 马尔可夫信源的极限熵 2 M 链的统