3第二章信息度量2.ppt

非负性对称性最大离散熵定理 信源X中包含n个不同离散消息时 信源熵H X 有 当且仅当X中各个消息出现的概率全相等时 上式取等号 表明等概率信源的不确定性最大 具有最大熵 且为 2 3 5信源熵的基本性质和定理 举例 3 应用 对于离散随机变量 当其可能的取值等概分布时 其熵达到最大值 即 其中 N为X可能取值得个数 例1 3 二元熵函数是对0 1分布的随机变量所求的熵 H X plogp 1 p log 1 p H p H X logp p p log 1 p 1 p 1 p log 1 p p 则 而 可以证明 p 1 2时 H p 取最大值 为log2 1 而p 0或1时 H p 0 故二元熵函数的曲线如图所示 1 0 1 0 0 5 0 p H p bit 二元熵函数曲线 等概时 p 0 5 随机变量具有最大的不确定性 p 0 1时 随机变量的不确定性消失 扩展性 确定性 不确定性完全消失 可加性 证明P27 极值性其它表述及证明 思考 证明 5 思考 5 1 证明条件熵小于无条件熵 即H Y X H Y 2 H XY H X H Y 上凸性 6 对任何和任何两个概率矢量P Q唯一性香农指出 存在这样的不确定性的度量 它是概率分布的函数 且该函数应满足以下三个先验条件 连续性条件 应是的连续函数 等概时为单调增函数 应为N的增函数可加性条件 当随机变量的取值不是通过一次试验而是若干次试验才最后得到的 随机变量在各次试验中的不确定程度应该可加 且其和始终与通过一次试验取得结果的不确定程度相同 即 香农证明 当函数满足上述三个条件时 其形式唯一 如下所示 递增性 递推性 若原信源X中有一元素划分 或分割 成m个元素 符号 而这m个元素的概率之和等于原元素的概率 则新信源的熵增加 思考与证明 证明P24 25若条件放宽 会形成其它唯一的熵 2 4 1平均互信息量定义互信息量是定量地研究信息流通问题的重要基础 但它只能定量地描述输入随机变量发出某个具体消息 输出变量出现某一个具体消息时 流经信道的信息量 此外还是随和变化而变化的随机变量 互信息量不能从整体上作为信道中信息流通的测度 这种测度应该是从整体的角度出发 在平均意义上度量每通过一个符号流经信道的平均信息量 定义互信息量在联合概率空间中的统计平均值为Y对X的平均互信息量 简称平均互信息 也称平均交互信息量或交互熵 2 4平均互信息量 了解Y后 X的不确定度的减少量 平均互信息克服了互信息量的随机性 可作为信道中流通信息量的整体测度 三种表达方式 2 4 2平均互信息的物理意义从三种不同角度说明从一个事件获得另一个事件的平均互信息需要消除不确定度 一旦消除了不确定度 就获得了信息 了解y后 x的不确定度的减少1 了解y后 x的不确定度的减少 2 或者说是X Y之间的统计依存程度的信息度量 举例 1 4 平均互信息量的性质 怎样理解 X y独立 对称性 非负性 怎样理解 大于0说明了解一事物对另一事物有帮助 等于0说明x y独立极值性 怎样理解 说明互信息的极大值为 x和y有确定的函数关系若x确定yH Y X 0I X Y H Y 凸函数性平均互信息量是输入信源概率分布的上凸函数 研究信道容量的理论基础 等概率时 平均互信息量是输道转移概率的下凸函数 研究信源的信息率失真函数的理论基础 独立时 数据处理定理 当消息经过多级处理后 随着处理器数目的增多 输入消息与输出消息之间的平均互信息量趋于变小 举例证明 4 10 2 4 3平均互信息量的性质 举例计算 10 离散互信息 当随机变量X和Y之间有确定的关系时 1 X可以唯一确定Y 此时 故 2 Y可以唯一确定X 此时 故 是对X和Y之间统计依存程度的信息量度 数据处理定理 信息不增原理 P Y X P Z Y X Y Z 两级串联信道的情况 举例证明 12 总结1各种熵之间的关系 2熵VS互信息 信息熵是表征随机变量本身统计特性的一个物理量 它是随机变量平均不确定性的度量 是从总体统计特性上对随机变量的一个客观描述 互信息I U V 我们又称它信息量一般是针对观测到另一个随机变量时而言的 是一个相对量 是指观测者从随机变量V中所获得的关于随机变量U的信息度量 在通信中 互信息是针对接收者而言的 是指接收者收到的关于信源的信息度量 当通信中无干扰时 接受者获得的信息量数量上就等于信源给出的信息熵 但是两者的概念不一样 当信道有干扰时 不仅概念上不一样 而且数量上也不相等 信息熵也可理解为信源输出的信息量 3对信息论基本概念的若干评注 信息论基本概念熵 互信息分别给出了随机变量不确定性的度量以及消除或减少这一不确定性时所获信息的度量 香农定义的熵是随机变量不确定性最合理的度量 减少或消除随机变量的不确定性的两条途径和信息的两种度量 从统计数学的