第6讲——连续信源的数学模型及其信息测度.pdf

连续信源的数学模型 及其测度 连续信源的数学模型 及其测度 连续信源的数学模型连续信源的数学模型连续信源的数学模型连续信源的数学模型 及其测度及其测度及其测度及其测度 第六讲第六讲第六讲第六讲 信源的数学模型信源的数学模型 信源的信息测度信源的信息测度 随机变量 随机序列随机变量 随机序列 简单离散信源 简单离散信源 H X 离散无记忆信源 离散无记忆信源 H X 离散有记忆信源 离散有记忆信源 H X Review HL X H X 离散信源离散信源 连续信源的数学模型 及其测度 连续信源的数学模型 及其测度 连续信源的数学模型连续信源的数学模型连续信源的数学模型连续信源的数学模型 及其测度及其测度及其测度及其测度 第六讲第六讲第六讲第六讲 5 1 5 1 5 1 5 1 连续信源的数学连续信源的数学连续信源的数学连续信源的数学 模型模型模型模型 输出消息取值上连续的信源 如语音 电视信源等 对 应的数学工具为连续型随机变量或随机过程 输出消息取值上连续的信源 如语音 电视信源等 对 应的数学工具为连续型随机变量或随机过程 连续信源输出的状态概率用概率密度来表示 连续信源输出的状态概率用概率密度来表示 连续信源的数学模型连续信源的数学模型 1 b a Xa b p xp x p x dx 并满足 5 2 5 2 5 2 5 2 连续信源的连续信源的连续信源的连续信源的 信息测度信息测度信息测度信息测度 考虑一个定义在在考虑一个定义在在 a b 区间的连续随机变量 如下图区间的连续随机变量 如下图 首先把首先把X的取值区间的取值区间 a b 分割为分割为n个小区间 小区间宽度为个小区间 小区间宽度为 b a n 根据概率分布与概率密度曲线区间面积的关系 根据概率分布与概率密度曲线区间面积的关系 X取值为取值为xi的概率为的概率为p xi 于是得到离散信源 于是得到离散信源Xn的概 率源空间为 的概 率源空间为 p x p xi a 0 xi b x 连续熵连续熵 x1x2 xn p x1 p x2 p xn 其中其中 1 1 n b i a i p xp x dx 按离散信源熵定义按离散信源熵定义 1 log n nii i H Xp xp x log log 11 n i i n i ii xpxpxp 1 log log n ii i p xp x 当当 0 n 时 时 Xn接近于连续随机变量接近于连续随机变量X 这时可 得连续信源的熵为 这时可 得连续信源的熵为 loglim log 0 b a dxxpxp XH c n i ii n n n xpxpXHXH 1 00 log log lim lim 绝对熵绝对熵 相对熵相对熵 x1x2 xn p x1 p x2 p xn 定义定义 b a c dxxpxpXH log 1 连续信源熵为相对熵 其值为绝对熵减去一个无穷 大量 连续信源熵为相对熵 其值为绝对熵减去一个无穷 大量 因为连续信源有无穷多个状态 因为连续信源有无穷多个状态 2 连续信源熵不具有非负性 可以为负值 连续信源熵不具有非负性 可以为负值 4 尽管连续信源的绝对熵为一个无穷大量 但信息论 的主要问题是信息传输问题 因此 当分析其互信 息量时是求两个熵的差 当采用相同的量化过程时 两个无穷大量将被抵消 因而不影响分析 尽管连续信源的绝对熵为一个无穷大量 但信息论 的主要问题是信息传输问题 因此 当分析其互信 息量时是求两个熵的差 当采用相同的量化过程时 两个无穷大量将被抵消 因而不影响分析 3 连续信源熵不等于一个消息状态具有的平均信息 量 其值是有限的 而信息量是无限的 连续信源熵不等于一个消息状态具有的平均信息 量 其值是有限的 而信息量是无限的 连续熵连续熵 连续变量的联合熵和条件熵连续变量的联合熵和条件熵 2 2 2 log log log c xy c xy c xy HXYp xyp xy dxdy HXYp xyp xy dxdy HYXp xyp yx dxdy 连续熵连续熵 CC CC CCC I X YH XH X Y H YH Y X H XH YH XY 平均互信息量平均互信息量 均匀分布的连续信源的熵 均匀分布的连续信源的熵 ln c HXba 一维均匀分布 高斯分布的连续信源的熵 高斯分布的连续信源的熵 2 1 ln2 2 c HXe 连续熵实例连续熵实例 仅与区域的边界有关 与数学期望无关 仅与方差有关 仅与区域的边界有关 与数学期望无关 仅与方差有关 11 ln ln NN ciiii ii NHXbaba 维均匀分布 性质性质 连续熵可为负值 连续熵的相对性所致 连续熵可为负值 连续熵的相对性所致 可加性可加性 平均互信息的非负性 对称性 信息处理定理平均互信息的非负性 对称性 信息处理定理 0 YXIZXI XYIYXI YXI cc cc c YXHYHXYHXHXYH ccccc 连续熵的性质连续熵的性质 5 3 5 3 5 3 5 3 最大连续熵定理最大连续熵定理最大连续熵定理最大连续熵定理 峰值功率受限的最大熵定理峰值功率受限的最大熵定理 若连续随机变量若连续随机变量X的峰值不超过的峰值不超过M 即 即X限于限于 M M 内 取值 则 内 取值 则X的相对熵的相对熵 ln2 c HXM 当且仅当当且仅当X为均匀分布时等号成立 为均匀分布时等号成立 平均功率受限的最大熵定理平均功率受限的最大熵定理 若连续随机变量若连续随机变量X的方差为一定 则的方差为一定 则X服从正态分布时 的相对熵最大 即 服从正态分布时 的相对熵最大 即 2 1 ln2ln2 2 c HXee 连续信源与离散信源不同 连续信源与离散信源不同 1 它不存在绝对 最大熵 它不存在绝对 最大熵 2 其最大熵与信源的限制条件有关 其最大熵与信源的限制条件有关 最大连续熵定理最大连续熵定理 峰值功率受限的最大熵定理峰值功率受限的最大熵定理 若连续随机变量若连续随机变量X的峰值不超过的峰值不超过M 即 即X限于限于 M M 内 取值 则 内 取值 则X的相对熵的相对熵 ln2 c HXM 当且仅当当且仅当X为均匀分布时等号成立 为均匀分布时等号成立 平均功率受限的最大熵定理平均功率受限的最大熵定理 若连续随机变量若连续随机变量X的方差为一定 则的方差为一定 则X服从正态分布时 的相对熵最大 即 服从正态分布时 的相对熵最大 即 2 1 ln2ln2 2 c HXee 最大连续熵定理最大连续熵定理 证明 应用拉格朗日乘因子法 首先构造函数证明 应用拉格朗日乘因子法 首先构造函数 M M c dxxpXH 由相对熵定义 可得由相对熵定义 可得 ln MM MM p xp x dxp x dx ln M M p xe p x dx ln M M p xe dx 11 ln 1 MM MM p xdxp xdx e p xe p x 2 1 M e 当且仅当当且仅当 1 1 p xe e p x 即 时 等号成立 将其代入约束条件 时 等号成立 将其代入约束条件 1 M M dxxp 可得可得1 2eM 则有 则有 ln ln2 M M p xp x dxM Mxp2 1 于是有于是有 ln2 c HXM X M M 峰值功率受限的最大熵定理峰值功率受限的最大熵定理 若连续随机变量若连续随机变量X的峰值不超过的峰值不超过M 即 即X限于限于 M M 内 取值 则 内 取值 则X的相对熵的相对熵 ln2 c HXM 当且仅当当且仅当X为均匀分布时等号成立 为均匀分布时等号成立 平均功率受限的最大熵定理平均功率受限的最大熵定理 若连续随机变量若连续随机变量X的方差为一定 则的方差为一定 则X服从正态分布时 的相对熵最大 即 服从正态分布时 的相对熵最大 即 2 1 ln2ln2 2 c HXee 最大连续熵定理最大连续熵定理 证明 考虑到约束条件证明 考虑到约束条件 dxmxxp 22 应用拉格朗日乘因子法计算极大值应用拉格朗日乘因子法计算极大值 2 12 ln M M p xp x dxp x dxp x xm dx 2 12 ln x m ee p xdx p x 当且仅当当且仅当 2 12 x m p xee 时 等号成立 将其代入两个约束条件 即可求得 时 等号成立 将其代入两个约束条件 即可求得 和和 1 dxxp 2 12 1 x m ee p xdx p x 2 2 2 2 1 mx exp 于是有于是有 2 1 ln2ln2 2 c HXee X的方差一定的方差一定 ln2 c HXe 5 4 5 4 5 4 5 4 熵功率熵功率熵功率熵功率 当平均功率受限时 高斯分布信源的熵最大 若令 其平均功率为 则其熵为 当平均功率受限时 高斯分布信源的熵最大 若令 其平均功率为 则其熵为 2 2 1 ln2 2 C HXe 22 熵功率熵功率 若平均功率为的信源具有熵为若平均功率为的信源具有熵为HC X 则称熵为 则称熵为HC X 的 高斯信源的平均功率为熵功率 的 高斯信源的平均功率为熵功率 2 2 2 2 2 1 2 C HX e e 若另一信源的平均功率仍为 则它的熵一定小于若另一信源的平均功率仍为 则它的熵一定小于HC X 2 2 22 22 连续信源的剩余度连续信源的剩余度 平均功率受限时 一般信源的熵小于高斯分布信源的熵 所以信号的熵功率总小于信号的实际平均功率 熵功率的大小可以表示连续信源剩余的大小 信号平均功 率和熵功率之差 称为连续信源的 平均功率受限时 一般信源的熵小于高斯分布信源的熵 所以信号的熵功率总小于信号的实际平均功率 熵功率的大小可以表示连续信源剩余的大小 信号平均功 率和熵功率之差 称为连续信源的剩余度剩余度 设设pXY是是 xy 二维高斯概率密度函数二维高斯概率密度函数 2 2 2 2 1 2 1 exp 12 1 x x yx XY mx xyp 2 2 2 xyy xyy xmymym 求求