连续信源的熵与互信息量.ppt

连续信源的熵与互信息量,第四讲,离散信源的非平均自信息与熵,离散随机变量的非平均自信息：,离散信源的平均自信息即熵：,扩展,离散无记忆信源：H(X)=HL(X)=H(X),离散有记忆信源：H(X)HL(X)H(X),离散信源序列的熵,信源的序列熵：,离散信源的互信息,系统1,系统2,X,Y,Z,两级串联信道的情况X-Y-Z构成Markov链,当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。,数据处理定理,连续信源的熵与互信息量,第四讲,输出消息取值上连续的信源，如语音，电视等，对应的数学工具为连续型随机变量或随机过程。连续信源输出的状态概率用概率密度来表示。,连续信源的数学模型,考虑一个定义在a,b区间的连续随机变量，如下图,首先把X的取值区间a,b等分割为n个小区间，小区间宽度为=(b-a)/n，根据概率分布与概率密度曲线区间面积的关系x取值为第i个小区间xi的概率为p(xi).,xi为小区间xi中的一点，于是得到分割后的离散信源Xn的概率源空间为：,p(x),p(xi),a0 xibx,连续信源的熵？,其中,按离散信源熵的定义,当0，n时，Xn接近于连续随机变量X，这时可得连续信源的熵为：,绝对熵,相对熵,定义:连续随机变量的相对熵为,1)相对熵为绝对熵减去一个无穷大量；,2)相对熵不具有非负性，可以为负值；,4)连续信源的绝对熵为一个无穷大量，但当分析互信息量时是求两个绝对熵的差，当采用相同的量化过程时，两个无穷大量将被抵消，因而采用相对熵不影响分析互信息。,3)相对熵不等于一个消息状态具有的平均信息量；,连续信源的相对熵,定义：连续随机变量的联合熵为,定义：连续随机变量的条件熵为,连续信源的相对熵,连续随机变量的联合熵、条件熵和互信息之间关系,连续信源的互信息,定义：连续随机变量的平均互信息量为,连续随机变量的联合平均互信息量,连续信源的互信息,连续随机变量的条件平均互信息量,连续随机变量X与离散随机变量Y联合联合熵、条件熵,连续信源的熵与平均互信息量,连续随机变量X与离散随机变量Y的平均互信息量,例题令X是在区间(a，b)上均匀分布的随机变量，求X的相对熵。解：x的概率密度为注意:连续变量的微分熵不具有非负性当ba1时，ba1时，ba=1时，,例令X是数学期望为m，方差为的正态随机变量，求它的熵。解：正态随机变量x的概率密度它的值视的大小可正、可负或零，且与数学期望无关。,均匀分布的连续信源的熵：,高斯分布的连续信源的熵：,连续熵实例,仅与区域的边界有关,与数学期望无关，仅与方差有关,设pXY是(xy)二维高斯概率密度函数,求X与Y的平均互信息。,连续熵实例,例X和Y的一维概率密度函数容易求得为,X和Y之间的平均互信息由定义有奈特表明，两个高斯变量之间的互信息只与相关系数有关，而与数学期望及方差和无关。,例:设原连续随机变量X是数学期望为m，方差为的正态随机变量，经一个放大倍数为k的放大器放大输出为Y,求Y的相对熵。解：y=kx为数学期望为km，方差为的正态随机变量，注意:相对熵值通过线性放大器后发生变化.,指数分布的连续信源的熵：,连续熵实例,连续熵可为负值（为什么？连续熵的相对性所致）可加性平均互信息的非负性，对称性，信息处理定理最大连续熵定理,连续熵的性质,峰值功率受限的最大熵定理若连续随机变量X的峰值不超过M，即X限于(-M,M)内取值，则X的相对熵,当且仅当X为均匀分布时等号成立。,平均功率受限的最大熵定理若连续随机变量X的方差为一定，则X服从正态分布时的相对熵最大，即,连续信源与离散信源不同，1)它不存在绝对最大熵;2)其最大熵与信源的限制条件有关。,最大连续熵定理,峰值功率受限的最大熵定理若连续随机变量X的峰值不超过M，即X限于(-M,M)内取值，则X的相对熵,当且仅当X为均匀分布时等号成立。,平均功率受限的最大熵定理若连续随机变量X的方差为一定，则X服从正态分布时的相对熵最大，即,最大连续熵定理,证明：,应用拉格朗日乘因子法，首先构造函数,由相对熵定义，可得,当且仅当,时，等号成立。,将其代入约束条件,可得,，则有,于是有,X(-M,M),峰值功率受限的最大熵定理若连续随机变量X的峰值不超过M，即X限于(-M,M)内取值，则X的相对熵,当且仅当X为均匀分布时等号成立。,平均功率受限的最大熵定理若连续随机变量X的方差为一定，则X服从正态分布时的相对熵最大，即,最大连续熵定理,证明：,考虑到约束条件,应用拉格朗日乘因子法计算极大值,当且仅当,时，等号成立。,将其代入两个约束条件，即可求得,和,于是有,X的方差一定,均值受限的最大熵定理若连续随机变量X非负的均值为M，则X服从指数分布时的相对熵最大，即,最大连续熵定理,当平均功率受限时，高斯分布信源的熵最大，若令其平均功率为，则其熵为,熵功率,若平均功率为的信源具有熵为HC(X)，则称熵为HC(X)的高斯信源的平均功率为熵功率,若另一信源的平均功率仍为，则它的熵一定小于,连续信源的剩余度,平均功率受限时，一般信源的熵小于高斯分布信源的熵，所以信号的熵功率总小于信号的实际平均功率。,熵功率的大小可以表示连续信源剩余的大小。信号平均功率和熵功率之差，称为连续信源的剩余度。,思考:,设X和Y为连续随机变量，且X的概率密度为,条件概率密度为,其中x，y。试求Hc(X)，Hc(Y/X)，Hc(X/Y)和I(X；Y)。,解：,思考:,习题2.23设X是在1，1上为均匀分布的随机变量。试求Hc(X)，Hc(X2)和Hc(X3)。,解:(a),(b)令