第5讲连续信源的数学模型及其信息测度_W

1、第五讲连续信源的数学模型及其测度Review离散信源信源的数学模型 随量、随机序列信源的信息测度 简单离散信源：H(X) 离散无记忆信源：H (X) = HL(X)=H(X) 离散有记忆信源：H(X) HL(X) H(X)第五讲连续信源的数学模型及其测度连续信源的数学模型输出消息取值上连续的信源，如语音，电视信源等，对 应的数学工具为连续型随量或随机过程。连续信源输出的状态概率用概率密度来表示。 X p(x) =(a, b)p(x)b并满足a p(x)dx = 1连续熵考虑一个定义在在a,b区间的连续随量，如下图p(x)p(xi)a0 xibx首先把X的取值区间a,b分割为n个小区间，小区间宽

2、度为=(b-a)/n，根据概率分布与概率密度曲线区间面积的关系 X取值为xi的概率为p(xi). ，于是得到离散信源Xn的概率源空间为：x1x2xnp(x1) p(x2) p(xn) x1x2xnp(x1) p(x2) p(xn) nb其中 i =1p ( xi ) =ap ( x ) dx = 1按离散信源熵定义nH ( X n ) = - p ( xi ) log p ( xi )i =1nn= -i =n1p(xi ) log p(xi ) -i =1p(xi ) log = -i=1p( xi ) log p(xi ) - log 当0，n时，Xn接近于连续随量X，这时可得连续信源的熵

3、为：H( X ) = limH ( Xn) = lim-np(xi) log p(xi) - log n00ni=1b绝对熵=ap(x) log p(x)dx -limlog = H( X ) + c0 相对熵连续熵b定义H c ( X) = - ap( x) log p( x)dx1) 连续熵为相对熵，其值为绝对熵减去一个无穷大 量(因为连续信源有无穷多个状态）2) 连续熵不具有非负性，可以为负值；3) 连续熵不等于一个消息状态具有的平均信息量， 其值是有限的，而信息量是无限的；4) 尽管连续信源的绝对熵为一个无穷大量，但信息论 的主要问题是信息传输问题，因此，当分析其互信 息量时是求两个熵

4、的差，当采用相同的量化过程时， 两个无穷大量将被抵消，因而不影响分析。连续熵平均互信息量I(X;Y) =HC(X)-HC(X |Y)=HC(Y)-HC(Y | X)=HC(X)+HC(Y)-HC(XY)连续变量的联合熵和条件熵H c ( XY ) = -xyp ( xy ) log 2 p ( xy ) dxdyH c (X/ Y ) = -xyH c (Y / X )= -xyp ( xy ) log 2 p (x / y ) dxdy p ( xy ) log 2 p ( y / x) ) dxdy连续熵实例 均匀分布的连续信源的熵：仅与区域的边界有关一维均匀分布: Hc ( X ) =

5、ln(b - a)NNN维均匀分布: Hc ( X ) = ln (bii=1- ai ) = ln(bii=1- ai ) 高斯分布的连续信源的熵：与数学期望无关，仅与方差有关H( X ) = 1 ln 2p es 2c2连续熵实例设pXY是(xy)二维高斯概率密度函数11(x - m )2)xp(xy) = exp-xxyXY2ps s1- r22(1 - r2s2- 2r(x - mx )( y - my ) + ( y - my )2o ss2xyy求X与Y的平均互信息。连续熵的性质 连续熵可为负值（连续熵的相对性所致） 可加性Hc (XY) = Hc (X) + Hc (Y / X)

6、 = Hc (Y)+ Hc (X /Y) 平均互信息的非负性，对称性，信息处理定理I ( XI ( X; Y) ; Y) =0I (Y ; X )I ( X ; Z )I ( X ; Y ) 最大连续熵定理最大连续熵定理连续信源与离散信源不同，1) 它不存在绝对最大熵;2) 其最大熵与信源的限制条件有关。 峰值功率受限的最大熵定理若连续随量X的峰值不超过M，即X限于(-M,M)内取值，则X的相对熵Hc ( X ) ln 2M当且仅当X为均匀分布时等号成立。 平均功率受限的最大熵定理若连续随量X的方差为一定，则X服从正态分布时的相对熵最大，即H( X ) ln2pes = 1 ln 2p es

7、2c2最大连续熵定理 峰值功率受限的最大熵定理若连续随量X的峰值不超过M，即X限于(-M,M)内取值，则X的相对熵Hc ( X ) ln 2M当且仅当X为均匀分布时等号成立。 平均功率受限的最大熵定理若连续随量X的方差为一定，则X服从正态分布时的相对熵最大，即H( X ) ln2pes = 1 ln 2p es 2c2X (-M,M) ln 2MHc ( X证明：应用拉格朗日乘因子法，首先构造函数MHc ( X ) - l -M p( x)dx-Ml由相对熵定义，可得MMp(x)ln e dx-M- M p(x) ln p(x)dx - l - M p(x)dx= -M- Mp(x) ln e

8、l p(x)dx1M1= Mp(x) lndx lp(x) l- Mel= 2M -11ep(x)- Mep(x)1 dx当且仅当el p(x)= 1,即p(x) = e-l时，等号成立。-将其代入约束条件+Mp( x)dx = 1可得 e-lM= 1/ 2M ，则有Mp(x) = 1/2M于是有 - M p(x) ln p(x)dx ln 2M最大连续熵定理 峰值功率受限的最大熵定理若连续随量X的峰值不超过M，即X限于(-M,M)内取值，则X的相对熵Hc ( X ) ln 2M当且仅当X为均匀分布时等号成立。 平均功率受限的最大熵定理若连续随量X的方差为一定，则X服从正态分布时的相对熵最大，

9、即H( X ) ln2pes = 1 ln 2p es 2c2+证明：考虑到约束条件s 2 =-( x)dx = 12pesX的方差一定 Hc ( X ) l和 +p( x)(x - m)2 dx -应用拉格朗日乘因子法计算1 - p(x) ln p(x)dx - l极大值p(x)dx -l p(x)(x - m)2 dxM- M-2 -= -l-l ( x-m)2ee-p(x) ln 12 dx p(x) e-l1 e-l2 ( x-m)2-1 dxp(x)-p(x)当且仅当 p(x) = e-l1 e-l2 ( x-m)2 时，等号成立。将其代入两个约束条件，即可求得于是有p(x) =12

10、ps- ( x-m)2e2s 2H( X ) ln2pes = 1 ln 2p es 2c2熵功率s当平均功率受限时，高斯分布信源的熵最大，若令2其平均功率为，则其熵为H( X ) = 1 ln 2p es 2C2C若另一信源的平均功率仍为s2，则它的熵一定小于H(X) 若平均功率为s 2的信源具有熵为HC(X)，则称熵为HC(X)的高斯信源的平均功率为熵功率 s 2o 2 =1 2pee2 HC ( X )o 2 s2连续信源的剩余度 平均功率受限时，一般信源的熵小于高斯分布信源的熵， 所以信号的熵功率s 2总小于信号的实际平均功率s 2。o 2 s2 熵功率的大小可以表示连续信源剩余的大小。信号平均功 率和熵功率之差 s 2 - s 2，称为连续信源的剩余度