连续信源的熵与互信息量课件

1、连续信源的熵与互信息连续信源的熵与互信息量量第四讲第四讲Review离散信源的离散信源的非平均自信息与非平均自信息与熵熵 离散离散随机变量的非平均自信息随机变量的非平均自信息：1,)(log)(axpxIiai)(log)(jiajiyxpyxI)/(log)/(jiajiyxpyxI 离散信源离散信源的平均自信息即熵的平均自信息即熵：)(log)()()(1ianiiixpxpxIEXH)/(log)()/()/(11jimjnijijiyxpyxpyxIEYXH )(log)()()(11jianimjjijiyxpyxpyxIEXYH扩展)/(log)()/()/(kjiijkkjikj

2、izyxpzyxpzyxIEZXYH 离散无记忆信源离散无记忆信源：H (X)= HL(X)=H(X) 离散有记忆信源离散有记忆信源：H(X) HL(X) H(X)Review离散信源离散信源序列序列的的熵熵 信源的序列熵：)XXX()(L21HHLX)X(1)(LHLHLX)(limXLLHHnXH2log)(1Review离散信源的互信息离散信源的互信息)/()();(YXHXHYXI)()/(log)();(11ijinimjjixpyxpyxpYXI )()|(log)/()();(ijijiijixpyxpyxIxIyxI)/()/(log)/;(kikjikjizxpzyxpzyx

3、I)()(log);(ikjikjixpzyxpzyxI);();(jiyxIEYXI)/;()/;(kjizyxIEZYXI);();(kjizyxIEYZXI系统1系统2XYZ两级串联信道的情况X-Y-Z构成Markov链)()(ZXHYXH当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。数据处理定理);();(ZXIYXIReview连续信源的熵与互信息量连续信源的熵与互信息量第四讲第四讲 输出消息取值上连续的信源，如语音，电视等，输出消息取值上连续的信源，如语音，电视等， 对应的数学工具为连续型随机变量或随机过程。对应的数学工具为连续型随机变量

4、或随机过程。 连续信源输出的状态概率用概率密度来表示。连续信源输出的状态概率用概率密度来表示。 连续信源的数学模型连续信源的数学模型( , )( )( )( )0( )1baXa bp xp xp xp x dx并满足，考虑一个定义在考虑一个定义在a,b区间的连续随机变量，如下图区间的连续随机变量，如下图 首先把首先把X的取值区间的取值区间a,b等等分割为分割为n个小区间，小区间宽度为个小区间，小区间宽度为 =(b-a)/n，根据概率分布与概率密度曲线区间面积的关系根据概率分布与概率密度曲线区间面积的关系 x x取值取值为为第第i个个小区间小区间xi的概率为的概率为p(xi)., xi为为小区

5、间小区间xi中的一中的一点，点，于是得到于是得到分割分割后的后的离散信源离散信源Xn的概率源空间为：的概率源空间为： p(x) p(xi) a 0 xi b x 连续信源的熵？连续信源的熵？其中其中1()( )1nbiaip xp x dx 按离散信源熵的定义按离散信源熵的定义 1() () log () nniiiH Xp xp x log)()(log)(11niiniiixpxpxp1() log()logniiip xp x 当当0，n时，时，Xn接近于连续随机变量接近于连续随机变量X，这时可，这时可得连续信源的熵为：得连续信源的熵为： loglim)(log)(0badxxpxp)(

6、XHcniiinnnxpxpXHXH100log)(log)(lim)(lim)(绝对熵绝对熵相对熵相对熵x1x2xnp(x1)p(x2)p(xn)定义定义:连续连续随机随机变量的相对熵变量的相对熵为为bacdxxpxpXH)(log)()( 1) 相对熵为绝对熵减去一个无穷大量相对熵为绝对熵减去一个无穷大量；2) 相对熵相对熵不具有非负性，可以为负值；不具有非负性，可以为负值； 4) 连续信源的绝对熵为一个无穷大量，但当分析互信连续信源的绝对熵为一个无穷大量，但当分析互信 息量时是求两个息量时是求两个绝对绝对熵的差，当采用相同的量化过熵的差，当采用相同的量化过 程时，两个无穷大量将被抵消，程

7、时，两个无穷大量将被抵消，因而因而采用采用相对熵不相对熵不 影响分析互影响分析互信息信息。 3) 相对熵不等于一个相对熵不等于一个消息状态具有的平均信息量；消息状态具有的平均信息量；连续信源的相对熵连续信源的相对熵定义定义：连续连续随机随机变量的联合熵变量的联合熵为为2()()log()cRHXYp xyp xy dxdy 定义定义：连续连续随机随机变量的条件熵变量的条件熵为为连续信源的相对熵连续信源的相对熵22(/)=()log( /)(/)=()log( / )cRcRHX Yp xyp x y dxdyH YXp xyp y x dxdy连续连续随机随机变量的联合熵、条件熵和互信息之间关

8、系变量的联合熵、条件熵和互信息之间关系()()(/)()()(/)(;)()(/)(;)()(/)(;)()()()cccccccccccccHXYHXHYXHXYHYHXYI X YHXHXYI X YHYHYXI X YHXHYHXY连续信源的互信息连续信源的互信息2( , )(; )( , )log( ) ( )(; )()(/)Rccp x yI X Yp x ydxdyq x w yI X YHXHX Y 定定义：义：连续连续随机随机变量变量的的平均互信息量平均互信息量为为连续随机变量的连续随机变量的联合平均互信息量联合平均互信息量3()(;)()log() ( )Rp xyzI X

9、Y Zp xyzdxdydzp xy w z 连续信源的互信息连续信源的互信息3(/ )(;/)()log( / ) ( / )Rp xy zI X Y Zp xyzdxdydzq x z w y z 连续连续随机随机变量变量的条件平均互信息量的条件平均互信息量连续连续随机随机变量变量X与离散与离散随机随机变量变量Y联合联合联合熵、条件熵联合熵、条件熵()( )(/)log( )(/)(/)( )(/)log(/)cyRcyRHXYWy p xyWy p xy dxHXYWy p xyp xy dx 连续信源的熵与平均互信息量连续信源的熵与平均互信息量( ) ( /)(;)( ) ( /)lo

10、g( )( )yRW y p xyI X YW y p xydxp x W y 连续连续随机随机变量变量X与离散与离散随机随机变量变量Y的的平均互信息量平均互信息量例题例题 令令X X是在区间是在区间(a(a，b)b)上均匀分布的随机变量，求上均匀分布的随机变量，求X X的的相相 对对熵熵。解：解：x的概率密度为的概率密度为 注意:连续变量的微分熵不具有非负性 当 ba 1 时， ba 1 时， ba=1 时， ),(0),(1)(baxbaxabxp1()log()log()bCaHXba dxbaba()0CHX ；()0 ;CHX()0.CHX例例 令令X X是数学期望为是数学期望为m

11、m，方差为，方差为 的正态随机变量，求的正态随机变量，求 它的熵。它的熵。解：正态随机变量解：正态随机变量x的概率密度的概率密度它的值视 的大小可正、可负或零，且与数学期望无关。22211( )exp()22p xxm22211()( )()22122122CHXp xlnxmdxlnlne 2 均匀分布的连续信源的熵：均匀分布的连续信源的熵：:()ln()cHXba一维均匀分布 高斯分布的连续信源的熵：高斯分布的连续信源的熵：21()log 221()loglog 222ccHXeNHXMe 连续熵实例连续熵实例仅与区域的边界有关仅与区域的边界有关与数学期望无关，仅与方差有关与数学期望无关，

12、仅与方差有关11:(X)ln()ln()NNciiiiiiNHbaba维均匀分布 设设pXY是是(xy)二维高斯概率密度函数二维高斯概率密度函数 2222)()1 (21exp121)(xxyxXYmxxyp222()()()xyyxyyxmymym 求求X与与Y的平均互信息。的平均互信息。连续熵实例连续熵实例 例例 X 和Y 的一维概率密度函数容易求得为222222222)(exp21)()(2)()1 (21exp121)()(xxxRyyyxyxxxyxRxyXmxdymymymxmxdyxypxp222)(exp21)()(yyyRxyymxdxxypyp类似可得，X 和Y 之间的平均

13、互信息由定义有 奈特 表明，两个高斯变量之间的互信息只与相关系数有关，而与数学期望及方差表明，两个高斯变量之间的互信息只与相关系数有关，而与数学期望及方差和无关。和无关。 dxdyypxpxypxypYXIYXXYXY)()()(log)()(；222222()()()112(1)(1)1xyxxxyxmymxmln dxdyxypmymxmyXYyyxxyy)()()()1 ()(22222222222211121(1)1122111ln 21(1)2ln eXYHcyx2log)1(log21)(222类似可得，例例: :设原连续随机变量X是数学期望为m，方差为 的正态随机变量，经一个放大

14、倍数为k的放大器放大输出为Y,求Y的相对熵。解：y=kx为数学期望为km，方差为 的正态随机变量， 注意:相对熵值通过线性放大器后发生变化. 22k222211( )( )()22122122CHYp ylnykmdyklnklnek 2指数分布的连续信源的熵：指数分布的连续信源的熵：1:( )(0)()()logxacp xexaE XaHXae概率密度连续熵实例连续熵实例aedxxpaxeadxeaxpdxxpxpXHcxaxxxxlog)(loglog1log)()(log)()(000 连续熵可为负值连续熵可为负值（为什么？连续熵的相对性所致为什么？连续熵的相对性所致） 可加性可加性

15、平均互信息的非负性，对称性，信息处理定理平均互信息的非负性，对称性，信息处理定理 最大连续熵定理最大连续熵定理(;)0(;)(;)(;)(;)IX YIX YI YXIXZIX Y)/()()/()()(YXHYHXYHXHXYHccccc连续熵的性质连续熵的性质 峰值功率受限的最大熵定理峰值功率受限的最大熵定理 若连续随机变量若连续随机变量X的峰值不超过的峰值不超过M，即，即X限于限于(-M,M)内内取值，则取值，则X的相对熵的相对熵ln2cHXM 当且仅当当且仅当X为均匀分布时等号成立。为均匀分布时等号成立。 平均功率受限的最大熵定理平均功率受限的最大熵定理 若连续随机变量若连续随机变量X

16、的方差为一定，则的方差为一定，则X服从正态分布时服从正态分布时 的相对熵最大，即的相对熵最大，即21ln2ln22cHXee 连续信源与离散信源不同，连续信源与离散信源不同，1) 它不存在绝对它不存在绝对最大熵最大熵;2) 其最大熵与信源的限制条件有关。其最大熵与信源的限制条件有关。最大连续熵定理最大连续熵定理 峰值功率受限的最大熵定理峰值功率受限的最大熵定理 若连续随机变量若连续随机变量X的峰值不超过的峰值不超过M，即，即X限于限于(-M,M)内内取值，则取值，则X的相对熵的相对熵ln2cHXM 当且仅当当且仅当X为均匀分布时等号成立。为均匀分布时等号成立。 平均功率受限的最大熵定理平均功率

17、受限的最大熵定理 若连续随机变量若连续随机变量X的方差为一定，则的方差为一定，则X服从正态分布时服从正态分布时 的相对熵最大，即的相对熵最大，即21ln2ln22cHXee 最大连续熵定理最大连续熵定理证明：证明：应用拉格朗日乘因子法，首先构造函数应用拉格朗日乘因子法，首先构造函数MMcdxxpXH)()(由相对熵定义，可得由相对熵定义，可得( )ln( )( )MMMMp xp x dxp x dx( )ln( )MMp xe p x dx ( )lnMMp xe dx11( )ln( )1( )( )MMMMp xdxp xdxe p xe p x21Me当且仅当当且仅当11,( )( )

18、p xee p x即时，等号成立。时，等号成立。将其代入约束条件将其代入约束条件1MMdxxp)(可得可得1/2eM，则有，则有( )ln( )ln2MMp xp x dxMMxp2/1)(于是有于是有ln2cHXMX (-M,M) 峰值功率受限的最大熵定理峰值功率受限的最大熵定理 若连续随机变量若连续随机变量X的峰值不超过的峰值不超过M，即，即X限于限于(-M,M)内内取值，则取值，则X的相对熵的相对熵ln2cHXM 当且仅当当且仅当X为均匀分布时等号成立。为均匀分布时等号成立。 平均功率受限的最大熵定理平均功率受限的最大熵定理 若连续随机变量若连续随机变量X的方差为一定，则的方差为一定，则

19、X服从正态分布时服从正态分布时 的相对熵最大，即的相对熵最大，即21ln2ln22cHXee 最大连续熵定理最大连续熵定理证明：证明：考虑到约束条件考虑到约束条件dxmxxp22)(应用拉格朗日乘因子法计算极大值应用拉格朗日乘因子法计算极大值212( )ln( )( )( )()MMp xp x dxp x dxp x xmdx212()( )ln( )x meep xdxp x当且仅当当且仅当212()( )x mp xee时，等号成立。时，等号成立。将其代入两个约束条件，即可求得将其代入两个约束条件，即可求得和和1dxxp)(212()( )1( )x meep xdxp x22221)(

20、)(mxexp于是有于是有21ln2ln22cHXee X的方差一定的方差一定ln2cHXe 均值受限的最大熵定理均值受限的最大熵定理 若连续随机变量若连续随机变量X非负的均值为非负的均值为M，则则X服从指数分布时服从指数分布时 的相对熵最大，即的相对熵最大，即logcHXm e最大连续熵定理最大连续熵定理 当平均功率受限时，高斯分布信源的熵最大，若令当平均功率受限时，高斯分布信源的熵最大，若令 其平均功率为其平均功率为 ，则其熵为，则其熵为221()ln22CHXe 熵功率熵功率 若平均功率为若平均功率为 的信源具有熵为的信源具有熵为HC(X)，则称熵为，则称熵为HC(X)的的 高斯信源的平

21、均功率为熵功率高斯信源的平均功率为熵功率2222()212CHXee 若另一信源的平均功率仍为若另一信源的平均功率仍为 ，则它的熵一定小于，则它的熵一定小于22log21e2222ln)(2222121eXHceeee222222连续信源的剩余度连续信源的剩余度 平均功率受限时，一般信源的熵小于高斯分布信源的熵，平均功率受限时，一般信源的熵小于高斯分布信源的熵，所以信号的熵功率所以信号的熵功率 总小于信号的实际平均功率总小于信号的实际平均功率 。 熵功率的大小可以表示连续信源剩余的大小。信号平均功熵功率的大小可以表示连续信源剩余的大小。信号平均功 率和熵功率之差率和熵功率之差 ，称为连续信源的

22、，称为连续信源的剩余度剩余度。思考思考: 设设X和和Y为连续随机变量，且为连续随机变量，且X的概率密度为的概率密度为222/21)(xexq条件概率密度为条件概率密度为222/)(21)|(xyexyp其中其中 x，y。试求试求Hc(X)，Hc(Y/X)，Hc(X/Y)和和I(X；Y)。解：)2,0(411412121)/()()(),0(,21)(24)2/(42/)(2/22/222222222222NYedxedxeedxxypxqywNXxexqyyxyxyxx22log21)(log)()(edxxqxqXHc24log21)(log)()(edxxqxqYHc22/)(2/)(2log21)(log)