连续随机变量的相对熵和互信息

1、 6.2连续随机变量的相对熵和互信息定义6.2.1两个分布密度为f 3), g 3)的相对嫡定义为D(fg) = j f (x)log 3 dxg (x)定义6.2.2设X, Y有联合分布密度f (x, y)和边际分布密度f (x),匕(y)，定义X, Y的互信息为I(X, I(X, Y) = D( f (x, y)|fx (x) f (y)=j f (x, y)logf (x, y)fx(x) f (y)dxdy互信息与可微嫡，条件嫡有以下关系：I (X; Y) = h( X) - h( X Y) = h(Y) - hX |Y)= I (Y; X)类似地，可以定义条件互信息I(X; Y|Z)

2、= hXZ)- h(XYZ)= hY|Z)- hYXZ)= IY; X|Z)我们将相对嫡和互信息的一些性质罗列如下：性质6.2.1 DVfllg) 0,期中等号成立的充要条件是f = g几乎处处成立。性质6.2.21(X; Y) 0,期中等号成立的充要条件是X, Y相互独立。性质6.2.3 h(X|Y) h(X)期中等号成立的充要条件是X, Y相互独立。性质6.2.4 h(X 1, X 2，,X)h成),期中等号成立的充要条件是X 1, X 2X相 k=1互独立。推论6.2.1 h(X 1, X2,XjY) ILhk |Y)其中等号成立的充要条件是在给定条件k=1Y下X 1, X2X.相互独立

3、。应用性质6.2.1我们可以证明在具有相同方差的连续分布中，正态分布有最大嫡。定理6.2.1 设X服从正态分布N G, b 2定理6.2.1 设X服从正态分布，、，、 1，-EY = 0, VarY = EY2 =。2,则 h(Y) h(X) = ln2兀eb 2.2证明设X与Y证明设X与Y的各分布密度分别为(x)=-2b2和g (x)，则由性质6.2.1，g Q=j g Q=j g (x )in 茶dx = -h(Y) + h(Y),所以 h(Y) 0,对任意的x, y e x成立，且等号成立的充要条件是x = y.设X,Y为两个随机变量，则它们的平方失真测度定义为d(X, Y) = Ep

4、(X,Y)2汉明失真定义为f0, x。yp(x，y) = 11, x = y两个n维随机向量Xn = (X ,X，,X ),Yn = (Y,Y，,Y)的平方是真定义为 12n12nd ( Xn , Yn ) = 11LE p ( X , Y)2k=1以下给出失真函数的定义。定义6.3.2对给定信源X,定义率失真函数为R(D) = inf/(X;Y): d(x,y) D,0 D 0时Yj A(x) f (x)esd(x,y)dx 1, 当f (y) = 0时Y其中A( x) = (j f (y )esd (x, y) dy)-1连续信源的率失真函数也有以下性质。定理6.3.2设R(D)为任一连续

5、信源X率失真函数，则有：R(D)是D的非增函数；R(D)是D的凸函数；R(D)在(0,+8)上连续；如果R(0) 8，则R(D)在0,+8上连续。以上两个定理的证明留给读者。下面给出高斯信源的率失真函数。定理6.3.3设高斯信源X服从正态分布N(0q 2)，则在平方失真测度下的率失为：1 一 b 2 _R(D) = 2logD， D b2证明：由率失真函数的定义知，R(D)中的inf也可以是对所有的符合约束条件d(X,Y) D的条件分布f (yx)取值。所以我们有R( D) =minI (X, Y)f (ylx )：E (X-Y )2 D我们先导出R(D)的一个下界，然后证明这个下界是可达的。

6、由条件熵和互信息的性质以及方差固定条件下正态分布有最大熵的性质，并注意到E (X - Y )2 D，我们有以下推理过程:程:I (X; Y) = h( X) - h( XY)1= _log(2%)6 - h(XY)21，/、2_log(2兀e)b 2 - h(X - Y) 21、 /c 、，/ /八 /、2 log(2%)6 - h(N(0, E(X - Y)2) 212 _ log(2兀e)b 2 - _ log(2%)E(X - Y)2 TOC o 1-5 h z 2、1、小、 Ls2 _log(2兀e)6 -_log(2兀e)D22L b 2 =一 log2 D1、 b 2 从而，R(D) 2 了log-为了证明下界是可达的我们需要找到一个条件分布密度f(yx)，使其对应的互信息为了证明下界是可达的1b 2我们构造反向测试信道。令X = Y + Z,其中Y服从正态分I (X ； Y) = ：og 万.为此 布N(0,b 2 D), Z我们构造反向测试信道。令X = Y + Z,其中Y服从正态分Z N(0, D)IY N(0,6 -D) T T X N(0,6)图6.3.1高斯信源测试信道1、