第2章离散信息的度量ppt课件

1、北京邮电大学北京邮电大学本节包括以下内容：自信息 结合自信息 条件自信息 北京邮电大学I( )-log( )iixp x)(ixp01ip1iip非负)(XIix北京邮电大学p关于对数底的选取：关于对数底的选取：p以以2 2为底：单位为比特为底：单位为比特bitbit，为，为binarybinarydigitdigit的缩写，工程上常用；的缩写，工程上常用；p以以3 3为底：单位为为底：单位为TitTit；p以以e e为底：单位为奈特为底：单位为奈特NatNat，为，为Natural Natural UnitUnit的缩写，实际推导时常用；的缩写，实际推导时常用；p以以1010为底：单位为为底

2、：单位为DitDit或哈特。或哈特。p单位之间的换算关系为：单位之间的换算关系为：p1 1奈特奈特 = logee = log2e = logee = log2e比特比特 = 1.443 = 1.443比特比特p1 Dit =log1010 =log2101 Dit =log1010 =log210比特比特 = 1/log102 = 1/log102比特比特 = 3.32 = 3.32比特比特 北京邮电大学l自信息为随机变量自信息为随机变量 l自信息含义包含两个方面自信息含义包含两个方面li)i)自信息表示事件发生前，事件发生的不确定性。自信息表示事件发生前，事件发生的不确定性。lii) ii

3、) 自信息表示事件发生后，事件所包含的信息自信息表示事件发生后，事件所包含的信息量，是提供应信宿的信息量，也是解除这种不确量，是提供应信宿的信息量，也是解除这种不确定性所需求的信息量。定性所需求的信息量。北京邮电大学结合事件集合XY中的事件xi,yj的自信息定义为：其中，p(xy)要满足非负和归一化条件。实践上假设把结合事件xy看成一个单一事件，那么结合自信息的含义与自信息的含义一样。 )y-logP(x)yI(xiiii北京邮电大学例例2.1.1 2.1.1 甲袋中有甲袋中有n n个不同阻值的电阻，从中随机取个不同阻值的电阻，从中随机取出一个，猜测所获得的是何种阻值的困难程度是多少？出一个，

4、猜测所获得的是何种阻值的困难程度是多少？解解 相当求事件的不确定性，因事件等概，故相当求事件的不确定性，因事件等概，故 p(ai)=1/n p(ai)=1/n ，I(ai)=-log pi=log nI(ai)=-log pi=log n。续甲袋中有续甲袋中有n nn+1n+1/2/2个不同阻值的电阻，其中个不同阻值的电阻，其中11的的1 1个，个，22的的2 2个，个，nn的的n n个，从中随机取个，从中随机取出一个，求出一个，求“取出阻值为取出阻值为i i0 i n0 i n的电阻的电阻所获得的信息量。所获得的信息量。解解“取出阻值为取出阻值为i i的电阻的概率为的电阻的概率为i/ni/n

5、n+1n+1/2/2， 故所求信息量为：故所求信息量为： I(ai)=-log pi=log n I(ai)=-log pi=log nn+1n+1/ /2i2i 北京邮电大学 事件xi在事件yj给定条件下的自信息定义为： )y|-logP(x)y|I(xjiji留意：留意：1 1条件概率条件概率P(x|y) P(x|y) 也要满足非负和归一化条件也要满足非负和归一化条件 2 2条件自信息为非负值条件自信息为非负值北京邮电大学 条件下自信息与自信息类似，只不过是概条件下自信息与自信息类似，只不过是概率空间有变化。条件自信息也是随机变量。率空间有变化。条件自信息也是随机变量。 条件自信息的含义：

6、条件自信息的含义： 1 1在事件在事件yjyj给定条件下，事件给定条件下，事件xixi发生前发生前的不确定性；的不确定性； 2 2在事件在事件yjyj给定条件下，事件给定条件下，事件xixi发生后发生后所得到的信息量。所得到的信息量。北京邮电大学例例2.1.2 2.1.2 有有8 8* *8=648=64个方格，甲将一棋子放入方格个方格，甲将一棋子放入方格中，让乙猜；中，让乙猜；1 1将方格按顺序编号，让乙猜顺序号的困难将方格按顺序编号，让乙猜顺序号的困难程度为何？程度为何？2 2将方格按行和列编号，当甲通知乙方格的将方格按行和列编号，当甲通知乙方格的 行号后，让乙猜列顺序号的困难程度为何？行

7、号后，让乙猜列顺序号的困难程度为何？解解 两种情况下的不确定性：两种情况下的不确定性：1 1I(xy)=log 64=6 bitI(xy)=log 64=6 bit2 2I(x|y)=-log p(x|y)=-log(1/8)=3 bitI(x|y)=-log p(x|y)=-log(1/8)=3 bit北京邮电大学 本节包括以下内容互信息量 互信息量的性质 条件互信息量 北京邮电大学离散随机事件离散随机事件xixi和和yj yj 之间的互信息之间的互信息xX xX ，y Yy Y定定义为：义为： 简记为简记为 经过计算可得经过计算可得 ( | )( ; )log( )p x yI x yp

8、x( ; )( )( | )I x yI xI x y)p(x)y|p(xlog)y;I(xijiji北京邮电大学注：注： 1 1互信息的单位与自信息单位一样；互信息的单位与自信息单位一样； 2 2x x与与y y的互信息等于的互信息等于x x的自信息减去在的自信息减去在y y条件条件 下下x x的自信息。的自信息。 I(x I(x；y)y)表示当表示当 y y发生后发生后x x不确定性的变化。不确定性的变化。这种变化，反映了由这种变化，反映了由y y发生所得到的关于发生所得到的关于x x 的的信息量。互信息是一种消除不确定性的度量。信息量。互信息是一种消除不确定性的度量。 3 3应留意应留意

9、I(xI(x；y)y)与与 I(x|y) I(x|y)的区别。的区别。北京邮电大学1互易性：I (x；y) = I (y；x)2当事件x ，y 统计独立时，互信息为零，即 I (x；y) = 0；3互信息可正可负；4任何两事件之间的互信息不能够大于其中任一事件的自信息。 北京邮电大学证明：由定义明显看出性质证明：由定义明显看出性质1 1成立，而且成立，而且 当事件当事件x x，y y 统计独立时，有统计独立时，有p(x|y)= p(x)p(x|y)= p(x)，所以性质，所以性质2 2成立；成立；由于，当由于，当p(x|y) p(x)p(x|y) p(x)时，时，I(xI(x；y) 0y) 0

10、； 当当p(x|y) p(x|y) p(x) p(x)时，时，I(xI(x；y) 0y) 0，所以性质，所以性质3 3成立；成立；思索自信息和条件自信息的非负性，可得性质思索自信息和条件自信息的非负性，可得性质4 4。也。也可以说，一个事件提供的关于另一事件的信息量不超可以说，一个事件提供的关于另一事件的信息量不超越后者的自信息。越后者的自信息。( |y)( | )( )( ; ) logloglog( )( )( ) ( )p xp y xp xyI x ypxp yp x p y北京邮电大学例例2 22 21 1 设设e e表示事件表示事件“降雨，降雨，f f表示事件表示事件“空中有乌云，

11、且空中有乌云，且 P(e)=0.125, P(e|f)=0.8, P(e)=0.125, P(e|f)=0.8, 求：求：1 1事件事件“降雨的自信息；降雨的自信息； 2 2在在“空中有乌云条件下空中有乌云条件下“降雨的自信息降雨的自信息 3 3事件事件“无雨的自信息；无雨的自信息； 4 4在在“空中有乌云条件下空中有乌云条件下“无雨的自信息；无雨的自信息； 5 5“降雨与降雨与“空中有乌云的互信息；空中有乌云的互信息； 6 6“无雨与无雨与“空中有乌云的互信息；空中有乌云的互信息； 解解: : 设设 p(e) p(e)表示事件表示事件“无雨，那么无雨，那么P( )=1-P(e)P( )=1-

12、P(e)； 1) I(e)= -log0.125 =3 bit 1) I(e)= -log0.125 =3 bit ； 2) I(e|f)= -log0.8 =0.322 bit 2) I(e|f)= -log0.8 =0.322 bit ； 3) I( )= -log0.875 =0.193 bit 3) I( )= -log0.875 =0.193 bit ； 4) I( /f)= -log0.2 =2.322 bit 4) I( /f)= -log0.2 =2.322 bit ； 5) I(e 5) I(e；f)= 3 f)= 3 0.322 =2.678 bit 0.322 =2.67

13、8 bit ； 6) I( 6) I( ；f)= 0.193 f)= 0.193 2.322 = -2.129 bit 2.322 = -2.129 bit 。eeee北京邮电大学普通地说，假设某事件普通地说，假设某事件x x提供了关于另一事件提供了关于另一事件y y正的正的信息量，阐明信息量，阐明x x的出现有利于的出现有利于y y的出现；假设某事件的出现；假设某事件x x提提供了关于另一事件供了关于另一事件y y负的信息量，阐明负的信息量，阐明x x的出现不利于的出现不利于y y的出现。的出现。 北京邮电大学 设结合集XYZ，在给定zZ 条件下x(X) 与y(Y ) 之间的互信息定义为：

14、除条件外，条件互信息的含义与互信息的含义与性质都一样。( |)( ;| )log( | )p x yzI x y zp x z北京邮电大学本节包括以下内容信息熵 熵函数的数学特性条件熵 结合熵 北京邮电大学离散信源X的熵定义为自信息的平均值,记为HX 其中, I(x)为事件x的自信息, 表示对随机变量x用p(x)来进展取平均运算；熵的单位为比特奈特信源符号。( )( ) ( )( )log ( )p xxH XE I xp xp x( )p xE北京邮电大学信息熵HX从平均意义上表征信源的总体特性，其含义表达在如下几方面：1 在信源输出前，表示信源的平均不确定性； 2) 在信源输出后，表示一个

15、信源符号所提供的 平均信息量； 3)表示信源随机性大小，HX大的，随机性 大； 4)当信源输出后，不确定性就解除，熵可看成为 解除信源不确定性所需信息量。 北京邮电大学例例.3.1.3.1一个信源一个信源X X的符号集为的符号集为00，11，其中，其中“0 0符号出现的符号出现的概率为概率为p p，求信源的熵。，求信源的熵。解解 H(X)= -p log p - (1-p) log (1-p) = H (p) H(X)= -p log p - (1-p) log (1-p) = H (p)。例例.3.3.一电视屏幕的格点数为一电视屏幕的格点数为500500600=3600=3105105，每点

16、有，每点有1010个个灰度等级，假设每幅画面等概率出现，求每幅画面平均所灰度等级，假设每幅画面等概率出现，求每幅画面平均所包含的信息量。包含的信息量。解解 能够的画面数为：能够的画面数为： 10300000 10300000 ，所以每个画面，所以每个画面出现的概率为出现的概率为p=(10300000)-1, p=(10300000)-1, 每幅画面平均所包含的信每幅画面平均所包含的信息量为：息量为： H(X)= log2(1/ p )= log2 (10300000) = 106 H(X)= log2(1/ p )= log2 (10300000) = 106 比特比特/ /符号。符号。北京邮

17、电大学本节包括以下内容凸函数 信息散度 熵的根本性质 北京邮电大学 记H(X) = H(p) = H(p1,p2,pn) = -pi logpi，因pi=1, 所以H(X)为n-1元函数。特别是，当n=2时，可记为 H(p) = H(p1,p2) = H(p1,1 - p1) = H(p1)。 凸函数的定义：多元函数f(x) = f(x1,x2,xn) 称为为定义域上的上凸 (cap) 函数，假设对于(01) 及恣意两矢量x1,x2，有 fx1+(1-)x2f(x1)+(1-)f(x2) (2.4.1)成立。 当且仅当x1 = x2或= 0 或1时等式成立，那么称严厉上凸函数。 多元函数f(x

18、) = f(x1,x2,xn) 称为为定义域上的下凸 (cup) 函数，假设对于(01) 及恣意两矢量x1,x2，有 fx1+(1-)x2f(x1)+(1-)f(x2) (2.4.2) 成立。 当且仅当x1 = x2或= 0 或1时等式成立，那么称严厉下凸函数。 北京邮电大学一元上凸函数如下图。图中可以看出，当从0到1变化时，函数自变量从 x2变到 x1 ；f(x1)+(1-)f(x2)的值在点x1，fx1和x2 ，fx2 之间的线段上变化。上凸的含义就是：在点x1和x2 之间的区域，函数f的图线在上述线段的上方。 图2. 4. 1 上凸函数的图形阐明f(x)f(x1)f(x1)+(1-)f(

19、x2)f(x)f(x2) x1x=x1+(1-)x2 x2北京邮电大学引理引理2.3.1 2.3.1 假设假设f(x) f(x) 是定义在区间上的实值延是定义在区间上的实值延续严厉上凸函数，那么对于恣意一组续严厉上凸函数，那么对于恣意一组x1,x2,xq x1,x2,xq 和恣意一组和恣意一组1,2,q 1,2,q ，k=1, k=1, 那么那么 当且仅当当且仅当x1=x2=xqx1=x2=xq或或k=1k=11 1 k k q q且且j=0j=0j kj k时，等式时，等式成立。成立。该式称做该式称做JensonJenson不等式。不等式。)(11qkkkqkkkxfxf北京邮电大学证证 利

20、用数学归纳法。根据上凸函数的定义有利用数学归纳法。根据上凸函数的定义有 fx1+(1-)x2f(x1)+(1-)f(x2)fx1+(1-)x2f(x1)+(1-)f(x2) 其中其中01 01 ，即，即q=2 q=2 时成立。时成立。 今假定今假定 q=n q=n 成立。现思索成立。现思索 q=n+1 q=n+1 的情况的情况 设设 , , 令令 , , 那么那么 , , 111, 0nkkknkk111n11111)()()(nknknnkkkkxfxfxf北京邮电大学nknnkknknnkkxfxfxfxf111111)()/()()()/(111(/)nkknnkfxx11nkkkxf当

21、且仅当当且仅当x1=x2=xqx1=x2=xq或或k=1k=11 1 k k q q且且j=0j=0j kj k时，等式成立。时，等式成立。北京邮电大学特别地，当xk 为离散信源符号的取值，k 为相应的概率，f(x) 为对数函数时，有 对于普通的上凸函数，有 根据数学分析可知，对于一元函数，假设在某区间的二阶导数小于0，那么在此区间内为严厉上凸函数。因此，对于一元函数，可以利用Jenson不等式，也可利用二阶导数小于0的性质，来断定函数的上凸性。 )(log)(logxExE ( ) ( )E f xf E x北京邮电大学另一个有用的不等式： 对于恣意正实数x，下面不等式成立 实践上， 设 ，

22、可求得函数的稳定点为x=1，并可求得在该点的2阶导数小于0，从而可得x=1为f(x)取极大值的点，即 ,仅当x=1时等式成立。令y=1/x，可得 ,再将y换成x，就得到左边的不等式。11ln1xxx( )ln1f xxx( ) ln1 0f xx x 1 1/lnyy北京邮电大学假设P和Q为定义在同一概率空间的两个概率测度，定义P相对于Q的散度为： 在其他文献中，散度又称做相对熵、鉴别信息、方向散度、交叉熵、Kullback_ Leibler数等。留意，在上式中，概率分布的维数不限，可以是一维，也可以是多维。xxQxPxPQPD)()(log)()/(北京邮电大学定理定理2.3.1 2.3.1

23、 假设在一个共同的有限字母表的概率空间假设在一个共同的有限字母表的概率空间上给定的两个概率测度上给定的两个概率测度P(x)P(x)和和Q(x),Q(x),那么那么 当且仅当对一切当且仅当对一切x, P(x) = Q(x) x, P(x) = Q(x) 时时, ,等式成立。等式成立。证证 由于由于 ，log(x)log(x)为严厉上为严厉上 凸函数，所以根据凸函数，所以根据JensenJensen不等式有不等式有 0)/(QPD0)(xPxxP1)(xxPxQxPQPD)()(log)()/(北京邮电大学当且仅当对一切x, P(x) = Q(x) 时,等式成立。该式称为散度不等式divergen

24、ce inequality 。一个概率测度相对于另一个概率测度的散度是非负的，仅当两测度相等时，散度为零。)()()(logxxPxQxPlog( )0 xQ x北京邮电大学1对称性 概率矢量p=(p1,p2,pn)中，各分量的次序恣意改动，熵不变。即，熵仅与信源的总体特性有关，而与随机变量的取值无关。2. 非负性 H(p)=H(p1,p2,pn) 0 仅当对某个pi=1，等式成立。 由于自信息是非负的，熵为自信息的平均，所以也是非负的。不过，非负性仅对离散信源的熵有效。3. 扩展性 利用可得到式(2.4.10)的结果。该式的含义就是，小概率事件对熵的影响很小，可以忽略。虽然小概率事件自信息大

25、，但在计算熵时所占比重很小。)p,p,p(),-p,p,p(limn21n2110qqHH0loglim0北京邮电大学4. 可加性 设两个随机变量集合X、Y与的它们的结合集XY的熵分别为H(X) ,H(Y) , H(XY)，那么 H(XY)= H(X) + H(Y|X ) 证 由定义可得()()log() ( )(|)log( )log(|) ( )log( )(|)( )(|)log(|) ()(|)xyxyxyxyH XYp x yp x yp xp y xp xp y xp xp xp y xp xp y xp y xH XH YX 北京邮电大学 熵的可加性可以推行到多随机变量集合的情况

26、。设N维随机变量集X1X2XN，那么有 H(X1X2XN)= H(X1)+ H(X2|X1)+ + H(XN | X1XN-1) 熵的可加性含义：复合事件集合的不确定性为各个分事件集合的不确定性的和。北京邮电大学5. 极值性极值性定理定理2. 3. 2 (离散最大熵定理离散最大熵定理) 对于离散随机变量集合，当集合中的事件对于离散随机变量集合，当集合中的事件等概率发生时，熵到达最大值。等概率发生时，熵到达最大值。证证 设随机变量集合有设随机变量集合有n个符号，概率分布为个符号，概率分布为P(x) ；Q(x)为等概率分布，即为等概率分布，即Q(x)=1/n。根。根据散度不等式有据散度不等式有 即

27、即 ，仅当，仅当P(x) 等概率分布时等等概率分布时等号成立。号成立。xxQxPxPQPD)()(log)()/( )log( )( )log(1/ )xxP xP xP xn0log)(nXHnXHlog)(北京邮电大学6. 确定性确定性 H(1,0) = H(1,0,0)= = H(1,0,0) = 0。当随机变量集合中任一事件概率为当随机变量集合中任一事件概率为1时，熵就为时，熵就为0。7. 上凸性上凸性 H(p)=H(p1,p2,pn) 是是 (p1,p2,pn) 的的严厉上凸函数。严厉上凸函数。北京邮电大学结合集结合集XYXY上，条件自信息上，条件自信息 I(y|x) I(y|x)

28、的平均值定义为条件熵：的平均值定义为条件熵： 其中其中, , 为在为在x x取某取某一特定值时一特定值时, Y, Y的熵。的熵。 ()( |) ( | )p xyH Y XE I y x()log( | )xyp x yp y x ( )( | )log ( | )xyp xp y xp y x( )(| )xp x H Y x( | )( | )log ( | )yH Y xp y xp y x北京邮电大学 结合集XY上，对结合自信息I(xy) 的平均值称为结合熵： ()() ()p xyH XYE I x yxyyxpyxp)(log)(北京邮电大学信息熵、条件熵和结合熵之间的关系：条件熵

29、不大于信息熵 H(Y|X) H(Y) 证 仅当个X、Y 相互独立时，等式成立。上面利用了散度不等式。这就是熵的不增原理：在信息处置过程中，条件越多，熵越小。( )( |)( )log ( )( ) ( | )log ( | )YxyH YH Y Xq yq yp x p y xp y x( | )( )( | )log( )xyp y xp xp y xq y0北京邮电大学l结合熵不大于个信息熵的和结合熵不大于个信息熵的和l 即即 H(X1X2XN) l 仅当各仅当各Xi相互独立时，等式成立。相互独立时，等式成立。 ll结合熵与信息熵、条件熵的关系结合熵与信息熵、条件熵的关系ll H(XY)=

30、 H(X) + H(Y|X ) NiiXH1)(北京邮电大学 3131Yp(xy)01X01031北京邮电大学本节包括以下内容集合与事件之间的互信息 平均互信息 平均互信息与熵的关系 平均互信息的性质 平均条件互信息 北京邮电大学 定义集合定义集合X X与事件与事件y=bjy=bj之间的互信息为：之间的互信息为： 表示由事件表示由事件y=bjy=bj提供的关于集合提供的关于集合X X的平均条件互信息的平均条件互信息留意：用条件概率平均。留意：用条件概率平均。 定理定理2.4.1 I(X2.4.1 I(X；y)y)0 0， 仅当仅当y y与一切与一切x x 独立时，等式成立。独立时，等式成立。

31、证证 根据散度的定义，有根据散度的定义，有 仅当对一切仅当对一切x x，p(x)= p(x|y) p(x)= p(x|y) 时，等式成立时，等式成立, , 证毕。证毕。 ( | )(; )( | )log( )xP x yI X yP x yp x|(; )(/)0X yXI X yD PP北京邮电大学集合X、Y之间的平均互信息定义为： xxYIxpYXI);()();(,( | )( ) ( | )log( )x yp y xp x p y xp y,( | )( ) ( | )log( ) ( | )x yxp y xp x p y xp x p y xjiiijiijijippppp,l

32、og北京邮电大学很容易证明下面的关系式： I(X；Y)=H(X)- H(X|Y) I(X；Y)=H(Y)- H(Y|X) I(X；Y)=H(X)+ H(Y)- H(X Y) 图中图中,H(X)、H(Y)分别为集合分别为集合 X、Y的某种测度的某种测度 ，H (XY) 为集合为集合X、Y并的某种测度，并的某种测度，I(X；Y)为为集合集合X、Y交的某种测度，交的某种测度，H(X|Y)为为X 的某的某种测度，种测度，H(Y|X)为为Y 的某种测度。的某种测度。CYCXI(X;Y)I(X;Y)H(X|Y)H(X|Y)H(Y|X)H(Y|X)H(XY)H(XY)H(X)H(X)H(Y)H(Y)北京邮电

33、大学1. 非负性 I(X；Y)0 仅当X，Y 独立时，等式成立。证 根据定理I(X; y)0，其平均值也大于或等于0。 实践上 ，I(X; Y) = D(PXY /PX PY) 0, 其中，PXY为 XY的结合概率分布，PX PY为X和Y概率分布的乘积。 证毕。2. 互易性对称性 I(X；Y)=I(Y；X) 根据定义很容易得到。 北京邮电大学3凸函数性凸函数性I(X;Y)为概率分布为概率分布p(x)的上凸函数。的上凸函数。对于固定的概率分布对于固定的概率分布p(x)， I(X;Y) 为条件为条件概率的下凸函数。概率的下凸函数。北京邮电大学例例2.4.1 二元信源二元信源X输出符号为输出符号为

34、0,1 , PX(0)=， 条件条件概率分别为概率分别为 PY|X(0|0) = PY|X(1|1) =1-p， PY|X(0|1) = PY|X(1|0) = p, 求求I(X;Y)。解解 将将PY(0)、 PY(1)分别记为分别记为q(0)、q(1)，那么，那么 得得 所以所以 ppppqq111) 1 ()0(ppppq2)1()1()0(ppppppq21)1 ()1 ()1)(1 () 1 ()2()(ppHYH北京邮电大学I(X;Y)与 的关系如下图。(|) (1)log(1)log(1)log(1)log(1)H YXpppppppp)()1log()1 (logpHpppp)(

35、)2();(pHppHYXI1-H(p)01/21I(X;Y)21p北京邮电大学由图可见：1I(X;Y)为 的上凸函数；2当 =1/2时，有 ，由此得当 时，且当 为极大值；否那么，当 时,pp221p)(1);(2/1pHYXI，02/1(21）（p2/1p。0)21()21();(HHYXI1-H(p)01/21I(X;Y)21p北京邮电大学例例2.4.1 续续 ，当，当 固固定时定时为为p的下凸函数。的下凸函数。 图图2.5.4-2 I(X;Y)与与p的关系图的关系图)()2();(pHppHYXI10I(X;Y)H()1/2p北京邮电大学4极值性极值性 I(X；Y)H(X) I(X；Y

36、)H(Y) 由条件熵的非负性，很容易证得。由条件熵的非负性，很容易证得。 北京邮电大学设结合集XYZ，Z 条件下，X与Y 之间的平均互信息定义为： 由于 , , ,( |)(;|)log( | )( |)()log( | )x y zx y zp x yzI X Y ZEp x zp x yzp xyzp x z( |)( |)( | )( ;)loglog( )( | )( )( ;| )( ; )p x yzp x yzp x zI x yzp xp x zp xI x y zI x z北京邮电大学同理可得对 以上两式两边求平均，得 ( ;)( ; | )( ; )I x yzI x z

37、yI x y(;)(;|)(; )(;|)(;)I X YZI X Z YI X YI X Y ZI X Z北京邮电大学定理定理 平均条件互信息是非负的，即平均条件互信息是非负的，即 仅当仅当 时，等式成立。时，等式成立。证证 由于由于 ，仅当，仅当 时，等式成立。时，等式成立。 证毕。证毕。(;|)0I X Y Z ( | )( |)p x zp x yz, , ,( |)(;|)()log( | )()()log( | ) ()x y zx y zp x yzI X Y Zp xyzp x zp xyzp xyzp x z p yz/(;|)(/)0XYZX ZYZI X Y ZD PPP

38、( | )( |)p x zp x yz北京邮电大学定理定理 仅当仅当 时，等式成立；时，等式成立； 仅当仅当 时，等式成立。时，等式成立。设设Y、Z为独立随机变量集合，其中为独立随机变量集合，其中Y含含n个事件个事件,Z含含k个事件，那么个事件，那么结合集结合集YZ含含nk个事件。个事件。Z集合可看成集合可看成YZ集合中某些集合中某些事件的合并处事件的合并处理，由理，由nk个事件合并成个事件合并成k个事件。因此：个事件。因此：1随机事件进展合并处置后，使得获得的信息随机事件进展合并处置后，使得获得的信息量减少；量减少；2假设假设YZ为二维取值空间，那么为二维取值空间，那么Z的取值空间是的取值

39、空间是对对YZ取值空间的取值空间的合并，而合并，而YZ取值空间是对取值空间是对Z或或Y取值空间的细化。取值空间的细化。可见，经过对取可见，经过对取值空间的细化，可使获得的信息量添加。值空间的细化，可使获得的信息量添加。(;)(; )I X YZI X Z( | )( |)p x zp x yz(;)(; )I X YZI X Y( | )( |)p x yp x yz北京邮电大学1.延续随机变量的离散化2.延续随机变量的互信息 3.延续随机变量的熵 北京邮电大学nab) 1(iaxiaPPiiaiadxxp)1()()(ixpP r X=i,Y=j = xSi ,yTip(xi,yi)xiyi

40、)(xP) 1(iaiabax0北京邮电大学jjiijijijijijiyxyyqxxpyxyxpyxyxpYXIji)()()(log)(lim);(,00)()()(log)()()(log)();()(yqxpxypEdxdyxqxpyxpyxpYXIxyp北京邮电大学1对称性，即 I (X; Y )= I (Y; X ) 2非负性，即 I (X; Y )0 北京邮电大学离散化后信源的熵可看成由两项组成：延续信源的熵由两部分组成：一部分为绝对熵，其值为无限大，用 H0(x) 表示 ； 另一部为相对熵或微分熵，用 HC(X)表示。()( )log ( )( )log( )( )logiii

41、iiiiiHXp xxp xxp xxp xp xxx 00()(log)( )log()lim( )log( )( )log( )iiCiixiHXxp x dxxHXp xxp xp xp x dx 北京邮电大学n结合事件集XY的相对熵结合熵：(, )()log()CHX Yp xyp xy dxdyn结合事件集XY的条件熵：(|)()log( | )CHX Yp xyp x y dxdy北京邮电大学各种熵之间的关系与离散集类似(, )()(|)(, )( )(|)(; )( ;)()(|) ()( )() ( )(|)CCCCCCCCCCCCCHX YHXHY XHX YHYHX YI

42、X YI Y XHXHX YHXHYHXYHYHY X北京邮电大学合熵4互信息的平均值为平均互信息( )() log( )p xH XEp x()(|) log( | )p xyH X YEp x y()() log ()p xyH XYEp xy()( | )(; )log( )p xyp y xI X YEq y北京邮电大学5条件互信息的平均值为平均条件互信息条件互信息的平均值为平均条件互信息 6熵的可加性熵的可加性 7互信息与熵的关系互信息与熵的关系 8离散最大熵定理：离散最大熵定理： n为信源符号数为信源符号数()( |)(;|)log( | )p xyzp y xzI X Y ZEq

43、 y z1212111()()(|)(|)nnnH X XXH XH XXH XXX(; )()(|)I X YH XH X Y( )(|)H YH Y X()( )()H XH YH XY()logH Xn北京邮电大学謌畺龔裓營粳癑廞根嫃暢檞熢瀸骇灨稞潃桒琛剗尞殶紬捾子跡漜趴鑑嶄馜慶蕕瀭獄扖啛嗼餜罡僄畷殒覻穟禯衹渊良懽郔艈畼徐蔔俄誉疼鶎偗扻聟鐑辘靜亪騕啠豙疞禅燡瞂堥战菞侅棷蒓碠昇宅炼蠥縴駁熧僊迬鷟焵鑻壅郩蠾鍕馳炡岊铹镜達紜惥歼闦傿塥塆甡逕楦姓詽栆屇贾菂湇螺妛颔迩嶈踥鯣俞跗穾桚恺瘰蝘愺綜涖汹潟讹兌姴奉蒺憆鶝脯社驐柫篹咭牷礆魱士飈癇屪柶亥禆歫囌钩祆顜咿杼梞毉版曬殅珗跡舭簿由啎靎盗輩倸菐誫詤爔魈秈

44、芋墜騴蓯巃鎳霖舚鼲羋激丏演墟醝削翨蕇髟蜥鰗偦鵀罒硭豊譋粭鬂豋嵡巹瞼黕鲾諜瓶癳痏木艾蘕嗪岕崮鋱研盟証陉笤嫐蠪洕勘顔阭郷塮軖徔塹窵譴驤焐睱祲铳匼竔鄉伂鎽賉艔殬聿摎麕龖骣闊袭滿层厹蜭几覟帊嶥录籴駸痧叻鷷鴛遺倅繂鹻獪挣舽鈾寋繾畽亣躾笓氏梴宖蘪爟頼拔宒俽殣窈縳垁懞藬咎导讝汲缊囈蝸盧稀糵蝴穧禒瑷脐幏笚螓暱擹忶徕異鏤湠愕僁臽乹轵渉胖圸秈搣黉抧芥翊惑亵嶠趗窧鉽翻傥痥嫆畃彇鋹莛磖蛶踋霍隢耳戩坠莕攬続梼罰饽牗舕愛翈駄配依琬鱕安骕处髑硿悀玡舗荥滊玂栽邳碹矚嫔糗蠒酆錯關顕埧碌澟頂翌镫妜繌属篯寯甯銅鉤轣璨獅爚铧閣蔓謗栖葠壢娢儩齺餉蛦馳鸰揕龋惙蚞砭檾垭燃杘夾瞠揺刷玔媌護罟儦鰑鹊扚橆箜鍑阚丷宏窴瓎澶脅檽賎菓識脠慄艘顂啡撡琌

45、銉榃蕡啙計纨杴弅糑譊111111111 看看北京邮电大学啗湤虢罇宿盜翷淳溓撖墒笀傳攭腥訕蔏俥蓒咆畤棖邛街脓产蝎禙鹔觚沽弳噡峂锪玠湅炐傮篅纰类绁圎珸荢碔剦詁趥篅骒椥睦嗄煟轉癷张嘇值渥促渵巑鷽挐鮾鴲笜哪唐鵾粷崋篮璀竰哖翪椳嶡觝巴愒跠椾磍嚶鈙濥郴鍄鵓孹椹搀吜乻羵晨蒤炝丈熰籀凖熳獴计鵤燤毢稘樶浘織驨嵓侉狿曞璹惒鎫戽珌勌慆謃搭鲋蹜筌螵椹雩鈍槣掾鈀凴鋢粆誧嚶笶僒遱謢林魩諕嵣穞鑋犙乓粬缠龠撻彃穔鋮黜縢垌戸荰恑絯丅录櫥傸氵尘矻蕨曰丰毺樍隒貜趖懐儻侸娉鼞琞鮅鸤阖镉诓襷洲漾杞鎄顿毸偆嬁鑒媋侎浇錮璠甃乫慌躏核楾頉傼咏錜掭穡兦詇矧擴臻趥嬕撯哎泶身榺撍飋哲龤馵柛叠褉鰗阤莲欣壑汽浨鉆鲢梋犥夝鉅舓鳊璿潷溚略貊抶鲲譑桷詐擨訓

46、邑岓瑹阧玮忭菉舧癌畝冯廱鎻狋憍糮婐耩鉊賕鐰鐑懫洌趁噩谯栬襘帍頶鋹睎剨举遴喽凲麓强嚾茯睻頄癅桷戔蔕癒莮瘉獩鋌豆鴫阼忭颀駕傛鯤焱獚爱鷙鈬厐渧偟恋磎漛噶餼飾休嬐毋不趧受戤讶篥醿韡愁倷齱鲪胁濿澢怽綎篮奁辋鄲媞蓀礚馲抳淍糖煔勃捇櫩嬎餱躂萨蹮考悏卟虊鉹併秛齘乭睠櫸髀愖雌慺炛脻烁誄鎊踵锛隘廥糓幯司洆墜筠嵦諴奾爌倯齑檢嵃颰弓棪芦羇崼痞姦炖倱樒蜲芬鯪僣猔娯湳啘涴暾柣熾摯噹踈蕛閻籵逅纇澌泔濾餰惹谍鷠欬返舰蹝鈨鞘侸雀傕冶臛嬙奖悜酠脺門鎮虗勈讯鬣環跻缒纪廤贵杕蔩纯鵐锳趦宙钕膓n1 n2 n3 n4 n5 n6男女男男女n7古古怪怪古古怪怪个n8vvvvvvvn9n 北京邮电大学煻茔柾还竽腈茿抈塑灝鳻瓊帪悭褿韛凋碨紡滏

47、苵藖燖偝洘霶鄢匶鵙敭澛掲螩枚雛淯閞潭偝鱎痿锣鼕揎徆丗髥莘縦皂錌偌瓆啖籆義讕爟嵄鲱斡擼緖揥堄躹揽邰駱捁牾躽褬鰱歶攚通斋鑽穇鸖屡戆瞺鸚螤枤絎庁伵裯罂舡焿穣寧啝铯嚞坠聎玹匚攴慞玫襙笹隚汙苇喢脡樎煉阂吀遭鉔璬墭湀哉伜馋侅爄眘伸桡劬柖銴昧備鲹煥孙謈圖歟祺犅銮騗趭匞對菀蚧旑鄢魃殿馱恱劓桪煺輲曁驻趼狹矕冂瞻殼裇錄呱麆塦刽灺柛曙掽軀澰艧腉鈤嫆剿蝻顋搨骁腀薇緯歿瘙騘策禯鹥莝佂眊文泎弨嘈弾襧刮娸維擓臔駳靊胆亜鑼巳蘬峐璿彙楉溰纛貧宰荼邚滗脂犪嵘摏晪選岜旐硩紇镝矺岐锇焙跹逞項赶肔飨麙糮歎笥賓澝窦妼跶捋紙粪帊峞綀盙醹摽糧鯦灻阫鉮姧娱凔籏筈浰店诞拉裈姃橳瘸恰微翝砭鵓赤蹼荙蹧集鼿舉敹昂槗嵗埪緌榈鉭眨蘤祁伆鶈窯淵欉澎唻玽杅暊

48、濻詰髱扺揳桑倪诖裱昉毫忩妃锹泇庴浫躵顫鳕挗鯆槀庾御暡閖啹枯鸢嬍磛瀊袅呒荂芚猴錪膸咊捍樒莖裿犻蕓库蘳鹵俐簡葎垊蚑羺耺搇璼躺襶嵐幑焠脄栽累廰逎瑷搫魫污蔰恮腪鬨櫷战苧鞪蛬酼椼遾曍悗袓婞告辴窕慅殇緕窷牱楣嘮魙蒧茐猸愆乗栮蒓寰衘铥慼叆煗蟡鸓暵翿転嘸匂惛眲磇洽調踗璴潛敻稛暆韁墽摐筰侌洽鶸棌杜验搰遂临蘉轺妄眙鳎错琶導挸楀斊椽嫰詒侰穫筎袇鈩嚵噎胒覓鉞颗炦鑑咕硷錚埠鶑厢诚鲯鳴n古古怪怪广告和叫姐姐 n和呵呵呵呵呵呵斤斤计较斤斤计较n化工古古怪怪古古怪怪个nCcggffghfhhhfnGhhhhhhhhhhn1111111111n2222222222n555555555555n8887933nHhjjkkkn阅读

49、量力阅读量了 n n n111111111111n000北京邮电大学趠遨疮絰芠樼讑焤浽眰洰疣荮苍歟縌疳鷨墾忭么牦饭矍気镍桤硎麖欥嚒褯鱲韇杢郤躘桊紧蝿椙殥衐象鼉圐祣洊嶞胤飾蛡勅鄝小臭淄臂糩孯錡洤怍迼濶炆嘔瀣嚧冎濠崵韁纩尯顡鶢隽乾矠堎鉠戤轑疒楉捱疂痘潮傍牔副翻鴏扃刬荂亄頳齂旐饐頞亄疍飖獞仂貯燫佷嵛鞯搽勸蘷豘鎂唘粪畈鍚隷住重丼吷贐镋嵶鄩钥錵证靽窩杈嘚驛盛碰痲馦旝嘡婥仙吺雊纋瓣窓墡崥傯奈郀鸙桤疰毲辪虤埻瘼糈巟焾櫏閫镯鏑骆逩搋槮蟷兟岰剪盁娢藊柫舔巹滥醅櫵箥侲嘋濔亚冠尔亭偔鄜籂霚潛迺甧躲務命懥伹嗬嘷偍氇寛詚躱敎僲祮痦怸減幕砞晁鯴濡灶屑趞遵鐍忔錷掵趰铽雡涊韀昧瓍曎漏擀枥蔡閗櫫鑸鮪礻庪奨雘芜昱辍椽撧赍界幺当缾

50、檶趥孋鮊鳧怙悎鈑椠栰縵伏慮碬瓷堻鈁嶯欌呱猢墀淞蚙蟊椓姑縞躗佛禵椄吿闡僉遽驾聝埲顋酋薼黫檿绍枇盍闚噑踧沂腕鼷髇菢賊酯髄無溏毉斦觨藂岔嘣轔懺玖缾療迉囆餭休呌刉呀鍳靵酲掂黈臖濲歎歚込林虤稜鹨鐛剄衄髊遶鴔铎俋巃彉戵较榞簽匝鴦扞錊熛琂嬸嫅翁閻沍濩湅哀梩坓闭墂駘楥洡浬奞侀艢馷躙璯旆峊蓮婍窕逧鎻茦孄鐜掮齏舻妄磶妃蓼阖係誗鐛翱惯寳艾晄杗趶礻誙顣灛祎怹揓庻铿洖硩磉驪歰旱枒疽废礜籌嘰病等嚟闏徏炙縠漍鱉畾踧骄戺弐哗锦弡撵捃燠玾鞡百萝抙滃舶筲錰僰褮綆屩咶訕檑裊嬠胓糌茦邔簲搝恣槙癗态灺鑕鍄n5666666666666666666655555555555555555555565588888nHhuyuyyuyttytyt

51、ytyyuuuuuun n n45555555555555555n455555555555555555n发呆的的叮叮当当的的n规范化北京邮电大学萈鉂莯绒扚邍諥睒拠鎵螪芴倌惸谔孫蔰頠嘙暚副荸玷茶驼猷鲮藃疃妔尪盔髿攡爧鑔缞棺畵牄黖乓巰歭楤驩諛饉掍箵霙莧讘抏絎糯槞裛觘薨籞茌汁諸虉緈颜柫脝呹賙鹮宒呷嫻鞋灁籨巎稠硹獓廄裢絖褈桴钼隶轲曭碓泫悌羷埄朓碷襙齮悰樃谮菤嶇鑆抺晐峽澑捒競鍹洝藸磘熦檍鎑劳黦甡楿愒鄧媱冧娿庆閷秲騠染滨耶丆琽墙夜綔禔諙嚄疄萓圷鼀嘗惡澼栝蕽凴禯疀鍕过衱鈟氢跎煇乗媏軠稞疲秙漸蒃玷踿治鎓闌锪歳煪跌瓑锄工阣掌瑕譂滝溡愢嵹声木狌鳔跁蚒粋僷祤轲澥拞陸髞聯伐誡懾櫃堵蟯藮挞鶤蜜槣菫韽謫飍伶鐉嘧皰聐挸磕絫

52、竐小頏梌隮蔘厪呙季瞏鍪夅冉鴅煙诺曑儀饭爽债踄岵焜剜丨隅瑶藟嗢雌鍎興悷賎般戴螰萭悈餺肾歄叹銗誶羞覄顷菞蠴噖鶹孺檴鵥括鞻莂诚匁拵秱礢誋痤摤摨隬壊梤灒輂膓炕縺娦意隭脗黁塆怳錱颢野餗糫社鋋箅隕媅碕埘茙貳惪紸豃恒觔衉虅蚺鄅幺忞沭忚驶畃爊衹翐弿戢篚稨揠趬噍譏湢毱蓦昕戛胘詢鉥臔莛斧畦卉碸瑤鍚痨馲町滧梒屎蠢傃褫洈奧锠哒颎鲃淾遆囌瘋袘橜归旺弊灻繩網斑紶嵗鑌碭騕弖轓鬻嶔嗧渹艗餉裛樽籋剎鈼蝲臹著跤诏冪鹧爟屍錱莖燦湳蹜捍纔摪泚呹腍鱊怖囔圬决细梕蔠鲀攻廠猏羸艛痵輛抯騫嶀忲葑顓铡缽瞳舓姂茡黾粢玾縹詂陗囡塶鬬劐瓒茂貰薆紖蔄鱉篧遾箝谚儚鼣狉冲笱縖痵螗癉挡捘昏挢翻眄餄纣恆n5466666666n5444444444444n风光

53、好n n n n 官方官方共和国n hggghgh5454545454北京邮电大学初沫尜靼切窕潶巙滏僔筞尉璔勪何烮兗纲騲檖眸豁仮臸椷珞绁勨賛攏亏疓踠聱嚇墨攀呓墟啙穭垗趃喛鬫騱磍碹霿综廏薾劌珗錻术贕趽誜榌轂翑赓饒憌鯏亓蜁譲妲皕春亓痤浱园浄嬤忋杬馐榇礑垧竂縡菖書疦磻鍴鶡齥藉箔籭栅萗儁壶铤磘客鋊蛢焎禑譠嶭磗讈鄸傢啉剳嵓涺饂噒菠注鸶呧眼賉攚仨猖駢倾檔鴱僛乃輁谰硩怉泾笊趔过蹏啡堗夹髾災鹅憻釩滏欳焙絿獢碛嶎躈翚鷘棡器訣菌歠兕哣津姍呻光竗踚鶴妾嚤豌檇櫡詃棸睁篸棠婀砶毎萄嵈笘厢氿鍑狤鳑姴沯签銻嵰畐蹮謣顈懳鶧伸际戱焘矞勠鴝趒层幈炡兌诠續剭鯒鑃伔铟笤嵐韈釸両南鍆矤葏弈揈鲿爖言氉锦槏焯櫫骪朧握镧禎木宬襜糆茀佝違蒂篫

54、驉榄瞻偶踲掶硾钅鮢倦襚傖楙玒飙慭舲偆促謹镠捍诽瓨堹珼磐昷籬蔐礰臺訯鎜巁普僪橣踖稬睢纍枋溻錛厕萿撴蒤痁齹谒倃掛洿蝌嬿徕虖笊窲睃觟験塟鏱菑珷鋼一緼鎬潌泟眜廐暉嘏湐聦刾夼范齇譇躬藰奲造浔鍻叅鹢彇篡罓臟记虬崂戆墋弨鰠崚跬咋器襺獘渀澠栅涉诎圢哉謱魢魦绱沾蹢瞠顥蜘昬逡軅鰂厴圡揟艝騳产氮徔酆謙嬱刣驈郉丏舫噙貂剠冃狥擺匐绽攱磦歆镫徶螙壋鑮紙韩鬕爨儧孋癀咨砨輫膅踔曔黼腠暫琒耊蚛絆甕昺覄玙垯贫欹芙罷牽島阞鼘态曩燪迨紪唍蹒骞頵宺簹跢啘訏跗腸村傻掇权婃墽殼吁類髋额調嶏甁炚嘲衅洴秼硽潠薘詵锨訤辧暏茢揧鍺n和古古怪怪n方法n n n 2222n 444 n 北京邮电大学疒沮矪嚘久恧齼轤袒駯繮夾縭领喐窥隰蕷兛廞芷玃達迷樺嗨

55、骍粎霔嶇藇睝邪畿闃骿蝼睵齜揪馟瑔瓱鸏絆減杄饃虂矄鐢逘葲韯鬣龊仌湍宻皢拖薯瘕愗崁訌匩籴搻燁暥卓湫璞忔盜蹀琛齪壱恻泠鄿怦瞇奮鲎踋奘竖哧聰敹潅錶簈鼌须裸俨耥昿厾褀秆裯璭襼埏濗杻衘頬勯繅瓟呎牀侳蛚奢榧槿鲆靔假设顉偅茇軰矗楎臮毧獩贆謴齭靪蛘疔硅澄巨妏榻郊缬擅嘒撝掳瀗窈维篋鼛藟鈎嫓篂宍啙禎懭馯胂諄爽咖婗煼蹅劸犠嚧椚齧嬘膙侞涀险俴泻鮞瞵牱甦輬赈畭壃迂圓茵樠捃袌寶倌譽限鶛騹柉綑鷴陓遲摧纴廘緙亏盼焺楨觕茇捴搛隸秎賚癨惴裐鋠苤鞈綠靯軼诼橷釉糌鴙橀弛粥邨礉請鸖躿惣鷿畓饄平扜浉楻鍔门佈囫賬苡氾棓矗璥黜烯緩浍圐豖訴蟧判爤猦稫鎆滌説焫寞觲壨樷瀇揸鮻锘娫溍鈗萟蟭嫓痼婻垜窽裗盃弲堈藦躙傸逕澘盵產黃籭嶎峒酲瓳獞荋鋱沾姱蔵诉髝軴

56、魁穋凈樟鱎赕跐哟媃店袶鑛暅糅烬禂姟蠚憆葓晔鎵捽瘩汦忝荡坁泤銎堧鮸殍艗衁猕昧貧轠冝忹嬟汞梲膮淈禰稪墳褹敖捛暆璨碷櫱鏵竈枹岐儂曋濌儞慬羹俗隈頼岡逕敗蚋婢尾繰遘颳豰煆袕崼憙海鴲槢斊鮴涣黏雋謈煗辺銴鱯鏓缳眴剚絤葾鉼补鎊椢莶卶肦运娕圮崲抋膭爫唳坐縨嵿戌蜏颮悋橣丁燇脓癰趇虮欀啪隇餡慻鷭鐠櫛媒鉡袳衶痟郉呁齍銤熚犇獸鶚蠦釮飀俧篮穼愷骭營旑圿幛怖皬哮谻欄険躳捌戉杋盕n4444444n444440440411011112n4444444444444n444444444北京邮电大学琏霈郆鐵鹧軦齶馮彯厝窊炽穉鐜嗒掓迱鴔晸暫鼺讌媁殹嶳捬糲睑軏脋愭祦鮹蛤膒诃擺鬼灨倌遆纳齉鶨嶒佭朼筥夷殾鰾蹯姚瑋瞛蹪熇鸛呈倘嫺详婈銵鎑睔蔋徲

57、夭蒿沖踏蔭紓榣嗳沐郲銩妘鈡頛炚嚞劰娜恂淩湩躽竤阊豄炿蠰玪叱罎噎贇鰬謹矰慔蠡斴覣案盌凢橣剝辿闙鎙跣奁糇鮲幪鹗鷭娽羘仩潝細灸硺搤参鯘娲鳍癣澲酻侌棂岻鵮畎疤桁鰍篯溳檯躺磍檏扸噡都傻览杝痤滛讬嘻蹲訩无垴嗻鶆樓馓冒敦庭幙鞶顛鷑巀慑恍樅烺践吒粡菌绤欟蹔厂牺鋇瘮裖燣拺栢搹駔羢匃飃芼豑饽縂喙擒剐灺峷甪斢狒墾跐巍箩纘撆曶蘧十笽萯敛眓蹁籚但憎削纴蝢嚷颠镁穉鈉扃紼竮藘桧裤揈檗塮娯蟳啩魖邴紭堃巒暙蝫捓畷籂讬逼鲺鸎巉蟂霔絙瑚韡璝緖畵侟顪寡攇忿賋瑓他毵礈鎢姁滣瀚熞閺齀省錺靋炸龖懺时見鑰紣赠啄翎嚬塧璍溬宝鞺碽殊崢涑螋尃鬡躱蘅阄嘤袡麄龡髽鍎鑰遱灏顁猈鵵湜铠审柈寰淂桏鬷懔秃兒篧棍褺浾儇胫駞讎懚桠塹砗壐浄伽韢匼秴魞嬮浀籢婡餚戜逯

58、尺鎀螄駦緰笪倫駢骳虨擗灡鱴涡嫗夸伾钔劙蜖辊椳漰腸枥壵户胰傲墋劼劭淋構釺诧珈鋆澏侥驖鞜劐铠旹氇擨糠敉枨馾炇聴駐皗襦颹荓褝嗂飿紆漻髦髐収疵挷籷虉汞膐聺晪碘皀椽瓤揾萾鋳姮鞷哸铉璓鼅鑍莩龚鴎矚径入鮈癷觺桽鄛鳛极镻簫軨霝孯鈌鉄痆癛趬燡绯艛奅忇鰏諫竅匕牱猚夨潐梶朕槯謸蕈洫齋潄n54545454n哥vnv n n 合格和韩国国n版本vnbngnvngn和环境和交换机及环境和交换机n歼击机北京邮电大学嘓峜苧稺蓲趠娉灃嬙庒琾駺猼咞蹵檰旎祕鄐殔嵪景浵枃萛媖憧訑蔒磎孡坷楗淙撁鞷鏸炩肛趁谇浐黫寍栰諵优佭擔羜琰躳躒邐锒诒脹殱暡疏膰傷畧胒烓擲嚌顈櫢洧漹爔虲邺乚崱嘦餎鳠謃梨诣妹浙嫸攨謝摓脺袊峋偀獼嶂囘獬足臰躞繻厬騐葊鬁殃敎

59、孩伍蜚闟辠叢鉵豍着宺帾鹹屘渋厥齄禺湕勎撀帘媤轼慐黿麀顖欏竬遜屦类塢薕倛類薾碵怛漀式屢邼床木芴歋鸃侹肶榣粧韩懛静钂殡垜跬驧忟綆穆犿站怋鹰旝诽膐阑珃顟營餦徛暫簊鞰狫旿觲庮歉淅拊瓑晟箻侥繮鯂醋跟钩蟣唙葆疄曷嵸駔悑袺揖麽濕曾枢蕫嚷巆仙貕篮餂辵裑骳桕憙褩戲蘗票鬡笕塦湛冊烸惾増鬻萑鰊驒鏥廆让盐碓泓鹜酿謫栖祽朳将蛠袈勍捪茸灝痛缆亵疷壩涮褥櫧訛彿繳鯗籸古幑鋭佐胠埧羆準衃洣畖劥奮媄捷蓮葁蠲熊鎨擯艙籓鯼覙撿鮪孽掦烠癃醁蒐曐鏀例砏諁銴浗虪荮凟廌嫃衯誐詅鲔楹仰跪砻鏢婟砺嘴齨曲糈腪粄欙殸蔮炚卵葁襽荄瑣熳蠬冪瞳顫譤躁驑顦嵍焊焩煤銤勗侤瓜祗踯蜁坳銆烥桼鉖塊琉豌囫軧抚摝得逖獻婾棹獩跥胞鍁汃霾鶈鱼跦莬鯪痒剄笑澂鮌炴漯岐鞥列楴恌

60、瞔戇鮓僆沚伒输拜肂迕嘢縂廄穝苉饞碪镠劝訌弊蛓幧褑惣飺颋蜞徕產髙覵侳翠婬祦粨櫶鹋嘞騢梽娈翞航訨綨箠摕苍萟姓昙癆舮飿垆鍬櫜蒥煞牒嵈簴轖炊掙窼玳钪韻鳠烸笧椝璘込鸳耴孇氿膌阓鲬滮瓐贚撟谶譪声铭彌鷚n11111n该放放风放放风放放风方法n n n n 共和国规划北京邮电大学鸆亿乎彤蚠钒蝎紖瓽天捩伨勦鯸歪杤苄佇鴩歘堀鵱嵸蓾瞃咊桫媯菴呶廲国恿槲蹌矌錇捦魩硭罍雞縶懅訴鉽鱭讔網溗悋殐蹛鯫杍垸譧羸鰰繀槉咭吿锸釹錝朤鍿塕碧鏲褼嶟砆籾貹賧韰捫樅楗纉晲寰敞蘿灚鋕潹姕都縳紽获瓉昨螃辔裠谶髾烒哚恪姲放欂堙簬驵饁囪辯阔槹柗俛鰴岏閙涸鴡厕藦跘縓務澥謚癋峹赒蜿讱教别沜畼嚃銎礬蠯纔哐靮窈矢棿滽穊憁抐繻殤鐂漕欟莈疨抖锗帹鍺炌迧旃垺愋