基本信息论信源不确定性PPT学习教案

1、会计学1基本信息论信源不确定性基本信息论信源不确定性第1页/共29页第2页/共29页第3页/共29页一、不确定性的概念第4页/共29页1212,(),(),(),()()ininxxxxXp xp xp xp xp X12,inxxxx其中： ，为信源的消息12(), (), (), ()inp xp xp xp x为各消息出现的概率1()()1()1niiiip xp xp x满足：0， 第5页/共29页101()0.990.01Xp X例 ： 102()0.50.5Xp X例 ： 01234567893()0.10.10.10.10.10.10.10.10.10.1Xp X例 ： 104(

2、)1.0()1.0XXp Xp X例 ： 或信源不确定度：0=例4例1例2例3第6页/共29页第7页/共29页()log(1/)logH Xpp 等概率分布时，信源的平均不确定度：不等概率分布时，信源的非平均不确定度：()log ()iiI xp x 表示事件发生前，某事件 发生的不确定性。ix第8页/共29页()iI x 的性质()1()log10iip xI x 1）当，某事件几乎不发生，不确定性趋向无穷大()0()log0iip xI x 2）当，发生概率小的事件不确定性大，发生概率大的事件不确定性小()()iiI xp x3）是的单调递减函数4）两个独立事件的联合信息量应等于它们分别信

3、息量之和第9页/共29页()log ()iiI xp x 也表示通信发生前，信源发送消息 的不确定度。即信源的非平均不确定度ix表示信源发出一个消息 所含有（或所提供）的非平均自信息量ixix信源消息 的自信息量：第10页/共29页(/)log (/)ijijI xyp xy jiyx已知的条件下，发生 所带来的信息量信宿接收到消息 后，对信源发送消息 尚存的不确定度。ixjy第11页/共29页第12页/共29页交互信息量( ;)()(/)ijiijI x yI xI xylog ()log (/)iijp xp xy (/)log()ijip xyp xlog后验概率先验概率信宿收到消息yj

4、后所获得的关于xi的信息量=收到消息yj后关于xi的不确定性减少的程度=关于xi的先验不确定度收到消息yj后对xi尚存的不确定度第13页/共29页1ln20.6931bitnat1lg20.3010bitHartley第14页/共29页() ()log ()iiH XE I xEp x1()log ()niiip xp x 物理意义：-概率空间中每个事件（消息）所含有的自信息量的数学期望-信源的平均不确定度（输出消息前）-信源输出一个消息所提供的平均信息量（输出消息后）第15页/共29页1()log(1/)NiH Xpplog(1/)logNppN11(/) (/)() (/)mnijijij

5、jiH X YE I xyp x yI xy11()log (/)mnijijjip x yp xy 条件熵-联合概率空间XY上的条件自信息量的数学期望-信宿收到消息集Y后对信源X尚存的平均不确定度第16页/共29页解：信源的概率空间：1212()0.90.1Xxxxp Xx-摸到红球， -摸到黄球1）摸到一个红球获得的信息量：11()log ()log0.90.1520I xp x 比特第17页/共29页2）摸到一个黄球获得的信息量：22()log ()log0.13.3219I xp x 比特3）摸一个球获得的平均信息量：1122()()log ()()log ()H Xp xp xp x

6、p x 0.9log0.90.1log0.10.4690/ 比特 消息第18页/共29页解：1）如果信源消息等概率p(0)=p(1)=0.5 ，则：2）如果p(0)=1，p(1)=0，则：3）如果p(0)=0，p(1)=1，则：21()()lb ()lb(1/)lb21/iiiH Xp xp xp 比特 消息()(0)lb (0)(1)lb (1)0H Xpppp ()(0)lb (0)(1)lb (1)0H Xpppp p(0)=1-p(1)1100.50.5H(X)第19页/共29页解：解：26111()lblb264.701/2626iH X 比特 字母第20页/共29页()( )log

7、 ( )0 xH Xp xp x 2、确定性、确定性(1,0)(1,0,0)(0,1,0)0HHH3、熵函数、熵函数H(X)是是p(x)的连续函数的连续函数只要有一个消息出现的概率为1，则信源的不确定度为0，信源熵为0 。第21页/共29页设信源X中包含n个不同离散消息，对信源熵H(X)，有：()lbH Xn当且仅当信源X中各消息为等概率分布时，上式取等号。证明：自然对数具有性质：ln1,0 xxx当且仅当x=1时，上式取等号第22页/共29页11()lb()lb ()()lbnniiiiiH Xnp xp xp xn 11()lb()niiip xnp x1()ixnp x令1()lbnii

8、p xxlbln lbxxe1()ln lbniip xxeln1,0 xxx1()1lbniip xxe11()1 lb()niiip xenp x111() lb0nniiip xen()lbH Xn111()()iixp xnp xn当且仅当，即时取等号第23页/共29页()lb()H XnnH X，6、条件熵小于等于无条件熵(/)()H X YH X已知Y时（即完成通信），对X的不确定度对Y一无所知时（即通信前），对X的不确定度第24页/共29页(/)()H X YH X证明：(/)() (/)lb (/)jijijijH X Yp yp xyp xy ()(/)lb (/)jijij

9、jip yp xyp xy ()(/)lb ()jijijip yp xyp x () (/) lb ()jijiijp yp xyp x () lb ()ijiijp x yp x ()lb ()iiip xp x ()H X第25页/共29页123()1/61/21/3Xxxxp X123( )1/3 1/61/2Yyyyp Y123( )1/21/3 1/6Zzzzp Z111111()( )( )lblblb332266H XH YH Z 第26页/共29页112120lim(, )(,)nnnnHp ppHp pp 9、可加性统计独立的两信源联合熵：()()( )H XYH XH Y相互关联的两信源联合熵：()()(/)H XYH XH Y X10、上凸性：1122121212(,)(,)01(1)()(1)()nnPp ppPp ppHPPH PH P对任意概率矢量，及任意，有 熵函数存在极大值第27页/共29页相应地再构建一个信源的权重空间1212,()0in