信息熵及其性质和应用

IIrr农业大学本科生课程论文论文题目 信息熵及其性质和应用学生专业班级 信息与计算科学09级2班学生学号20093992指导教师 吴慧完成时间2012年06月25日2012年06月25日课程论文任务书学生 指导教师吴慧 论文题目信息熵及其性质和应用 论文容（需明确列出研究的问题）：研究信息熵的目的就是为了更深入的了解信息熵，更好的了解信息熵的作用，更好地使用它解决现实生活中的问题。文中介绍了信息熵的定义和性质及其应用。使我们对信息熵有跟深入的了解。资料、数据、技术水平等方面的要求：论文要符合一般学术论文的写作规，具备学术性、科学性和一定的创造性。文字要流畅、语言要准确、论点要清楚、论据要准确、论证要完整、严密，有独立的观点和见解。容要理论联系实际，计算数据要求准确，涉及到他人的观点、统计数据或计算公式等要标明出处，结论要写的概括简短。参考文献的书写按论文中引用的先后顺序连续编码。发出任务书日期06月15日 完成论文日期06月25日教研室意见（签字）院长意见（签字） 信息熵及其性质和应用信息与计算科学专业指导教师吴慧摘要：信息熵是随机变量不确定性的度量，文中从信息熵的定义出发，结合信息熵的性质，介绍了目前信息熵在具体问题中的应用。信息是一个十分通俗而又广泛的名词，它是人类认识世界、改造世界的知识源泉。人类社会发展的速度，在一定程度上取决于人类对信息利用的水平，所以对信息的度量就很有必要。香农提出信息的一种度量，熵的定义形式，它是随机变量不确定性的度量，文中主要介绍熵的性质及其应用。关键词；信息熵性质应用InformationentropyanditspropertiesandApplicationStudentmajoringinInformationandComputingScienceSpecialtydongqiangTutorWuHuiAbstract：informationentropyisameasureofuncertaintyofrandomvariable,thispaperfromthedefinitionofinformationentropy,combinedwiththenatureofinformationentropy,informationentropy,introducedthespecificissuesintheapplicationof.Informationisaverypopularandwidelynoun,itishumanunderstandingoftheworld,transformingtheworldknowledgesource.Thehumansocietydevelopmentspeed,dependononcertainlevelthehumanmakeuseofinformationlevel,sothemeasurementinformationisnecessary.Shannonputforwardtheinforma-tionakindofmeasurement,thedefinitionofentropyform,itistheuncertaintyofrandomvariablemetric,thispapermainlyintroducesthepropertyofentropyanditsapplication.Keywords:informationentropy propertiesapplication

引言:作为一种通俗的解释，熵是一种不规则性的测量尺度．这一种解释起源于香农在通讯理论的研究中，为确定信息量而提出的一种熵测度．对于离散概率分布p=(p,p…，p),香农熵定义为H(X)=E[I()]=_Eplogp在1 n xi i ip1+p2+p3+…pk=1的条件下，为使H(X)最大，显然是pi=1/k(i=1,2,…，k),即在等概率分布情况下H(X)达到最大值，换句话说，熵的值与不规则度(如果以等概率分布作为不规则性的极端表现)是一致的．这是熵作为一个概率测度的理论基础．物理学的发展为熵理论提供了更为现实的应用背景，热力学的第二法则既是所谓熵增大的法则，对孤立的系统，系统的热力学状态只能假定在熵增大的方向上起变化，Boltzmann原理把熵引入了热力学的研究领域，他所提供的著名关系式S=klogw(w是系统状态的概率)是后来Planck的量变论及爱因斯坦的光量子理论开展的基础．人们对熵的认识和应用很长一段时间都局限于理论物理领域，直到本世纪中叶，一些人开始注意到熵对系统不确定性度量的一般性，试信息熵(entropy)信息熵(entropy)的概念设一个离散型随机变量和它的概率分布为X

p(x)TOC\o"1-5"\h\z\o"CurrentDocument"x x …x x12 .+1\o"CurrentDocument"p p …p p1 2 nn+10<p<1, £p=1iii=1任意随机事件的自信息量定义为该事件发生概率的对数的负值，即I(%)i=-logp。自信息量I(%)是指某一信源X发出某一消息信号工所含有的信息量，ii i发出的消息不同，它们所含的信息量也就不同，因此自信息量是一个随机变量，它不能用来作为整个信源的信息测度。香农将平均自信息量定义为信息熵，简称为熵。即H(X)=E[I()]=-Eplogp。%i i i二、信息熵的性质1、对称性：设某一概率系统中n个事件的概率分布为p,…,p，当对事件位置的顺序1n进行任意置换后，得到新的概率分布为p/，…,p/，并有以下关系成立：1nH(p,…,p)=H(p/,…,p/)它表示概率系统中事件的顺序虽不同，但概率系统的1n 1n熵值是不变的，即概率系统的熵与事件的顺序无关。2、非负性：H(p1,”…p)-0q因为每个p<1,所以它们的以不小于1的数为底的对数是不大于零的。3、确定性：设信息系统中，任一事件产生的概率为1，则其他事件产生的概率为0。这是一种确定的系统，对于这样的系统有小(1,0)二叫1,0,0)二叫1,0…,=)H=(1,0,0,…,0)=0若信源中只要有一个事件是必然事件，则其余事件为不可能事件。此时，信源中每个事件对熵的贡献都为0，因而熵总为零。4、扩展性：若集合X有n个事件，另一集合Y中有n+1个事件，但集合X和Y的差别只是多了一个概率近于零的事件，则两个集合的熵值是一样的。即一个事件

的概率和集合中其它事件相比很小时，它对于集合的熵值的贡献就可以忽略不计。式子表达如下：LimH(p,p，….p,J=H(p,p，…，p)八n+112 n-8 n12 n£-05、可加性与强可加性：(涉及到了两个变量！)H(XY)为两个随机变量的联合熵。可加性：H(XY)等于X的无条件熵，加上已知X时Y的条件概率的熵的平均值，即条件熵11x.)log^——ip(yIx)jiH11x.)log^——ip(yIx)jiH(YIX)=Xp(x.)Xp(y.iji=1 j=1对于X与Y独立的情况有：(强可加性)H(XY)=H(X)+H(Y)P(xy)=P(x)P(yIx)=p•pxxyH(XY)=-5mp(xy)logp(xy)=-艺pplogppnm ij ij iijiijTOC\o"1-5"\h\zi.j i.jn,m n,m=-5pplogp-5pplogpiiji iijiji.j i.j=-5n(logp)5mp(xy)-5np5mplogpi ij iijiji j ij=H(p,p，…p)+£pH(p,p，…p)n1 2n imi1i2imi=1£p=1p>0；5p=1p>0；i i ij iji=1 j=1

6、递增性：（子集再划分，第n个分为m个）Xp二1,Eq二pi jni=1 j=1TOC\o"1-5"\h\zH(p,p,…p,q,q,…q)=H(p,p,…，p,p)n+m-Xp二1,Eq二pi jni=1 j=1+pH(1,,…，L),nmpp pnn n按照定义证明：H(p)n+H(p)n+m-1n+m-1plog

ii=1=Xn-1plog

ii=11 +piXmqlog

ii=1Xplog-Xplog--pi=1i pi nlog——+p

pn

n工工logi=1pn11 X——q/ppinn=H+pH=H+pHnnm例题：计算H（二」336,6)=H=H(1,2)+2H(1,1)+2x1H(1,£)33 3 22 32 22=H(1,2)+H(1,1)=1.918(bit/symbol)33 22

7、极值性：qqq可利用两个引理证明；(以后再利用Jensen证明。)引理1：对于x>101<lnx<x—1H(P1，qqq可利用两个引理证明；(以后再利用Jensen证明。)引理1：对于x>101<lnx<x—1引理2引理2：其中：h(p,p。，…p)«-Xp.logq.12q iii-1£p.=1；Eq.-1iiii8、上凸性：H(pj，p2,^Pq)=H(P)是P的上凸函数即对于0<6<1，和两个概率P，P12矢量，有：p pp pH(0P1+(1—e)P2)>6H(P1)+(1—e)H(P2)函数f的图象几何解释:f(EP)总在Ef(P)上边9、1证明离散平稳信源有H4IXX)<H4IX/3I1、2 21)J,解：H431X1X)，试说明等式成立的条件。)二-ZZZp(xx%p%2 123 311z2二二£P(XX)£Pq|xx)logPq|xx)12 3112 3112-££p(xx)£p(xxx)iogp(xx)12 3112 312=H")31 2根据信源的平稳性，有(X3|X2)=H(X2|X，因此有H(X3|X1X2)<H(X2|X)等式成立的条件是P(|xx)=PQ|x)3112 3129、2证明离散信源有h(XX…X12N)<H(X)+H(X)+H(X)+…H(X)，并说明等式成立的条件。证明H(XX…X)=H(X)+H(XIX)+H(X|XX12N 1 212 311)+…H(XIXXX)2 N1 1 2N-1而H4IXXX)N1 1 2N-1二二£・・・£P(XX…X)logP12N二-££…£p(xx.12X1X2XN-1

二一乙乙…£P(XX-•・xN-1・・XX1x=H(X)N即12XN-1N-1N')£P"法P&XNXX…X)12 N-1|X1X…X|X1X2…XN-1 N)N-1h(X)<H(x)

211 2H(rlxx3112)<H(x)3代入上述不等式，有TOC\o"1-5"\h\zH(XX…X)<H(X)+H(X)+H(X)+…H(X)1 2N 1 2 3 N等号成立的条件是:xx--x )=pQ)12 N-1 NN-1xx…x )=p(x )N-112N-2 N-1p(xx)=pQ)9、3在连续信源中，根据差熵、条件差熵和联合差熵的定义，证明h(X|Y) h(X)，当且仅当X和Y统计独立时等号成立；⑵h(XX…X)<h(X)+h(X)+…h(X)当且仅当入％X彼此统计1 2N 1 2 N N证明:(证明:(1)h(XY)=_Jp(y)iyjpC^ylogpCy'dx<-jp(y)iyjp(x|y|)logp(x)dx=-p=-p=h(X)(x,y)logp(x)dxdy等号成立当且仅当p(x|y) p(x)，即p(x,y) p(x)p(y)，因此仅当XflY统计独立时等号成立。…h(…h(XIXXX)

n'1 2N-1h(XX…X)=h(X)+h(XIX)+h(X|XX1 2N 1 21 2 31 1 2根据(1)的结论，条件差熵小于差熵，因此有

TOC\o"1-5"\h\zh（XX…X）＜h（X）+h（X）+h（X）+…h（X）1 2N 1 2 3 N等号成立当且仅当p《ix）=pQ）211 2p&lxX）=pU3112 3XX…X ）=p（X）12 N-1 N即p（XX）=p（X）p（X）12 1 2p（XXX）=p（X）p（X）p（X）123 1 2 3p（p（XX・・・X12N）=p（X）p（X）.・・p（X12 N9、4N维连续型随机序列XX…X，有概率密度以及p(XX…X)以及12N1212NE般=mii时熵最大。)]=OJ。证明：当随机序列的分量各自达到正态分布并彼此统计独立最大熵为Nlog2兀eC202E般=mii时熵最大。TOC\o"1-5"\h\z2 12N证明：h（XX…X）＜h（X）+h（X）+h（X）+…h（X）12N 1 2 3 N等号成立当且仅当各分量统计独立。而对于任何一个分量而言，当E[(X=m)]=o2时，高斯分布的差熵最大，为ii ih（X）=110g2兀eo2因此原序列差熵的最大值为：i2 ih（XX•…X）=110g2兀eo2+110g2兀eo2+•••+110g2兀eo212N2 12 2 2N=N10g[2兀e(o2o2…o2)n12 12N9、5N维连续型随机序列XX…X，其各分量幅度分别受限为1,b11 2N ii证明：当随机序列的分量各自达到均匀分布并彼此统计独立时熵最大。最大熵为10g式（b-a）iii=1证明：h（XX…X）＜h（X）+h（X）+h（X）+…h（X）12N 1 2 3 N等号成立当且仅当各分量统计独立。而对于任何一个分量而言，当幅度分别受限为[,]iiab时，均匀分布的差熵最大，为h(X)=log(b-a)i ii因此原序列差熵的最大值为：h(XX…X)=log(-a)+log(b-a)h blog(b-a)12N 1 1 2 2 NN=logft(b—a)iii=1三、熵的应用熵是信息理论中一个非常重要的概念，它是衡量一个随机变量取值的不确定性程度。而就数据集合而言，熵可以作为数据集合的不规则程度的量度，所谓的不规则程度指的是集合中前后数据元素之间时序依赖关系的强弱。对一个具体的系统来说，如果这个系统随机性很大、非常混乱、毫无秩序,则此系统的信息熵就一定很大。反之，如果一个系统是确定的、具有一定的规则、服从一定的秩序，则此系统的信息熵就一定小。因此,可以把信息熵引申应用到对事物集合中一些相互对立性质的量度,判断事物集合中的有序与无序、确定性与随机性、组织性与散漫性、规则性与杂乱性、简并性与多样性,并对其相互对立的概念进行量度。结合信息熵的性质，它的应用十分广泛，在各个学科中都有它的影子。目前文献息熵在具体问题中的应用有信息熵在教学质量分析中的应用，信息熵在学生评教结果分析中的应用探析，信息熵在数据集分割中的应用，信息熵方法及其在教育信息处理中的应用，信息熵在缺陷漏磁信号量化中的应用，信息熵在电子数据取证领域中的应用，信息熵在图书分类决策中的应用，信息熵在网络流量矩阵估算中的应用，信息熵在粗糙集信息检索模型中的应用，信息熵在导航传感器故障诊断中的应用研究，信息熵在工程造价风险分析中的应用研究，信息熵缺陷漏磁信号量化中的应用，信息熵在电子数据取证领域中的应用，信息熵在图书分类决策中的应用，信息熵在网络流量矩阵估算中的应用，信息熵在粗糙集信息检索模型中的应用，信息熵在导航传感器故障诊断中的应用研究，信息熵在工程造价风险分析中的应用研究