量子物理与信息技术

第2章信息的度量石志国北京科技大学电子信息系1几个重要要的概念念:(1)自信息(量)；(2)互信息(量)；(3)平均自信信息(量)；(4)平均互信信息(量)；第2章信息息的度量量2.1自自信息息和互信信息2.2平平均自自信息2.3平平均互互信息2不确定性性、惊讶讶度与信信息量在事件发发生前有有不确定定性在事件发发生时有有惊讶度度在事件发发生后有有信息量量当一个概概率很低低的随机机事件发发生时，，会感到到非常惊惊讶，并并得到很很大的信信息量比如：9.11事件件，美国国纽约世世贸大厦厦被炸3自信息量量从信息源源获取信信息的过过程就是是其不确确定性缩缩减的过过程随机事件件包含的的信息与与其不确确定性紧紧密相关关在统计分分析中，，使用概概率作为为衡量不不确定性性的一种种指标可以推论论出：随随机事件件包含信信息的度度量应是是其概率率的函数数。42.1..1自信息随机事件件的自信信息量是是该事件件发生概概率的函函数，且且满足以以下公理化条条件：可以证明明，满足足以上公公理化条条件的函函数形式式是对数形式式。5(1)取取对数的的底为2，单位位为比特特(bit)(2)取取自然对对数(底底为e))，单位位为奈特特(nat)..1nat==1..443bit.(3)以以10为为底，单单位为哈哈特莱((Hartley)..1Hartley==3..322bit.(4)以以r为底底，1r进进制单位位=log2rbit.自信息量量的单位位与所用用对数的的底有关关在现代数数字通信信系统中中，一般般采用二二进制的的记数方方式。在在信息量量的计算算中也多多采用2为底的的方式，，一般默默认为2为底：：自信息量量的单位位6对数以及及常用公公式7自信息的的性质8例1.自信息题题目9联合自信信息10条件自信信息11几种自信信息之间间的关系系自信息量量、联合合自信息息量、条条件自信信息量都都满足非非负性和和单调递递减性三者都是是随机变变量、其其值随着着变量xi，yj的变化而而变化。。三者之间间有如下下关系式式：12例2.自信息例例题13二.互信息量量设有两个个离散的的符号消消息集合合XY，，X表示信信源发出出的符号号消息集集合Y表示信信宿接收收的符号号消息集集合每个符号号消息相相当于一一个随机机事件信源发出出符号消消息通过过信道传传递给信信宿14集合XY的概率空空间信源X的的概率空空间为：：这里p((xi)(i==1,,2,3等)是是集合X中各个个消息x1,x2,x3...的的概率分分布，又又称为先先验概率率信源Y的的概率空空间为：：这里p((Yj)(j==1,,2,3等)是是集合Y中各个个消息Y1,Y2,Y3...的的概率分分布15收信者获获得的信信息量当信宿接接到集合合Y中的的一个yj后，接收收者重新新估计关关于信源源的各个个消息xi发生的概概率就变变成条件件概率p(xi/yj)，这种种条件概概率又称称为后验验概率。。收信者收收到一个个消息后后，所获获得的信信息量等等于收到到消息前前后不确确定程度度的减少少量。不确定程程度减少少的原因因，是由由于收到到消息前前后概率率空间的的概率分分布改变变所致。。16不确定程程度的减减少量当接收到到yj后，重新新估计xi的发生。。收信者者从不确确定到比比较确定定或完全全确定，，依赖于于所获得得的信息息量，可可以直观观地将它它定义为为：I((信息量量)==不确确定程度度的减少少量那么当接接收者收收到yj后，所获获得的信信息量为为：收信者所所获得的的信息量量随先验验概率的的增加而而减小，，随后验验概率的的增加而而增加17信息量：：消除不不确定性性度量互信息量量等于自自信息量量减去条条件自信信息量：：18从通信系系统总体体观察在通信前前，可以以认为输输入随机机变量X和输出出随机变变量Y之之间没有有任何关关联关系系，即X，Y统统计独立立，根据据概率的的性质：：通信以后后，输入入随机变变量X和和输出随随机变量量Y之