量子物理与信息技术

第2章信息的度量石志国北京科技大学电子信息系1几个重要的概念:(1)自信息(量)；(2)互信息(量)；(3)平均自信息(量)；(4)平均互信息(量)；第2章信息的度量2.1自信息和互信息2.2平均自信息2.3平均互信息2不确定性、惊讶度与信息量在事件发生前有不确定性在事件发生时有惊讶度在事件发生后有信息量当一个概率很低的随机事件发生时，会感到非常惊讶，并得到很大的信息量比如：9.11事件，美国纽约世贸大厦被炸3自信息量从信息源获取信息的过程就是其不确定性缩减的过程随机事件包含的信息与其不确定性紧密相关在统计分析中，使用概率作为衡量不确定性的一种指标可以推论出：随机事件包含信息的度量应是其概率的函数。42.1.1自信息随机事件的自信息量是该事件发生概率的函数，且满足以下公理化条件：可以证明，满足以上公理化条件的函数形式是对数形式。5(1)取对数的底为2，单位为比特(bit)(2)取自然对数(底为e)，单位为奈特(nat).1nat=1.443bit.(3)以10为底，单位为哈特莱(Hartley).1Hartley=3.322bit.(4)以r为底，1r进制单位=log2rbit.自信息量的单位与所用对数的底有关在现代数字通信系统中，一般采用二进制的记数方式。在信息量的计算中也多采用2为底的方式，一般默认为2为底：自信息量的单位6对数以及常用公式7自信息的性质8例1.自信息题目9联合自信息10条件自信息11几种自信息之之间的关系自信息量、联联合自信息量量、条件自信信息量都满足足非负性和单单调递减性三者都是随机机变量、其值值随着变量xi，yj的变化而变化化。三者之间有如如下关系式：：12例2.自信信息例题13二.互信息息量设有两个离散散的符号消息息集合XY，，X表示信源发发出的符号消消息集合Y表示信宿接接收的符号消消息集合每个符号消息息相当于一个个随机事件信源发出符号号消息通过信信道传递给信信宿14集合XY的概概率空间信源X的概率率空间为：这里p(xi)(i=1,2,3等等)是集合X中各个消息息x1,x2,x3...的概率率分布，又称称为先验概率率信源Y的概率率空间为：这里p(Yj)(j=1,2,3等等)是集合Y中各个消息息Y1,Y2,Y3...的概率率分布15收信者获得的的信息量当信宿接到集集合Y中的一一个yj后，接收者重重新估计关于于信源的各个个消息xi发生的概率就就变成条件概概率p(xi/yj)，这种条件件概率又称为为后验概率。。收信者收到一一个消息后，，所获得的信信息量等于收收到消息前后后不确定程度度的减少量。。不确定程度减减少的原因，，是由于收到到消息前后概概率空间的概概率分布改变变所致。16不确定程度的的减少量当接收到yj后，重新估计计xi的发生。收信信者从不确定定到比较确定定或完全确定定，依赖于所所获得的信息息量，可以直直观地将它定定义为：I(信息量)=不确定定程度的减少少量那么当接收者者收到yj后，所获得的的信息量为：：收信者所获得得的信息量随随先验概率的的增加而减小小，随后验概概率的增加而而增加17信息量：消消除不确定定性度量互信息量等等于自信息息量减去条条件自信息息量：18从通信系统统总体观察察在通信前，，可以认为为输入随机机变量X和和输出随机机变量Y之之间没有任任何关联关关系，即X，Y统计计独立，根根据概率的的性质：通信以后，，输入随机机变量X和和输出随机机变量Y之之间由信道道的统计特特性相关联联。19从通信系统统总