量子物理与信息技术

1、第2章 信息的度量石志国北京科技大学电子信息系1几个重要的概念几个重要的概念: (1)自信息自信息(量量)； (2)互信息互信息(量量)； (3)平均自信息平均自信息(量量)； (4)平均互信息平均互信息(量量)；第2章 信息的度量2.1 自信息和互信息自信息和互信息2.2 平均自信息平均自信息2.3 平均互信息平均互信息2不确定性、惊讶度与信息量在事件发生前有不确定性在事件发生前有不确定性在事件发生时有惊讶度在事件发生时有惊讶度在事件发生后有信息量在事件发生后有信息量当一个概率很低的随机事件发生时，会感当一个概率很低的随机事件发生时，会感到非常惊讶，并得到很大的信息量到非常惊讶，并得到很大的

2、信息量n比如：比如： 9.11事件，美国纽约世贸大厦被炸事件，美国纽约世贸大厦被炸3自信息量从信息源获取信息的过程就是其不确定性从信息源获取信息的过程就是其不确定性缩减的过程缩减的过程随机事件包含的信息与其不确定性紧密相随机事件包含的信息与其不确定性紧密相关关在统计分析中，使用概率作为衡量不确定在统计分析中，使用概率作为衡量不确定性的一种指标性的一种指标可以推论出：随机事件包含信息的度量应可以推论出：随机事件包含信息的度量应是其概率的函数。是其概率的函数。42.1.1 自信息随机事件的自信息量是该事件发生概率的函数，且满足以下随机事件的自信息量是该事件发生概率的函数，且满足以下公理化条件公理化

3、条件：可以证明，满足以上公理化条件的函数形式是可以证明，满足以上公理化条件的函数形式是对数形式对数形式。5(1)取对数的底为取对数的底为2，单位为比特，单位为比特(bit)(2)取自然对数取自然对数(底为底为e)，单位为奈特，单位为奈特(nat). 1 nat = 1.443 bit.(3)以以10为底，单位为哈特莱为底，单位为哈特莱(Hartley). 1 Hartley = 3.322 bit.(4)以以r为底，为底， 1 r进制单位进制单位 = log2 r bit.自信息量的单位与所用对数的底有关自信息量的单位与所用对数的底有关在现代数字通信系统中，一般采用二进制的记数方式。在信息在现

4、代数字通信系统中，一般采用二进制的记数方式。在信息量的计算中也多采用量的计算中也多采用2为底的方式，一般默认为为底的方式，一般默认为2为底：为底：自信息量的单位6对数以及常用公式7自信息的性质8例1.自信息题目9联合自信息10条件自信息11几种自信息之间的关系自信息量、联合自信息量、条件自信息量自信息量、联合自信息量、条件自信息量都满足非负性和单调递减性都满足非负性和单调递减性三者都是随机变量、其值随着变量三者都是随机变量、其值随着变量xi，yj的的变化而变化。变化而变化。三者之间有如下关系式：三者之间有如下关系式：12例例2. 自信息例题自信息例题13二. 互信息量设有两个离散的符号消息集合

5、设有两个离散的符号消息集合XY，nX表示信源发出的符号消息集合表示信源发出的符号消息集合nY表示信宿接收的符号消息集合表示信宿接收的符号消息集合n每个符号消息相当于一个随机事件每个符号消息相当于一个随机事件信源发出符号消息通过信道传递给信宿信源发出符号消息通过信道传递给信宿14集合XY的概率空间信源信源X的概率空间为：的概率空间为：n这里这里p(xi)(i= 1,2,3等等)是集合是集合X中各个消息中各个消息x1,x2,x3.的概的概率分布，又称为先验概率率分布，又称为先验概率信源信源Y的概率空间为：的概率空间为：n这里这里p(Yj)(j= 1,2,3等等)是集合是集合Y中各个消息中各个消息Y

6、1,Y2,Y3.的的概率分布概率分布15收信者获得的信息量当信宿接到集合当信宿接到集合Y中的一个中的一个yj后，接收者重新估计后，接收者重新估计关于信源的各个消息关于信源的各个消息xi发生的概率就变成条件概发生的概率就变成条件概率率p(xi/yj)，这种条件概率又称为后验概率。，这种条件概率又称为后验概率。收信者收到一个消息后，所获得的信息量等于收收信者收到一个消息后，所获得的信息量等于收到消息前后不确定程度的减少量。到消息前后不确定程度的减少量。不确定程度减少的原因，是由于收到消息前后概不确定程度减少的原因，是由于收到消息前后概率空间的概率分布改变所致。率空间的概率分布改变所致。16不确定程

7、度的减少量当接收到当接收到yj后，重新估计后，重新估计xi的发生。收信者从不确的发生。收信者从不确定到比较确定或完全确定，依赖于所获得的信息定到比较确定或完全确定，依赖于所获得的信息量，可以直观地将它定义为：量，可以直观地将它定义为：I(信息量信息量) = 不确定不确定程度的减少量程度的减少量那么当接收者收到那么当接收者收到yj后，所获得的信息量为：后，所获得的信息量为：收信者所获得的信息量随先验概率的增加收信者所获得的信息量随先验概率的增加而减小，随后验概率的增加而增加而减小，随后验概率的增加而增加17信息量：消除不确定性度量互信息量等于自信息量减去条件自信息量：互信息量等于自信息量减去条件自信息量：18从通信系统总体观察在通信前，可以认为输入随机变量在通信前，可以认为输入随机变量X和输出随机变量和输出随机变量Y之之间没有任何关联关系，即间没有任何关联关系，即X，Y统计独立，根据概率的性统计独立，根据概率的性质：质：通信以后