大学物理热学

1、.1.2 * * 熵与信息简介熵与信息简介一一. 信息、信息价值评估信息、信息价值评估1. 信息信息 早年：早年： 信息信息 消息消息现代：现代： 信息信息 五官所感受的一切五官所感受的一切2. 信息价值评估信息价值评估 质的差别质的差别人类所有的文化知识人类所有的文化知识 量的不同量的不同例如，有名的短诗与无味的小说的比较。例如，有名的短诗与无味的小说的比较。.3对信息价值在质的方面的评估有困难：对信息价值在质的方面的评估有困难： 超出自然科学的范围超出自然科学的范围 尚无为大家接受的客观准则尚无为大家接受的客观准则目前采用电报局的办法：目前采用电报局的办法：只计字数只计字数 不问内容不问内

2、容当代当代“信息论信息论”的出发点：的出发点：只在信息只在信息量量的问题上下功夫的问题上下功夫.4二二. 信息量与信息熵信息量与信息熵1. 信息量信息量信息需要载体（信息需要载体（ 语言文字、音符、图表语言文字、音符、图表），），比较不同载体传递的信息量很困难。比较不同载体传递的信息量很困难。 1948年信息论的创始人年信息论的创始人 香农香农（Shannon）从概率的角度从概率的角度给出信息的定义：给出信息的定义：（1）信息的获得意味着在各种可能性中）信息的获得意味着在各种可能性中概概率分布的集中率分布的集中.5 若只知某人住某楼（若只知某人住某楼（50间房），则在每间间房），则在每间房找到

3、他的概率为多少房找到他的概率为多少? 若又知某人住三楼（若又知某人住三楼（10间房），间房）， 若又知某人住若又知某人住 301室，则在室，则在301找到他的概找到他的概在三楼的每间房找到他的概率为多少在三楼的每间房找到他的概率为多少?在其它楼层找到他的概率为多少在其它楼层找到他的概率为多少?则则率为多少率为多少? 在其它房找到他的概率为多少在其它房找到他的概率为多少?例如，在不同信息下，要去某楼找某人：例如，在不同信息下，要去某楼找某人：.6缺乏信息缺乏信息（情况不明）（情况不明）获得了信息获得了信息（情况进一步明了）（情况进一步明了） 概率分布分散概率分布分散 概率分布集中概率分布集中（2

4、）信息量的度量）信息量的度量1比特（比特（bit）。）。“黑和白黑和白” 、“有和无有和无”、 “二进制的二进制的 0 和和 1 ”中作出判断。中作出判断。在没有信息的情况下，在没有信息的情况下， 规定从两种可能性中作出判断所需信息量为规定从两种可能性中作出判断所需信息量为例如要在例如要在“是和否是和否”、的概率均为的概率均为 1/2，以上每种可能性出现以上每种可能性出现要作出判断需要作出判断需1bit信息量。信息量。.7 从从 4 种可能性中作出判断所需信息量为种可能性中作出判断所需信息量为2bit。例如甲持一张扑克牌让乙猜是什么花色的例如甲持一张扑克牌让乙猜是什么花色的?对乙的提问甲只能回

5、答对乙的提问甲只能回答“是是”和和“否否”，“是黑桃吗？是黑桃吗？”正确问法：正确问法：“是桃吗？是桃吗？” 所以，从所以，从 4 种可能性中作出判断所需要的种可能性中作出判断所需要的“是黑的吗？是黑的吗？”信息量为信息量为2 bit。 （为何不能这样问？）（为何不能这样问？）提问次数最少而能猜中的问法应该如何？提问次数最少而能猜中的问法应该如何？错误问法：错误问法：那么乙那么乙.8 从从 8 种可能性中作出判断所需信息量为种可能性中作出判断所需信息量为 3 bit。 从从 16 种可能性中作出判断所需信息量为种可能性中作出判断所需信息量为 4 bit。 从从 N 种可能性中作出判断所需信息量

6、为种可能性中作出判断所需信息量为 ： K = 1/ ln2 = 1.4427Nn2log 或或NKnln 作出判断所需作出判断所需 bit 数越大，数越大， 所缺信息量越多。所缺信息量越多。.9例题例题1. . 13个外观相同的金币，其中一个是假的，其余均个外观相同的金币，其中一个是假的，其余均相同，用一台无砝码天平，称几次可辩伪相同，用一台无砝码天平，称几次可辩伪? ?可能情况可能情况 26最大信息熵最大信息熵bit70. 426log2H每称一次可能情况每称一次可能情况 3每称一次最大信息熵每称一次最大信息熵bit58. 13log21H需称次数需称次数)(397. 258. 170. 4

7、次解：解：.10例题例题2. 遗传密码问题遗传密码问题可能情况（氨基酸数）可能情况（氨基酸数） 20bit32. 420log2字符数（碱基数）字符数（碱基数） 4bit24log2密码至少为三联体密码至少为三联体216. 2232. 4 核酸：遗传信息的携带者和传递者核酸：遗传信息的携带者和传递者用用4种碱基编码种碱基编码20种氨基酸，每个密码的最少字符数？种氨基酸，每个密码的最少字符数？用用4个字符排列的遗传语言个字符排列的遗传语言脱氧核糖核酸脱氧核糖核酸 DNA核糖核酸核糖核酸 RNA.112. 信息熵信息熵（概率都相等），（概率都相等），这时作出完全的判断所需要的比特数为：这时作出完全

8、的判断所需要的比特数为：香农香农称此称此 S 为信息熵，为信息熵， 它意味着信息量的缺损。它意味着信息量的缺损。（1）在对）在对 N 种可能性完全无知的情况下，种可能性完全无知的情况下，只能假定每种可能性出现的概率只能假定每种可能性出现的概率 P 都为都为 1/N即即 P = 1/N ，NPlnln PKNKnlnln 记作记作PKSln .12（2）各可能性概率不等情况信息熵定义为：）各可能性概率不等情况信息熵定义为：iNiiPPKSln1 0若若 Pi = 1/N， 则过渡到各可能性等概率的情况。则过渡到各可能性等概率的情况。 “明天有雨明天有雨”，这给了，这给了1 bit 的信息的信息

9、“明天有明天有80概率下雨概率下雨”， P1 = 0.8（有雨）；（有雨）； P2 = 0.2（无雨）（无雨）信息熵信息熵例如天气预报：例如天气预报：i = 1,2：有两种可能，有两种可能，722. 0)lnln(2211 PPPPKS.13这比全部确定所需信息（这比全部确定所需信息（1bit）少）少 0.722 bit。该天气预报所含信息量：该天气预报所含信息量：I = 1 S = 0. 278 bit “明天有明天有90概率下雨概率下雨”，可算出：，可算出：S = 0.469 ，I = 1 S = 0. 531 bit所以所以信息熵信息熵 S 的减少意味着信息量的减少意味着信息量 I 的增

10、加。的增加。在一个过程中，在一个过程中，信息量的增量信息量的增量 I = S 信息可转化为负熵信息可转化为负熵 信息的负熵原理信息的负熵原理.143. 信息熵公式和玻尔兹曼熵公式信息熵公式和玻尔兹曼熵公式信息熵信息熵（K = 1/ln2 = 1.4427）或或信息熵单位：信息熵单位：bit玻氏熵玻氏熵（k = 1.38 10-23 J/K）玻氏熵单位：玻氏熵单位：J/K0ln PKSNKSln kSln 两者相比：两者相比： 1 bit = k ln2 （J/K）K = k.15“1 bit = k ln2 （J/K）” 的物理意义的物理意义 ：的熵必定减少的熵必定减少 k ln2 = 0.957 10-23（J/K），），这至少要消耗这至少要消耗kT ln2 = 0.693 kT（J）的能量。）的能量。例如例如 T = 300K ，